Semenjak kecil Rhoma sudah terlihat bakat seninya. Tangisannya terhenti setiap kali ibundanya, Tuti Juariah menyenandungkan lagu-lagu. Masuk kelas nol, ia sudah mulai menyukai lagu.
Minatnya pada lagu semakin besar ketika masuk sekolah dasar. Menginjak kelas 2 SD, ia sudah bisa membawakan lagu-lagu Barat dan India dengan baik. Ia suka menyanyikan lagu No Other Love, kesayangan ibunya, dan lagu Mera Bilye Buchariajaya yang dinyanyikan oleh Lata Maagiskar. Selain itu, ia juga menikmati lagu-lagu Timur Tengah yang dinyanyikan Umm Kaltsum.
Munculnya bakat bermusik
Bakat musiknya mungkin berasal dari ayahnya yang fasih memainkan seruling dan menyanyikan lagu-lagu Cianjuran, sebuah kesenian khas Sunda. Selain itu, pamannya yang bernama Arifin Ganda suka mengajarinya lagu-lagu Jepang ketika Rhoma masih kecil.
Pengalamannya menyanyikan lagu-lagu India sewaktu masih sekolah dasar, lagu-lagu pop dan rock Barat hingga akhir 1960-an lalu beralih ke musik Melayu, menjadikan lagu dan musik yang dibawakannya di atas panggung lebih dinamis, melodis dan menarik.
Karena usia Rhoma dengan kakaknya Benny tidak berbeda jauh, mereka selalu kompak dan pergi berdua-duaan. Berbeda dengan kakaknya yang lebih sering malas ikut mengaji di surau atau rumah kyai, Rhoma selalu mengikuti pengajian dengan tekun.
