Setiap kali ayah ibunya bertanya apakah kakaknya ikut mengaji, Rhoma selalu menjawab ya. Ke sekolahpun mereka berangkat bersama-sama. Dengan berboncengan sepeda, keduanya berangkat dan pulang ke sekolah di SD Kibono, Manggarai.
Di bangku SD, bakat menyanyi Rhoma semakin kelihatan. Rhoma adalah murid yang paling rajin bila disuruh maju ke depan kelas untuk menyanyi.
Dan uniknya, Rhoma tidak sama dengan murid-murid lain yang suka malu-malu di depan kelas. Rhoma menyanyi dengan suara keras hingga terdengar sampai ke kelas-kelas lain. Perhatian murid-murid semakin besar karena Rhoma tidak menyanyikan lagu anak-anak atau lagu kebangsaan, melainkan lagu-lagu India.
Bakatnya sebagai penyanyi mendapat perhatian penyanyi senior, Bing Slamet karena melihat penampilan Rhoma yang mengesankan ketika menyanyikan sebuah lagu Barat dalam acara pesta di sekolahnya.
Suatu hari ketika Rhoma masih duduk di kelas 4, Bing membawanya tampil dalam sebuah show di Gedung SBKA (Serikat Buruh Kereta Api) di Manggarai. Ini merupakan pengalaman yang membanggakan bagi Rhoma.
Sejak itu, meski belum berpikir untuk menjadi penyanyi, Rhoma sudah tidak terpisahkan lagi dari musik. Dengan usaha sendiri, ia belajar memainkan gitar hingga mahir. Karena saking tergila-gilanya dengan gitar, Rhoma sering membuat ibunya marah besar. Setiap kali ia pulang sekolah, yang pertama dia cari adalah gitar. Begitu pula setiap kali ia keluar rumah, gitar hampir selalu ia bawa.
