Kadangkala rasa kesepain kadang menghantui Rabiman, sang pencari batu seperti yang dialami ketika ia memugar Candi Selogriyo. Pada waktu Candi Selogriyo mengalami longsor sehingga bangunan runtuh, dan batu-batu candi berserakan ke sekitar jurang, maka ia pun mendapat tugas kesana. Selama bertugas di Candi Selogriyo, ia tinggal dan menetap diatas bukit yang sepi dan tidak mempunyai tetangga. Di Candi Selogriyo ini ia hanya pulang kerumahnya seminggu sekali. Hari-harinya ia habiskan diatas bukit dan bekerja.
Disana, ia bertugas baik untuk mencari batu maupun temuan-temuan lain. Disamping mencari batu, ia juga menyusun kembali batu-batu tersebut. Pekerjaan tersebut tidak ringan. Disana ia harus mengangkat batu-batu yang terjatuh ke dasar jurang kembali ke atas bukit. Kegiatan lain yang dilakukan disana adalah mengembalikan tebing yang longsor. Setiap hari ia sering mengangkiut 70 keranjang tanah dalam sehari. Karena disana tidak ada orang lain, ia ditugasi pula untuk menggambar hasil pencaharian. Dengan berbekal buku dan bertanya pada juru gambar ia mulai bisa menggambar sketsa. Ia terkadang masih merasa kebingungan jika harus menggambar benda yang berbentuk bulat. Lama kelamaan ia dapat mengatasi permasalahan itu.
Diatas bukit itu, ia memasak sendiri, makan sendiri, tidur sendiri, bahkan berbicara sendiri. Agar tidak merasa sepi, menjelang malam ia selalu melantunkan ayat-ayat suci Al Quran sebagai kegiatan hariannya. Sebagai seorang muslim ia juga rajin shalat dan mengaji.
