Pulau Bangka di masa Kesultanan Palembang termasuk wilayah kekuasaannya. Dipimpin oleh seorang pejabat yang diangkat oleh sultan dengan gelar Tumenggung. Rumah ini dibangun oleh Tumenggung Arifin dengan gelar Kartanegara I. Di sekitar bangunan dulunya adalah perkampungan para pembantu tumenggung, yang merupakan sebuah areal besar dengan beberapa bangunan lainnya. Bangunan ini pernah difungsikan untuk madrasah al-hidayah.
Rumah menghadap ke arah tenggara. Bangunan utamanya memiliki 6 tiang di terasnya. Beberapa bagian telah mengalami perbaikan dengan merubah bentuk aslinya. Penambahan dilakukan dengan membuat dinding-dinding dari papan kayu yang membentuk kamar- kamar di bagian teras dan di dalam ruangan rumah. Terdapat sebuah sumur di sisi kanan rumah sebagai sumber air bersih dan dua bangunan kecil yang dulunya difungsikan sebagai toilet dengan arsitektur eropa. Lima jendela berada pada sisi kanan dan kiri bangunan. Rumah ini merupakan rumah semi panggung dengan ventilasi udara di bagian bawah, ventilasi berbentuk gorong-gorong di sisi bawah kanan kiri bangunan dan dua buah ventilasi terbesar di bagian belakang.