Rumah pengasingan Sutan Sjahrir terletak di depan jalan Said Tjong Baadillah/Ratu Laguar di samping dari Rumah Budaya Banda yang bersebrangan dengan Hotel Delfika. Sebelum digunakan sebagai rumah pengasingan Bung Sjahrir rumah ini dulu milik seorang pemilik perkebunan pala yang sudah tidak ditinggali lagi dan kemudian disewa untuk tempat tinggal Bung Kecil selama pengasingan di Banda Naira.
Bangunan bergaya Eropa dengan enam pilar bergaya doria di teras depan. Bangunan ini terdiri dari bangunan utama dan bangunan di belakang. Pada bangunan utama terdapat lima ruangan dan dua teras, di depan dan di belakang. Beratap seng dengan atap bertipe pelana, plafon menggunakan papan kayu, dan lantai menggunakan terakota. Pada bangunan belakang berbentuk persegi panjang terdiri dari lima ruangan. Terdapat pula pintu masuk dengan daun pintu berbahan kayu dengan bagian atas berbentuk melengkung. Pintu ini berada di samping utara dari teras depan.
Pada bangunan utama, tiga ruangan bagian depan digunakan sebagai museum yang memamerkan koleksi foto-foto tentang Bung Sjahrir milik Des Alwi. Terdapat pula gramofon yang dulu digunakan oleh Sutan Syahrir untuk mendengarkan lagu-lagu kesukaan beliau, serta ada juga mesin ketik yang digunakan Bung Syahrir untuk menulis surat dan menuangkan isi pikirannya mengenai pergerakan perjuangan Indonesia.
Sedangkan di bangunan belakang ditinggali oleh sebuah keluarga, mereka menempati bangunan ini sudah lama dan menggunakan dua ruangan belakang dan teras belakang pada bangunan utama dan bangunan belakang.
