Dalem Brantakusuman didirikan pada masa pemerintahan Sri Sultan Hamengkubuwono VII (1895) dan pertama kali digunakan oleh GBRAY Brantakusuma (Putri ke-8 Sultan HB VII dari permaisuri GKR Kencana). Setelah GBRAY Brantakusuma meninggal, kemudian pihak keraton meminjamkan Dalem tersebut ke Angkatan Darat sebagai tempat tinggal prajurit Angkatan Darat. Pada pertengahan tahun 1960 Museum Angkatan Darat di pindah ke Panglima Besar Jendral Sudirman di Jalan Bintaran Wetan, kemudian pada tahun 1968 Sri Sultan HB IX memerintahkan KGPH Poeger (Putra Sri Sultan HB VIII) untuk menempati dalem tersebut. Dengan demikian, Dalem Brantakusuman ini juga dikenal sebagai Dalem Pugeran.
Bangunan Dalem Brantakusuman mempunyai ciri-ciri sebagai bangunan Dalem yang mempunyai struktur tata ruang yang lengkap, yaitu gledegan, regol, pendopo, pringgitan, dalem ageng yang dilengkapi dengan gandok kiwo dan gandok tengen, seketheng, gadri dan pawon. Bangunan tersebut berada dalam sebuah benteng, segala atribut pada Dalem tersebut mengacu pada bangunan inti keraton.
