Dalem Brongtokusuman merupakan tempat tinggal salah satu putri bangsawan Keraton Yogyakarta, yaitu putri Sri Sultan Hamengku Buwono VII yang bernama Gusti Bendara Raden Ayu (GBRAy) Brongtokusumo. GBRAy. Brongtokusumo adalah putri ke-8 dari Sultan Hamengkubuwuno VII, dari permaisuri GKR. Kencana, yang kemudian berganti nama GKR. Wandhan. GBRAy. Brongtokusumo semula bernama GKR. Condrokirono I. Oleh karena beliau diterimakan kepada KRT. Brongtokusumo, maka kemudian berganti nama menjadi GBRAy. Brongtokusumo.
Setelah GBRAy. Brongtokusumo meninggal, rumah tersebut diambil alih oleh pihak keraton, kemudian dibiarkan kosong. Sampai kemudian bagian gledegan (akses jalan masuk menuju ke Dalem dari jalan utama) digunakan untuk mendirikan Museum Perjuangan. Namun menurut penuturan BRAy. Puger, bagian Dalem sempat dijadikan Museum Angkatan Darat dan gandhok sempat menjadi tempat tinggal pasukan Angkatan Darat.
Pada sekitar pertengahan tahun 1960-an, Museum Angkatan Darat pindah ke Museum Panglima Sudirman di jalan Bintaran Wetan, Dalem Brongtokusuman kembali kosong.
Pada tahun 1968, Dalem Brongtokusuman diberikan untuk ditempati Gusti Bendara Pangeran Harya (GBPH.) Puger, yaitu putra bungsu ke-41 Hamengku Buwono VIII dari garwa BRAy. Retnopuspito. Oleh karena itu, pada saat ini untuk Dalem Brongtokusuman ada pula yang menyebut dengan Dalem Pugeran.
Gempa tahun 2006 membuat beberapa bagian dari Dalem ini mengalami kerusakan. Bagian Gandhok baik kiwa (kiri) maupun tengen (kanan) mengalami kerusakan terparah. Pelestarian bangunan Dalem memang sangat diperlukan mengingat Dalem ini termasuk memiliki nilai penting sejarah, arkeologi, kebudayaan dan arsitektur sebagai rumah tradisional bangsawan Jawa di masa lalu. (Shinta Dwi Prasasti)