Bangunan utama Gedung Agung merupakan bangunan yang pertama kali didirikan oleh pemerintah Hindia Belanda sekitar tahun 1824. Pembangunan diprakarsai oleh Residen Jonkheer Anthonie Hendrik Smissaert (1823 – 1825) dengan arsitek bernama A. Payen. Pelaksanaan pekerjaan dilakukan selama + 6 tahun. Fungsi bangunan digunakan sebagai kantor residen. Letak bangunan ini strategis karena berada di sisi jalan poros sumbu filosofis dan berhadap-hadapan dengan loji besar Benteng Vredeburg. Pada masa Hindia Belanda, gedung ini dikenal dengan nama Loji Kebun, karena di bangunan loji itu di halaman depan dan belakang penuh dengan hamparan rumput dan pertamanan.
Pada tanggal 10 Juni 1867, gempa bumi tektonik mengguncang Kota Yogyakarta dan sekitarnya. Gempa bumi menyebabkan gedung residen ini rusak berat. Maka pada tahun 1869 oleh Residen A.J.P. Hubert Desire Bosch dilakukan rehabilitasi terhadap bangunan kantor residen ini. Keberadaan Kantor Residen mengalami peningkatan status menjadi gubernuran pada 19 Desember 1927 setelah Yogyakarta ditetapkan menjadi setingkat provinsi.
Sebagai gedung atau loji residen dan kemudian berubah menjadi gubernuran, maka berbagai peristiwa penting kenegaraan dilakukan di bangunan ini. Peristiwa kenegaraan saling kunjung antara Gubernur dengan Sri Sultan yang bertakhta dilakukan setiap tahun. Gubernur Belanda melaksanakan kunjungan ke keraton setiap adanya upacara pisowanan garebeg. Sri Sultan mengadakan acara tedhak loji atau kunjungan balasan ke kantor gubernur pada setiap perayaan ulang tahun Ratu Belanda. Momentum sangat penting adalah adanya perundingan “kontrak politik” antara Pemerintah Hindia Belanda dengan calon sultan yang akan bertakhta. Hal itu dilaksanakan setiap menjelang adanya penobatan atau naik takhta sultan di Keraton Yogyakarta. Perundingan “kontrak politik” yang memakan waktu paling lama adalah antara GRM. Dorojatun (kelak menjadi HB IX) dengan Gubernur Belanda Lucien Adam pada tahun 1940.
Pada masa pemerintahan Jepang tanggal 5 Maret 1942 sampai dengan 1945, gedung ini digunakan untuk kediaman Koochi Zimmukyoku Tyookan. Sri Sultan Hamengku Buwana IX dan Paku Alam VIII pernah mengadakan kunjungan persahabatan kepada pejabat Jepang tersebut. Peristiwa penting dan menegangkan yang pernah terjadi serta menjadi catatan penting adalah peristiwa penurunan bendera Hinomaru Jepang dari Gedung Tyookan atau Cokan Kantai (sekarang : Gedung Agung) pada 21 September 1945. Insiden itu merupakan upaya penggantian bendera Hinomaru Jepang untuk diganti dengan bendera Republik Indonesia Merah Putih. Upaya berbagai elemen bangsa, di antaranya kelompok pemuda, BPU (Barisan Penolong Umum), Polisi Istimewa, dan BKR melakukan penurunan bendera dengan penuh perjuangan di bawah ancaman senjata Jepang.
Situasi Gedung Agung dari arah tenggara (Foto: Dok. BPCB DIY tahun 2010)
Pada awal kemerdekaan yaitu pada tanggal 29 Oktober 1945 bangunan ini digunakan sebagai kantor Komite Nasional Indonesia (KNI). Pada saat ibu kota Republik Indonesia dipindahkan dari Jakarta ke Yogyakarta tanggal 4 Januari 1946, maka gedung ini berfungsi sebagai Istana Negara. Presiden Sukarno menggunakan Gedung Agung untuk kantor sekaligus rumah kediaman keluarga, sehingga salah satu putrinya Megawati Sukarno Putri juga terlahir di istana ini. Momentum peristiwa penting bagi bangsa Indonesia pada saat masa revolusi mempertahankan kemerdekaan yang terjadi di gedung ini adalah sebagai berikut.
1) Pelantikan Jenderal Sudirman sebagai Panglima Besar TNI pada 3 Juni 1947 dan Panglima Angkatan Perang Republik Indonesia pada 3 Juli 1947.
2) Momentum dramatis penangkapan Presiden Sukarno dan Wakil Presiden Moh. Hatta dan akhirnya diasingkan ke Bangka tanggal 19 Desember 1949.
3) Penyambutan kedatangan para pemimpin Indonesia yaitu Presiden Sukarno dan Wakil Presiden Moh. Hatta dari pengasingan oleh delegasi UNCI (United Nations Commission for Indonesia) dan BFO (Bijeenkomst voor Federaal Overleg) pada 6 Juli 1949.
4) Momentum berakhirnya eksistensi ibu kota Republik Indonesia di Yogyakarta sampai dengan tanggal 28 Desember 1949, Presiden Sukarno memberikan kesan-kesannya sebagai berikut, “Djogjakarta mendjadi termasjhur oleh karena djiwa kemerdekaannja. Hiduplah terus djiwa kemerdekaan itu!”. Pada tanggal 29 Desember 1949 Pemerintah Republik Indonesia secara resmi kembali ke Jakarta.
Pada ruang utama Gedung Agung Yogyakarta terdapat beberapa ruang. Ruangan-ruangan tersebut diberi nama khusus, seperti Ruang Garuda, Ruang Soedirman dan Ruang Diponegoro. Selain ketiga ruangan tersebut, di ruang utama terdapat kamar-kamar yang berjumlah empat kamar, tempat presiden dan wakil presiden beserta keluarga biasa menginap. Ruang Garuda merupakan sebuah ruangan besar sebagai ruang resmi untuk menerima tamu, terletak tepat di tengah-tengah gedung utama. Di sinilah tempat presiden menerima tamu negara, mengadakan pertemuan dan pembicaraan resmi dengan kepala-kepala negara atau pemerintahan yang pada saat itu menjadi tamu presiden. Tepat di sebelah kanan bagian depan gedung utama merupakan ruangan Soedirman serta di sebelah kiri bagian depan merupakan ruangan Diponegoro. Ruangan Soedirman terletak di sebelah kanan bagian depan Gedung Induk. Ruangan ini memiliki tiga pintu menghadap ke teras istana. Ruangan ini bersebelahan dengan area Ruang Presiden Republik Indonesia, bersambung dengan lorong yang menuju Ruang Makan VIP. Ruangan ini dibuat untuk mengenang perjuangan Panglima Besar Soedirman dalam memimpin gerilya melawan Belanda. Di ruangan inilah dulu Panglima Besar Soedirman mohon diri kepada Presiden Soekarno, untuk meninggalkan kota dalam rangka memimpin perang gerilya melawan Belanda.
Pada bagian kiri gedung utama terdapat ruangan yang diberi nama Ruang Diponegoro, untuk mengenang perjuangan Pangeran Diponegoro melawan Belanda. Dalam ruangan ini tampak pula lukisan / foto beliau sedang berkuda. Dari Ruang Garuda ke arah belakang terdapat ruangan besar yang lain, yaitu Ruangan Jamuan Makan, tempat jamuan makan bagi tamu negara atau tamu agung yang lain. Di belakang Ruangan Jamuan Makan terdapat ruangan luas, yang berfungsi sebagai Ruangan Pertunjukan Kesenian. Bangunan lain adalah Wisma Negara, wisma ini dibangun pada tahun 1980. Wisma ini dimaksudkan untuk para menteri dan rombongan tamu negara.
Selain Wisma Negara, terdapat Wisma Indraphrasta. Wisma ini merupakan wujud bangunan asli kantor Asisten Residen Belanda, penggagas bangunan yang kini menjadi istana ini (Gedung Agung). Di kiri dan kanan belakang bangunan utama, di dekat Ruang Kesenian, adalah Wisma Sawojajar dan Wisma Bumiretawu. Wisma Sawojajar, di sebelah utara, disediakan bagi petugas atau rombongan staf Presiden atau tamu negara, sedangkan Wisma Bumiretawu disediakan bagi ajudan serta dokter pribadi Presiden atau ajudan dan dokter pribadi tamu negara. Wisma Saptapratala terletak di sebelah selatan, berseberangan dengan Wisma Bumiretawu. Wisma ini disediakan bagi petugas-petugas dan para anggota rombongan presiden atau tamu negara.
Kompleks Gedung Agung telah ditetapkan sebagai cagar budaya melalui PM.89/PW.007/MKP/2011. Kompleks Gedung Agung terletak di Jalan Ahmad Yani No. 3, Ngupasan, Gondomanan, Yogyakarta.