Bangunan MAN (Madrasah Aliyah Negeri) 2 Yogyakarta terletak di Jalan KH. Ahmad Dahlan No. 130 Yogyakarta. Pada awalnya bangunan ini milik Ngok An, seorang warga Cina. Setelah zaman kemerdekaan rumah milik Ngok An tersebut diambil alih kepemilikannya oleh Pemerintah Republik Indonesia. Pada tahun 1946 – 1949, bangunan ini digunakan untuk kantor Departemen Agama Republik Indonesia yang pertama. Tahun 1954 – 1974 dipergunakan untuk Sekolah Pendidikan Guru Agama Atas II (PGAA II). Tahun 1974, PGAA II berubah menjadi Pendidikan Guru Agama Negeri (PGAN) 6 Tahun Puteri Yogyakarta dan menerima siswa khusus dari Daerah Istimewa Yogyakarta dan sekitarnya. Dengan terbitnya SK Menteri Agama No. 17 Tahun 1978, PGAN 6 Tahun Puteri Yogyakarta berubah status menjadi MAN 2 Yogyakarta sampai sekarang.
Ditinjau secara arsitektural, gedung Madrasah Aliyah Negeri 2 Yogyakarta bercorak indis. Ciri khas bangunan indis masih tampak pada gable / gunung-gunung yang menyatu dan menggunakan material yang sama dengan dinding, hiasan atap berbentuk “gada”, dan ada beberapa ornamen bercorak Cina di antaranya patung singa di samping kanan bangunan dan hiasan puncak atap berupa burung.
Bangunan utama menggunakan model atap segi enam dan limasan. Lantai menggunakan tegel bermotif. Pintu dan jendela berbentuk empat persegi panjang dengan panil krepyak, panil kayu dan kombinasi kaca. Bagian atap ditutup genteng vlaam, dengan hiasan kemuncak atap berbentuk gada dan burung. Arsitektur bangunan ini banyak menggunakan elemen flora dan fauna pada ornamen bangunannya. Penggunaan ornamen alam yang populer pada masa itu dikenal sebagai gaya Art Nouveau atau aliran yang banyak menggunakan unsur flora sebagai dekorasinya.
Bangunan Madrasah Aliyah Negeri 2 Yogyakarta terletak di Jalan KH. Ahmad Dahlan No. 130, Ngampilan, Yogyakarta. Bangunan ini telah ditetapkan sebagai cagar budaya melalui Peraturan Menteri Kebudayaan dan Pariwisata No. PM.89/PW.007/MKP/2011.