Bangunan SMP N 2 Yogyakarta terletak di Jl. P. Senopati No. 28-30 Yogyakarta. Bangunan SMP N 2 Yogyakarta didirikan pada zaman penjajahan Jepang yaitu tanggal 12 September 1942, dengan menempati gedung di Jl. Ungaran yang sekarang dipakai SD Ungaran. Tahun 1945 datang perintah agar SMP 2 Yogyakarta segera pindah menempati gedung baru yaitu gedung Susteran yang terletak di Jl. Setjodiningratan sampai tahun 1948.
Tanggal 19 Desember 1948 Belanda menyerbu Indonesia dan bangunan ini tak luput dari sasaran, sehingga sekolah terhenti untuk sementara waktu karena tentara Belanda justru bermarkas di tempat ini, peralatan dan mebeler habis dirusak oleh Belanda untuk dapur umum. Setelah suasana aman kembali, maka mulai dibenahi dan SMP N 2 Yogyakarta pindah lagi menempati gedung Eerste Europeesche Lagere School B yang terletak di Jl. Setjodiningratan (Jl. Panembahan Senopati No. 28) sampai sekarang.
Bangunan ini menghadap ke Utara dan secara arsitektural memiliki ciri arsitektur Indis yakni tampak pada dimensi bangunan, jendela dan pintu yang relatif besar serta adanya teras. Bangunan secara umum terbagai menjadi ruang-ruang yang dimanfaatkan sebagai ruang kelas serta sejumlah ruang penunjang prasarana pengajaran. Saat ini telah mengalami beberapa penambahan berupa gedung baru. Bangunan ini ditetapkan sebagai cagar budaya dengan Per.Men Budpar RI No. PM.89/PW.007/MKP/2011.
