Gedung SMP 5 Yogyakarta terletak di Jl. Wardani No. 1, Yogyakarta. Bangunan ini berdiri sejak zaman Belanda dan digunakan untuk MULO dan Normaalschool (Pendidikan Guru Bumiputra) yang dibangun tahun 1923. Pada masa awal revolusi atau pemerintahan RI digunakan sebagai asrama Militer Akademi sampai dengan tahun 1948.
Arah hadap bangunan SMP 5 saat ini ke selatan.Denah bangunan utama berjajar tiga yaitu sayap utara, tengah, dan sayap selatan. Selain itu masih ada beberapa bangunan berdiri secara terpisah/mandiri. Kompleks bangunan sebanyak 43 buah ini terdiri atas ruang-ruang antara lain kelas, rumah dinas, ruang lain (ruang kepala sekolah dan ruang wakil kepala sekolah, ruang TU, ruang BP, ruang perpustakaan, mushola, ruang tamu, laboratoium, ruang koperasi aula, dan lainnya. Secara arsitektural, bangunan-bangunan yang berada SMP 5 dikelompokkan menjadi dua yaitu berlantai satu dan berlantai dua.
Ciri-ciri bangunan yang menonjol yaitu bangunanya tinggi, besar, mempunyai halaman luas, jendela dan pintu besar dengan krepyak langit-langit tinggi, mempunyai roster pada dinding-dindingnya. Sebagian besar fungsi ruang adalah sebagai kelas. Fungsi ruang lainnya sebagai sarana penunjang seperti ruang olahraga dan rumah dinas kepala sekolah atau guru. Gedung-gedung yang ada dibangun dalam beberapa periode. Pada awalnya ruang terbuka cukup luas, saat ini ruang terbuka menyempit karena pembangunan bangunan baru. Genteng bangunan lama sudah beberapa kali mengalami penggantian. Bangunan ini ditetapkan sebagai cagar budaya dengan Per.Men Budpar RI No. PM.89/PW.007/MKP/2011.
