Gedung SMP Negeri 8 Yogyakarta pada awalnya digunakan untuk Neutraale MULO (Meer Uitgebreid Lager Onderwijs). MULO adalah sekolah setingkat Sekolah Menengah Pertama (SMP) dengan pengantar Bahasa Belanda. Sekolah ini didirikan oleh Neutrale Onderwijs Stichting (Yayasan Netral).
Pada masa pendudukan Jepang, tepatnya 1 April 1943, gedung ini digunakan sebagai tempat pendidikan SGP (Sekolah Guru Putri) atau SGB II di bawah pimpinan Sri Umiyati, adik Dr. Sutomo (pendiri Budi Utomo). SGP ini berdiri pada 7 November 1942 di Jetis dengan nama Sekolah Guru Perempuan.
Gedung ini juga menjadi salah satu saksi bisu dari sejarah militer di Indonesia. Konferensi TKR (Tentara Keamanan Rakyat) berlangsung pada 12 Nopember 1945 di Markas Tertinggi TKR pada masa itu, yang sekarang berfungsi sebagai Gedung Museum Pusat TNI-AD Dharma Wiratama. Hasil konferensi ini antara lain Kolonel Sudirman sebagai Pimpinan Tertinggi atau Panglima TKR, dan pangkatnya dinaikkan menjadi Jenderal. Sementara Letnan Jenderal Urip Sumoharjo sebagai Kepala Staf Umum.
Sebagai tindak lanjut dari konferensi ini adalah pelantikan dari Jenderal Sudirman. Pelantikan oleh Presiden Sukarno ini dilakukan pada 18 Desember 1945. Pelantikan dilakukan di Aula dari gedung SGP ini.
Saat terjadinya Agresi Militer Belanda II dan kota Yogyakarta diduduki Belanda, maka SGP ditutup mulai 18 Desember 1948 sampai dengan 29 Juni 1949 dan baru dibuka kembali 8 Agustus 1949. Pada masa ini SGP mempunyai peranan yang cukup penting dalam mempertahankan kemerdekaan Republik Indonesia. Sekitar 50 (lima puluh) siswa yang masih tinggal di asrama, menjadi penghubung utama tentara yang berada di kota ke daerah gerilya.
Dalam perkembangannya gedung ini sempat digunakan untuk kegiatan belajar mengajar SMP Negeri 7 Yogyakarta. Pada tahun 1970-an, SMP Negeri 7 Yogyakarta pindah menempati gedung baru yang ada di wilayah Tegalrejo, Kota Yogyakarta. Maka sejak saat itu gedung ini digunakan sepenuhnya untuk kegiatan belajar mengajar SMP Negeri 8 Yogyakarta sampai sekarang.
Gedung SMP Negeri 8 Yogyakarta memiliki gaya arsitektur Indis, perpaduan antara arsitektur art deco dan lokal Jawa. Arsitektur art deco terlihat dari fasad bangunannya. Pada bagian depan terlihat pintu dan jendela yang lebar dan tinggi. Penggunaan arsitektur lokal terlihat pada bentuk atap model limasan dan penggunaan emper.
Bangunan ini telah ditetapkan sebagai cagar budaya melalui PerMenBudpar RI No. PM25/PW.007/MKP/2007. Gedung SMP 8 Yogyakarta terletak di Jalan Prof. Dr. Kahar Muzakir No.2, Terban, Gondokusuman, Yogyakarta.
