Bangunan ini sejak zaman kolonial Belanda digunakan untuk HIS (Hollands Inlandsche School). Sekolah ini merupakan perubahan sekolah Kelas I yang terjadi pada 1914 dan merupakan bagian dari sekolah barat. Di Yogyakarta ada dua buah sekolah seperti ini yaitu di Tungkak (SD Pujokusuman) untuk Yogyakarta Selatan dan di Jetis (SMP 6) untuk Yogyakarta Utara.
Pada masa Jepang, bangunan ini digunakan sebagai gedung Sekolah Rakyat (SR). SR adalah sekolah pendidikan tingkat dasar seperti SD saat ini. Pada masa Agresi Militer Belanda II tahun 1949, gedung SMP 6 digunakan sebagai markas tentara Belanda. Pada 1950-1960 bangunan ini digunakan secara bergantian sebagai gedung Sekolah Guru Atas dan SGB. SGA adalah sekolah guru Atas yang menyiapkan guru SMP, sedangkan SGB adalah sekolah guru SD.
Pada 1960 berdasarkan Surat Keputusan Menteri Pendidikan Pengajaran dan Kebudayaan Nomor 167/SK/ B/III tertanggal 25 Mei 1960 SGB Negeri I Yogyakarta diganti menjadi SMP VI Yogyakarta. Seluruh guru dan sebagian karyawan SGB menjadi guru dan karyawan SMP.
Bangunan merupakan peninggalan masa kolonial Belanda, dengan ciri – ciri jendela yang lebar dan langit – langit (plafon) yang tinggi. Arah hadap bangunan ke utara. Secara arsitektural, bangunan-bangunan yang berada SMP 6 Yogyakarta mempunyai ciri-ciri sebagai berikut: 1) bangunanya tinggi, 2) besar, 3) jendela dan pintu besar dengan krepyak langit-langit tinggi, mempunyai roster pada dinding-dindingnya, dan mempunyai halaman luas di depan sekolah. Bangunan ini telah ditetapkan sebagai Cagar Budaya melalui Per.Men Budpar RI No. PM.07/PW.007/MKP/2010. Gedung SMP 6 Yogyakartat terletak di Jalan Wolter Monginsidi No. 1 Yogyakarta.
