Gedung Sekolah Menengah Pertama (SMP) Negeri 1 Yogyakarta dibangun pada masa kolonial Belanda. Dahulu bangunan tersebut merupakan sekolah AMS A (Algemene Middelbare School A). AMS merupakan sekolah yang memiliki jenjang lebih tinggi dari MULO (Meer Uitgebreid Lager Onderwijs). AMS memberikan kesempatan kepada pemuda-pemudi untuk melanjutkan pendidikannya.
Pada zaman Jepang, AMS disebut Sekolah Menengah Tinggi dan sejak kemerdekaan disebut Sekolah Menengah Atas. AMS merupakan jenjang yang harus dilalui pelajar yang akan melanjutkan ke tingkat perguruan tinggi. AMS dibagi menjadi dua yaitu AMS A yang mempelajari Ilmu Pengetahuan Kebudayaan dan AMS B yang mempelajari Ilmu Pengetahuan Kealaman.
SMP Negeri 1 Yogyakarta didirikan pada masa pemerintahan Jepang, tepatnya 11 September 1942. Semula SMP ini menempati Gedung bekas Neutraale MULO (sekarang SMPN 8 Yogyakarta). Baru pada tahun 1943, SMP Negeri 1 Yogyakarta menempati gedung bekas AMS A hingga sekarang.
Setelah Proklamasi kemerdekaan, kegiatan belajar mengajar masih tetap berlangsung, walaupun tetap dipengaruhi situasi pada masa itu. Namun kegiatan belajar mengajar sempat terhenti saat Agresi Militer Belanda II. Sekolah baru dibuka kembali setelah Belanda meninggalkan Yogyakarta.
Bangunan SMP Negeri 1 Yogyakarta terdiri atas bangunan induk, bangunan sisi selatan, dan bangunan sisi utara yang digunakan untuk sarana olahraga dan kesenian. Bangunan induk memanjang utara-selatan dengan kanopi menghadap ke timur. Pada saat ini, bagian tengah dan sisi selatan sudah ditambah dengan gedung baru untuk ruang kelas dan kantor administrasi.
Gedung SMP Negeri 1 Yogyakarta ditetapkan sebagai Cagar Budaya dengan Peraturan Menteri Kebudayaan dan Pariwisata Republik Indonesia No. PM.07/PW.007/MKP/2010 tanggal 8 Januari 2010. SMP Negeri 1 Yogyakarta terletak di Jalan Cik Di Tiro No. 29, Terban, Gondokusuman, Yogyakarta.