Gedung ini didirikan pada masa pemerintahan kolonial Belanda tahun 1919, bernama Princess Juliana School (PJS) semacam sekolah teknik tingkat pertama. Pada tahun 1929, 1950 dan 1954 bangunan direnovasi. Pada masa perjuangan kemerdekaan pernah digunakan sebagai asrama Tentara Pelajar. Pada 1952 dipecah menjadi dua sekolah, yaitu STM Negeri I (Jurusan Bangunan dan Kimia), STM Negeri II (Jurusan Listrik dan Mesin). Melalui Keputusan Mendikbud No. 019/O/1975, kedua sekolah digabung dengan nama STM Yogyakarta I, dan terhitung mulai 11 April 1980 nama sekolah diubah menjadi STM I Yogyakarta. Melalui keputusan Mendikbud Nomor 036/O/1997 tanggal 7 Maret 1997, nama sekolah berganti lagi dari STM I Yogyakarta menjadi SMK Negeri 2 Yogyakarta sampai sekarang.
Bangunan berdenah ‘U” memanjang, yang terdiri dari beberapa ruangan berlantai satu menghadap ke timur. Atap bangunan berbentuk limasan dengan bahan penutup genteng. Bentuk atap yang tinggi dengan kemiringan tajam pada bagian pintu utama (bangunan sisi timur). Pintu masuk model lipat berdaun pintu dua dengan bentuk pintu setengah kaca (bagian basah kayu dan atas kaca) di sebelah kiri dan kanan pintu terdapat 4 buah jendela tinggi dan lebar. Jendela terdiri dari tiga daun jendela dilengkapi dengan tralis besi sebagai pengaman.
Tiang penyangga teras pintu masuk sisi timur berjumlah 6 buah. Tiang penyangga yang terkesan kokoh dan kuat Di atas tiang pintu masuk terdapat tulisan SMK NEGERI 2 YOGYAKARTA JALAN AM. SANGAJI 47. Dinding tembok berwarna krem, dan pintu, jendela di cat wama abu-abu. Bangunan terdiri atas 89 ruangan : ruang kelas, ruang kantor, ruang kepala sekolah, ruang teori, ruang gambar, laboratorium praktik bengkel, perpustakaan, ruang Unit Kesehatan Sekolah, musala, ruang OSIS (Organisasi Siswa Intra Sekolah), aula, ruang pameran dan gudang.
Bangunan SMK Negeri 2 Yogyakarta beralamat di Jalan A.M Sangaji No. 47, Cokrodiningratan, Jetis, Yogyakarta. Bangunan ini ditetapkan sebagai cagar budaya melalui Peraturan Menteri Kebudayaan dan Pariwisata Republik Indonesia No.PM25/PW.007/MKP/2007.