Bangunan ini sejak zaman Belanda digunakan untuk Algemeene Middelbare School (AMS) afdeling B. AMS merupakan sekolah menengah yang lebih tinggi dari MULO (Meer Uitgebreid Lager Onderwijs) dan didirikan pada tahun 1919. Pada masa pendudukan tentara Jepang Dai Nippon sekolah ini dinamai Sekolah Menengah Tinggi (SMT). Sekolah ini terbagi menjadi dua bagian yaitu A (ilmu kebudayaan) dan B (ilmu alam).
Pelajaran yang diberikan kepada para murid diatur dan diawasi oleh Dai Nippon. Hal ini menyebabkan guru dan murid yang sebagian besar orang Indonesia merasa tertekan batinnya. Akibatnya, guru dan murid bersatu untuk memerangi tekanan dengan cara membentuk wadah padmanaba pada 19 September 1942.
Oleh karena siswa SMT bagian A dan B makin banyak, maka pada 1946/1947 sekolah ini dipisah, bagian A berada di Jalan Pakem, sedangkan bagian B berada di Jalan Jati Kotabaru. Pada masa Agresi Militer I tanggal 21 Juli 1947 sekolah ini libur besar selama 3 bulan karena bangunannya dijadikan markas pejuang. Setelah Agresi Militer I berakhir, sekolah ini kebanjiran murid sehingga dibuka sekolah darurat dan sekolah pejuang pada tahun ajaran 1947/1948.
Pada masa Agresi Militer II tanggal 19-20 Desember 1948, sekolah SMA 3 Yogyakarta digunakan Belanda untuk markas tentaranya. Pada masa ini sekolah ditutup kembali dan banyak anggota Padmanaba ikut mengangkat senjata, bergabung dalam TP (Tentara Pelajar). Banyak di antara mereka yang gugur saat terjadi pertempuran di Kotabaru, antara lain Faridan M Noto, Suroto, Kunto, Sudiarto, Joko Pranoto, Jumerut, Kunarso, Suryadi, dan Purnomo. Pada 1956, SMA ini berubah nama menjadi SMA IIIB dan 1964 berubah menjadi SMA Negeri 3 Yogyakarta.
Denah bangunan utama berjajar dua yaitu utara dan selatan. Di antara jajaran bangunan terdapat halaman yang cukup luas sebagai lapangan upacara. Sebagian besar bangunan utama digunakan sebagai kelas. Di samping itu di sisi timur dan barat bangunan utama terdapat bangunan pelengkap sarana pendidikan seperti laboratorium, ruang olahraga, dan tempat parkir. Di sebelah barat bangunan utama terdapat lapangan sepak bola sebagai fasilitas olahraga.
Secara arsitektural, bangunan-bangunan yang berada SMA Negeri 3 Yogyakarta mempunyai ciri-ciri sebagai berikut: bangunannya tinggi, besar, mempunyai halaman luas, jendela dan pintu besar dengan krepyak langit-langit tinggi, mempunyai roster pada dinding-dindingnya. Bagian muka bangunan utama mempunyai bentuk tiang dengan gaya Yunani/ Romawi. Beberapa bangunannya telah mengalami perbaikan dan penambahan bangunan.
Bangunan SMA Negeri 3 Yogyakarta terletak di Jalan Yos Sudarso No. 7 Yogyakarta. Bangunan ini telah ditetapkan sebagai cagar budaya melalui Peraturan Menteri Kebudayaan dan Pariwisata Republik Indonesia No. PM.07/PW.007/MKP/2010.
