Bangunan ini didirikan pada tahun 1919 dan sejak zaman Belanda digunakan untuk Algemeene Middelbare School (AMS) afd. B. Pada masa pemerintahan bala tentara Jepang Dai Nippon sekolah ini dinamai Sekolah Menengah Tinggi. Sekolah ini terbagi menjadi dua bagian yaitu A/ ilmu kebudayaan dan B/ ilmu kealaman. Pelajaran yang diberikan kepada para murid diatur dan diawasi oleh Dai Nippon. Hal ini menyebabkan guru dan murid yang sebagian besar orang Indonesia itu tertekan batinnya. Akibatnya guru dan murid bersatu untuk memerangi tekanan dengan cara membentuk wadah padmanaba pada tanggal 19 September 1942. Oleh karena siswa SMT bagian A dan B makin banyak, maka pada tahun 1946/1947 sekolah ini dipisah, bagian A berada di jalan Pakem, sedangkan bagian B berada di jalan Jati Kotabaru. Pada masa Clash I tanggal 21 Juli 1947 sekolah ini libur besar selama 3 bulan karena bangunannya dijadikan markas pejuang. Setelah clash I sekolah ini kebanjiran murid sehingga dibuka sekolah Darurat dan sekolah pejuang pada tahun ajaran 1947/1948. Pada masa Clash II, sekolah SMA 3 digunakan Belanda untuk Markas tentara Belanda. Pada masa ini sekolah ditutup kembali. Pada masa ini banyak anggota Padmanaba ikut mengangkat senjata, bergabung dalam TP (Tentara Pelajar). Banyak diantara mereka yang gugur saat terjadi pertempuran di Kotabaru, antara lain Faridan M Noto, Suroto, Kunto, Sudiarto, Joko Pranoto, Jumerut, Kunarso, Suryadi dan Purnomo. Setelah masa Clash II sekolah dibuka kembali dan kebanjiran murid. Untuk mengatasi ini maka pada tanggal 16 Januari 1950 dibuka sekolah SMA B II. SMA BI mengadakan pendidikan pada pagi hari, sedangkan SMB II pendidikannya dilaksanakan pada siang hari. SMA B II menerima murid dari bekas pejuang dan umum.
Arah hadap bangunan ke selatan Jalan Yos Sudarso. Denah bangunan utama berjajar dua yaitu utara dan selatan. Secara arsitektural, bangunan-bangunan yang berada SMA 3 mempunyai ciri-ciri sebagai berikut: bangunannya tinggi, besar, mempunyai halaman luas, jendela dan pintu besar dengan krepyak langit-langit tinggi, mempunyai roster pada dinding-dindingnya. Bagian muka bangunan utama mempunyai bentuk tiang dengan gaya Yunani/ Romawi. Beberapa bangunannya telah mengalami perbaikan dan penambahan bangunan.(Himawan Prasetyo)
