Sekolah Rajo didirikan oleh Pemerintah Kolonial Belanda pada tanggal 1 Maret 1873 dengan tujuan untuk menghasilkan guru yang bermutu. Pada tahun 1878, Sekolah Rajo dipindahkan ke gedung baru, yaitu gedung yang sekarang menjadi SMU 2 Bukittinggi. Direktur pertama Sekolah Rajo bernama G. Van der Wijk yang kemudian diganti oleh J. Van der Toorn hingga tahun 1895. Adapun staf pengajar dari bangsa Indonesia yang paling terkenal adalah Guru Nawawi St. Makmur (1859-1928).
Sekolah Rajo pernah ditutup pada tahun 1935 dan kemudian setelah kemerdekaan diaktifkan kembali dengan berbagai perubahan nama. Tahun 1946 didirikan Sekolah Menengah Tinggi (SMT), tahun 1950 diubah menjadi SMA I B dan SMA II C, tahun 1960 SMA II AC dipecah menjadi SMA II C dan SMA A, dan tahun 1962, SMA II C diubah menjadi SMA 2 Bukittinggi. Terakhir, perubahan nama terjadi tahun 1995 dari SMA 2 Bukittinggi menjadi SMU 2 Bukittinggi. Berdasarkan hasil pemutakhiran tahun 2016, telah terjadi perubahan nama menjadi SMA 2 Bukittinggi.
Bangunan sekolah ini terbagi menjadi empat lokasi. Bangunan utamanya berada di tengah-tengah yang digunakan sebagai ruang belajar-mengajar. Bangunan lain berada di sebelah kanan, sebelah kiri, dan bagian belakang bangunan utama. Keseluruhan bangunan pada tahun 1991 telah mengalami perbaikan pada beberapa komponennya. Bangunan utama berdenah persegi empat berukuran 25,5 x 24 m, bangunan sebelah kanan dan kiri berukuran masing-masing 10,70 x 4,50 m, dan bangunan bagian belakang berukuran 16,50 x 10,70 m. Bangunan utama terkesan kokoh dengan ditopang 4 buah tiang tembok bulat pada bagian terasnya. Antara tiang dan tembok dihubungkan dengan besi lengkung berbentuk suluran sebagai hiasan. Pintu maupun jendelanya berbentuk ramping. Tahun 2005, tonggak/tiang di teras bangunan yang aslinya berjumlah lima tonggak yang berbahan kayu, diganti menjadi tonggak berbahan batu (semen) dengan jumlah 3 buah.