Tonggak stasiun Magelang dimulai dari pembangunan jalur kereta api Yogyakarta – Magelang pada tanggal 1 Juli 1898 oleh NISM (Nederlandsch Indische Spoorweg Maatschappij). Setelah usai, pembangunan jalur kereta api semakin gencar dilakukan untuk menghubungkan Magelang dengan kota-kota sekitarnya. Misalnya jalur Magelang-Secang yang beroperasi pada tanggal 15 Mei 1903, jalur Secang-Temanggung beroperasi 3 Januari 1907, jalur Secang-Ambarawa beroperasi 1 Februari 1905 dan jalur Temanggung-Parakan beroperasi 1 Juli 1907.
Dipilihnya Magelang menjadi salah satu kota yang masuk dalam radar jaringan transportasi kereta api bukanlah tanpa dasar. Dengan iklim yang sejuk dibawah gunung Tidar inilah pemerintah kolonial membangun basis militer, rumah sakit, sekolah (zending), pusat bisnis, serta lokasi menjadikan sebagai lokasi rendezvous yang nyaman.
Dalam perkembangannya, jalur Yogyakarta Magelang pada akhirnya ditutup pada tahun 1976 seiring dengan terpinggirkannya kereta api pasca tumbangnya orde lama serta semakin maraknya transportasi darat lain seperti bus dan truk yang dipandang lebih efisien dan cepat. Penutupan jalur Yogyakarta – Magelang adalah rangkaian dari penutupan jalur kereta api dari Kedungjati – Tuntang – Ambarawa – Secang – Temanggung – Parakan.
Ketika jalur trem Yogya-Magelang yang diresmikan pada 1 Juli 1893 hendak dibangun, rencana semula adalah menempatkan stasiun Magelang di bagian Selatan kota, berdekatan dengan pasar dan Pecinan. Ini didasarkan pertimbangan bahwa lokasi itu lebih menguntungkan bagi pengangkutan barang. Dari situ akan dibangun jalan rel langsung ke Ambarawa melalui Pasar di Payaman, menghindari pusat kota Magelang.
Namun karena jalur ini juga melayani kebutuhan militer akhirnya Nederlandsch_Indische Spoorweg Maatschappij (NIS) diharuskan membangun Stasiun Magelang di bagian Utara kota berdekatan dengan tangsi perwira, sedangkan di dekat pasar hanya dibangun sebuah halte. Akibatnya jalur rel harus melewati tengah kota berbagi dengan jalan yang lebarnya 6 meter serta menyusuri tepi Alun-alun Magelang. Karena alasan keamanan Residen Kedu menetapkan bahwa kecepatan kereta api ketika melintasi tengah kota dibatasi tidak boleh melebihi 5 kilometer per jam.
Bangunan utama Stasiun Magelang sekarang sudah tidak ada, namun berdasarkan foto-foto lama terlihat bahwa bangunan itu berupa bangunan kayu dengan atap pelana. Di tempat bangunan ini sekarang berdiri kios-kios menghadap ke Jalan Ahmad Yani. Jalan ini dulu adalah jalan raya Semarang-Yogyakarta sebelum lalu lintas antar kota dialihkan ke jalan lingkar Magelang (Jalan Urip Sumoharjo). Di emplasemen stasiun yang kini menjadi Sub-Terminal Kebon Polo ini bangunan yang tersisa adalah gudang dan dipo. Bangunan gudang sudah banyak mengalami perombakan sedan dipo yang berada di sisi timur menjadi WC umum.
