Semenjak dibangunnya stasiun Gundih berdampak pada perkembangan sosial masyarakat. Jalur yang dibuka Gundih-Surabaya berakibat banyaknya warga Eropa yang mengunjungi Gundih. Selain itu, berdasarkan laporan korespondensi De Locomotief 1899, Pemerintah kolonial menganggap Gundih sebagai tempat strategis, lalu dibuatlah Sekolah Dasar di sekitar stasiun.
Stasiun Gundih adalah stasiun simpangan bertemunya jalur dari Gambringan dan dari Brumbung. Ada kisah sejarah tersendiri pada stasiun ini, mengingat stasiun ini adalah awal dimulainya jalur dengan 3 rel, yaitu rel lebar 1435 mm plus sebuah rel lagi di dalamnya sehingga kereta dengan lebar sepur 1067 mm bisa melewati jalur itu. Hal ini harus dilakukan supaya perjalanan kereta dari dua arah tidak terhambat, karena pada saat itu rel dari arah Gambringan berukuran 1067 mm sementara dari Brumbung lebar sepurnya 1435 mm. Sebenarnya jalur 3 rel ini membentang hingga stasiun Lempuyangan Yogyakarta sebelum akhirnya dibongkar Jepang tahun 1942 untuk dibawa ke wilayah jajahan Jepang di Asia Tenggara.
Pembangunan Stasiun Gundih yang pertama adalah bagian dari pembangunan jalan rel Semarang – Vorstenlanden tahap ke tiga, antara Kedungjati dan Surakarta, yang selesai dibangun pada 1870 oleh Nederlandsche-Indische Spoorweg-Maatschappij (NIS). Namun Stasiun Gundih yang ada sekarang adalah stasiun kedua yang mulai digunakan pada 1900 bersamaan dengan dibukanya jalur Gundih – Kradenan oleh NIS. Pada 1903 jalur Gundih – Kradenan terhubung dengan Surabaya (dengan lintasan cabang Babat -Tuban – Merakurak dan Sumari – Gresik – Kandangan) yang menggunakan rel dengan lebar 1067 mm.
Stasiun Gundih adalah stasiun pulau yang diapit emplasemen di sisi Timur dan Barat. Emplasemen Timur diperuntukkan rel 1067 mm jurusan ke Surabaya, sedangkan emplasemen Barat untuk rel 1435 mm jurusan Semarang – Vorstenlanden. Sebelum jalur Gambringan-Brumbung selesai dibangun pada 1924, penumpang dan barang dari Semarang dengan tujuan Surabaya dan sebaliknya harus berganti kereta di Stasiun Gundih. Setelah jalur Gambringan-Brumbung dibuka kereta api jurusan Semarang – Surabaya tidak lagi melalui Gundih dan penumpang dan barang tidak perlu lagi berpindah kereta.
Arsitektur Stasiun Gundih berbeda dari arsitektur stasiun pulau lain milik NIS di jalur yang Semarang-Vorstenlanden seperti Kedungjati, Purwosari atau Ambarawa yang dibangun belakangan. Gaya arsitektur Stasiun Gundih mirip dengan arsitektur stasiun-stasiun NIS yang lebih kecil seperti Telawa, Bringin dan Tuntang yang merupakan stasiun paralel. Gaya arsitektur ini di masanya dikenal sebagai gaya “NIS-Chalet.” Di Stasiun Gundih gaya ini nampak jelas terutama pada tampak depannya, khususnya pada kanopi yang menaungi pintu masuk utamanya.
Stasiun Gundih mempunyai overkapping kembar di peron Timur maupun Barat. Overkapping tersebut terbuat dari besi dengan konstruksi kuda-kuda Belgia. Dulu di emplasemen Timur terdapat stasiun milik Semarang Joana Stoomtram Maatschappij (SJS) jurusan ke Purwodadi dan Demak. Namun stasiun ini sudah tidak ada lagi.
