Pembangunan rumah sakit Panti Rapih tidak terlepas dari sejarah perkembangan penyebaran agama Katolik di Yogyakarta pada masa Hindia Belanda. Pengurus Gereja Katolik saat itu hendak membuka pelayanan kesehatan karena masih sedikitnya layanan kesehatan. Upaya pengembangan layanan kesehatan ini sempat mengalami kendala, sebab para Suster dari Ordo Fransiskan menolak untuk mengelola layanan kesehatan. Mereka memilih fokus di bidang pendidikan.
Pada tahun 1921, pengurus Gereja Yogyakarta meminta bantuan kepada Suster Carolus Borromeus (CB) yang berpusat di Maastricht, Belanda, untuk mengelola rumah sakit. Kebetulan salah satu mantan siswa dari sekolah keperawatan yang dikelola Suster Carolus Borromeus adalah Ny. Caroline Schmutzer van Rijckvorsel yang merupakan istri dari Ir. Julius Schmutzer, direktur Pabrik Gula Gondanglipuro, Ganjuran, Bantul. Maka, Ir. Julius Schmutzer mendukung pendirian rumah sakit.
Tahap awal dari pendirian Rumah Sakit adalah membentuk yayasan Onder de Bogen oleh pengurus Gereja Yogyakarta pada 22 Februari 1927. Rumah sakit Onder de Bogen mulai dibangun pada 1928. Peletakkan batu pertama dilakukan oleh Ny. Caroline Schmutzer van Rijckvorsel pada 14 September 1928.
Pada 14 September 1929, bangunan tersebut diresmikan oleh Sultan Hamengku Buwana VIII dan diberi nama rumah sakit Onder de Bogen yang berarti ”di bawah lengkungan”, karena bangunan tersebut dihiasi banyak lengkung yang merupakan gambaran dari suatu kebulatan tekad untuk memberikan cinta kasih terhadap sesama.
Pada masa penjajahan Jepang, segala hal yang berbau Belanda dihilangkan, tidak terkecuali nama rumah sakit Onder de Bogen. Oleh karena itu, nama tersebut pun akhirnya dihapus dan diganti dengan nama yang berbahasa Indonesia. Mgr. Albertus Soegijopranoto, SJ menggantinya dengan nama Panti Rapih yang berarti rumah penyembuhan.
Di rumah sakit ini terdapat paviliun yang pernah ditempati oleh Panglima Besar Jenderal Sudirman dan Sultan Hamengku Buwana VIII sewaktu sakit. Rumah Sakit Panti Rapih juga banyak merawat para pejuang yang terluka dalam pertempuran memperjuangkan kemerdekaan Republik Indonesia
Bangunan rumah sakit terletak di Jalan Cik Di Tiro No. 30 Yogyakarta, menghadap ke barat. Pada bagian depan terdapat kanopi berbentuk limasan, namun meruncing pada ujungnya yang berfungsi sebagai ventilasi udara. Seluruh pintu dan jendela bangunan berbentuk lengkungan. Bangunan telah ditetapkan sebagai Cagar Budaya dengan Peraturan Menteri Kebudayaan dan Pariwisata No. PM.07/PW.007/MKP/2010.
