Kantor Bank Indonesia Yogyakarta dibuka pada tanggal 1 April 1879, sebagai kantor cabang De Javasche Bank ke-8 di atas tanah hak milik sendiri (eigendom). Pendiriannya terutama untuk mengakomodasi usulan perusahaan yang memiliki kepentingan bisnis di daerah ini yakni Firma Dorrepaal & Co., Semarang. Usulan tersebut langsung disambut baik oleh direksi dan dewan komisaris pada saat itu. Tumbuh kembangnya berbagai sarana dan fasilitas usaha swasta di Yogyakarta ditunjukkan di samping era liberalisasi juga semakin kondusifnya kondisi sosial ekonomi pasca-Perang Diponegoro atau Perang Jawa 1825 – 1830. Perkembangan pesat De Javasche Bank pada saat dipimpin oleh G. Vessering pada 1906, beberapa tahun kemudian dibentuk kantor cabang di berbagai kota di Indonesua antara lain Bandung, Cirebon, Yogyakarta, Surakarta, Kediri, Surabaya, Malang, Kutaraja, Palembang, Padang, Makasar, Banjarmasin, Pontianak, dan Manado.
Pada tanggal 9 Maret 1942, kegiatan operasional De Javasche Bank sempat berhenti. Kondisi itu bersamaan dengan berkuasanya Tentara Pendudukan Jepang di Yogyakarta, kemudian disusul proses likuidasi bank-bank milik Belanda, Inggris dan Cina. Likuidasi yang dilakukan Tentara Pendudukan Jepang ditujukan untuk menunjukkan upaya penguasan aset-aset perbankan milik swasta Eropa di bawah kendalinya. Akhirnya Jepang memfungsikan Nanpo Kaihatsu Ginko sebagai bank sirkulasi untuk wilayah seluruh Jawa. Pada era awal kemerdekaan Indonesia tanggal 30 Desember 1948, kantor cabang Yogyakarta mulai beroperasi kembali namun kemudian ditutup kembali pada 30 Juni 1949 bersamaan dengan Agresi Belanda ke-2. Namun akhirnya pada tanggal 22 Maret 1950 beroperasi kembali.
Dengan diberlakukannya UU No.11/1953 pada 1 Juli 1953, De Javasche Bank berubah menjadi Bank Indonesia, sehingga seluruh kantor cabang De Javasche Bank berubah menjadi kantor cabang Bank Indonesia, termasuk di antaranya kantor cabang Yogyakarta. Seiring dengan perkembangan kegiatan operasional yang meningkat, kantor bank diperluas dan pada tanggal 4 Februari 1993 gedung baru yang bersebelahan dengan gedung lama diresmikan. Selanjutnya sebutan kantor cabang Yogyakarta sejak tanggal 1 Agustus 1996 berubah menjadi Bank Indonesia Yogyakarta.
Bangunan Bank Indonesia menghadap ke utara dan berada di selatan Jalan Panembahan Senopati dan bangunan baru berada di sebelah timurnya. Bangunan terdiri atas dua tingkat dan satu basement. Arsitektur yang tampak pada bangunan ini menunjukkan ciri arsitektur Eropa. Sebagai perancang bangunan berasal dari biro arsitek N.V. Architecten-Ingenieursbureau Hulswit en Fermont te Weltevreden en Ed. Cuypers te Amsterdam yang didirikan pada tahun 1910 oleh Eduard Cuypers dan Marius J. Hulswit bersama A.A. Fermont. Biro arsitek tersebut banyak merancang bangunan-bangunan milik De Javasche Bank. Karakteristik bangunan dapat dikatagorikan menurut periode atau konteks zamannya. Corak arsitektur pada awal dibentuknya bank ini adalah menggunakan gaya indisch empire.
. Bangunan ini telah ditetapkan sebagai Cagar Budaya melalui Peraturan Menteri Kebudayaan dan Pariwisata RI No. PM.07/PW.007/MKP/2010. Gedung Bank Indonesia terletak di Jalan Senopati No. 4 Yogyakarta.