Bangunan yang terletak di sisi barat kanal utama Kali Besar ini sangat menarik perhatian. Dinding bangunan yang berwarna merah menjadikan bangunan ini mendapat julukan “Toko Merah”. Toko Merah dibangun pada 1730 sebagai kediaman Gubernur Jenderal Hindia Belanda, Gustaaf Willem Baron van Imhoff yang menjabat pada periode 1743 hingga 1750.
Setelah itu, bangunan ini beberapa kali berubah kepemilikannya. Bangunan ini telah menjadi kediaman beberapa Gubernur Jenderal lainnya, yakni Jacob Mossel (1750-1761), Petrus Albertus van der Parra (1761-1775), Reinier de Klerk (1777-1780), Nicolaas Hartingh, dan Baron von Hohendorff.
Pada 1786-1808, bangunan ini diubah menjadi hotel. Untuk menambah fasilitas hotel, manajer hotel pada saat itu membangun garasi kereta kuda dan kandang yang dapat menampung delapan kereta kuda dan enam belas kuda. Bangunan tambahan tersebut kemudian diubah menjadi rumah-rumah yang berderet. Selama periode tersebut, hotel ini juga menambatkan enam perahu di Kali Besar untuk mengangkut barang dari pelabuhan Sunda Kelapa. Pada 1851, bangunan ini dibeli oleh Oey Liauw Kong, seorang kapten Cina di Batavia, untuk digunakan sebagai tempat tinggal dan toko. Bangunan tersebut kemudian dicat warna merah, dan karena itulah akhirnya bangunan ini dikenal sebagai Toko Merah.
Pada periode 1920-1940, bangunan ini dijadikan kantor untuk Bank voor Indië. Setelah kemerdekaan Indonesia, bangunan ini berubah fungsi lagi menjadi kantor berbagai BUMN. Saat ini, Toko Merah digunakan sebagai gedung pertemuan dan galeri komersial.
