Museum Mandiri terletak di Jalan Lapangan Stasiun No. 1 Jakarta, tepat di depan Stasiun Jakarta-Kota atau BEOS. Bangunan ini dirancang oleh tiga arsitek Belanda, yakni J.J.J. de Bruijn, A.P. Smits dan C. van de Linde. Bangunan ini dibangun pada tahun 1929 dan diresmikan pada 14 Januari 1933 sebagai cabang pertama Nederlandsche Handel Maatschappij (NHM) NV di Batavia dengan nama de Factorij.
Bangunan berarsitektur Indisch dengan gaya Nieuw-Zakelijk ini dahulu berada dalam satu halaman luas dengan Stasiun Kereta Api BEOS yang ada di seberangnya. Dengan foreground hijau terbuka dan luas, de Factorij NHM kala itu tampak megah dan monumental.
Salah satu bagian yang menarik dari bangunan ini adalah kaca patri yang menggambarkan empat musim dan tokoh nahkoda kapal Belanda, Cornelis de Houtman, yang mendarat di Banten tahun 1596. Kaca patri tersebut merupakan sumbangan presiden NHM ke-10, C.J. Karl van Aalst atas nama Ratu Kerajaan Belanda.
