Pada masa kekuasaan Kolonial Belanda tersebut, gudang-gudang di kota Batavia ini dipakai untuk menyimpan komoditas perdagangan, khususnya rempah-rempah, dan benda-benda kebutuhan usaha (logistik) VOC, termasuk peralatan dan suku cadang kapal. Kompleks Gudang Barat VOC ini mulai dibangun pada tahun 1652. Berdasarkan penelitian-penelitian terdahulu, bangunan ini merupakan bagian gudang yang khusus menyimpan pala, lada, kopi, tembaga, dan timah. Adapun kompleks bangunan ini dirancang oleh Ir. Jacques de Bollan.

Dalam buku Tempat-tempat Bersejarah di Jakarta, Adolf Heuken mengatakan, gudang yang kini jadi Museum Bahari dibangun pertama kali pada tahun 1663 – 1669. Semenjak dibangun pada tahun 1652, bangunan ini terus mengalami perluasan dan perbaikan. Hal ini dapat dilihat dalam angka tahun yang tertera pada setiap pintu bangunan. Antara lain pembangunan dilakukan pada tahun 1718, 1719, 1771, dan terakhir 1759.

Kompleks Gudang Barat VOC ini juga tercatat pernah menjadi tempat penyimpanan logistik tentara jepang di masa kependudukan jepang. Peruntukkan sebagai tempat penyimpanan logistik tentara jepang terhitung sejak 1949 – 1952. Di kemudian hari, khususnya pada masa kemerdekaan, fungsi sebagai Gudang tetap dipertahankan, bagian Gudang barat ini masih dijadikan Gudang logistik untuk Perusahaan Listrik Negara (PLN) dan Pos Telepon dan Telegraf (PTT).

Saat bangunan ini diambil alih oleh PLN dan PTT, pemugaran dilakukan pada tahun 1976. Baru pada tahun 1970-an, ide untuk menjadikan gudang ini sebagai museum dicanangkan. Hingga akhirnya pada 7 Juli 1977, dibawah kepemimpinan gubernur Ali Sadikin, kompleks Gudang Barat ini resmi dijadikan sebagai Museum Bahari.