Sejarah awal yang diketahui adalah dengan dibangunnya balai kota (Stadhuis) pada tahun 1620 di Batavia yang berada di tepi timur Kali Besar. Mulanya gedung balai kota ini dibangun bertingkat satu dan penambahan tingkat kedua dilakukan pada masa-masa selanjutnya. Gedung ini bertahan selama enam tahun, kemudian dibongkar ketika Sultan Agung menyerang Batavia pada tahun 1626.

Setelah itu, Jan Pieterszoon Coen selaku Gubernur Jenderal yang menjabat pada masa itu membangun kembali balai kota tersebut pada tahun 1627. Coen menjadikan balai kota ini sebagai pusat pemerintahan sekaligus kantornya. Gedung utama diperlebar pada tahun 1665 dengan penambahan satu ruangan di sisi barat dan timur bangunan. Kondisi balai kota semakin lama menjadi memburuk yang disebabkan oleh penurunan gedung secara perlahan yang diakibatkan oleh faktor berat gedung dan tanah yang tidak seimbang di Batavia.

Hal tersebut dijadikan alasan untuk pembongkaran gedung untuk dibangun ulang pada tahun 1707 dibawah pemerintahan Gubernur Jenderal Joan van Hoorn. Pembangunan gedung balaikota yang baru selesai pada tahun 1710 dan diresmikan oleh Gubernur Jenderal Abraham van Riebeeck. Pembangunan gedung baru ini dilakukan dengan menaikkan lantai sekitar 56 cm tanpa mengubah pondasi yang sudah ada. Bangunan ini kemudian berfungsi sebagai kantor administrasi Batavia selama dua abad. Selain itu, bangunan balai kota ini juga berfungsi sebagai gedung Dewan Kotapraja (College can Schepenen) dan Dewan Pengadilan (Raad van Justitie).