Benteng Speelwijk terletak di kampung Pamarican sekitar 600 meter ke arah Barat Laut Keraton Surosowan, Situs Banten Lama. Benteng ini berdenah persegi panjang tidak simetris dan setiap sudutnya terdapat bastion. Benteng Speelwijk didirikan pada tahun 1682, mengalami perluasan pada tahun 1685 dan 1731. Benteng ini dirancang oleh Hendrick Lucaszoon Cardeel, adapun namanya diambil dari nama gubernur VOC, Cornelis Jansz Speelman. Benteng ini seakan menjadi simbol kekuasaan kolonial Belanda yang dibangun pada masa kepemimpinan Sultan Abu Nasr Abdul Kahhar, yang juga dikenal sebagai Sultan Haji. Sultan Haji adalah putra dari Sultan Ageng Tirtayasa yang mudah dibujuk Belanda, sangat berbeda dengan sang ayah yang sangat tegas dalam urusan politik.
Keadaan bangunan saat ini tidak utuh lagi, tapi beberapa sudut benteng ini meninggalkan bentuk bangunan yang masih bisa dinikmati dan diketahui fungsinya. Benteng ini diduga mempunyai dua fungsi, yakni sebagai pertahanan dan pemukiman. Benteng tersebut juga menjadi tempat mengontrol segala kegiatan yang berkaitan dengan Kesultanan Banten dan juga sebagai tempat berlindung/bermukim bagi orang Belanda. Benteng ini semakin mengokohkan posisi Belanda dalam usahanya memonopoli perdagangan merica yang berasal dari Lampung Selatan, untuk kemudian dijual lagi kepada pedagang-pedagang asing yang berasal dari Cina, Malaysia, Arab, India dan Vietnam.
Benteng Speelwijk dilengkapi dengan empat bastion, jendela meriam, ruang jaga, basement untuk gudang/logistik dan tambatan perahu. Benteng ini dilengkapi parit keliling yang berfungsi sebagai pertahanan luar benteng dengan ketebalan antara 1,5 sampai 2 meter. Di benteng ini terdapat bastion dan sebuah menara pengintai. Di bawah bastion terdapat ruangan tempat mesiu disimpan. Pembagian ruangan utama di dalam benteng adalah kamar penyimpanan senjata, rumah komandan, kantor administrasi dan gereja yang semuanya tinggal reruntuhan dan pondasinya saja. Di areal benteng, tepatnya di sisi luar sebelah selatan terdapat pemakaman orang asing yang disebut kerkhoff. Bentuk bangunan makam terlihat tidak seragam. Salah satu bangunan makam yang paling besar adalah makam Komandan Hugo Pieter Faure (1718 – 1763), sang panglima perang.