Keraton Surosowan dibangun pada masa pemerintahan Maulana Hasanuddin selama kurun waktu 4 tahun, yaitu dari tahun 1522-1526. Arsitek pembangunan situs bersejarah ini, salah satunya berkebangsaan Belanda yang telah masuk Islam, yaitu Hendrik Lucasz Cardeel yang berganti nama menjadi Pangeran Wiraguna. Dibangun di atas lahan seluas 3 hektar, sekeliling keraton diberi pembatas tembok setinggi 3 meter sehingga mirip sekali dengan benteng.
Untuk masuk ke Keraton Surosowan, dibangun 3 buah gerbang yang berada di sebelah utara, timur, dan selatan. Bahan untuk membuat Gerbang terdiri dari batu karang dan batu bata yang dibangun pada masa pemerintahan Maulana Yusuf sebagai Sultan kedua Banten pada tahun 1570 sampai 1580.
Memasuki pintu gerbang, pengunjung akan menjumpai bangunan-bangunan yang berhubungan dengan air. Salah satu yang terkenal adalah sebuah kolam yang diberi nama Kolam Rara Denok. Kolam sepanjang 30 meter, lebar 13 meter, dengan kedalaman 4,5 meter memiliki sumber mata air yang berasal dari Danau Tasikardi yang terletak sekitar 2 kilometer dari Surosowan.
Di dalam Komplek Keraton Surosowan juga terdapat pula Gedong Pakuwon yang berbentuk persegi panjang dengan ukuran dinding sekitar 2 meter dan lebar 5 meter, panjang sisi timur dan sisi baratnya kira-kira sekitar 300 meter. Kemudian dinding sisi utara dan sisi selatan 100 meter maka luas secara keseluruhan sekitar 3 hektar. Pintu masuk merupakan pintu gerbang utama terletak di sebelah utara menghadap ke alun-alun.
Tahun 1605 dan 1607 benteng keraton sempat mengalami kebakaran hebat dan pada 21 Nopember 1808 Gubernur Jenderal Hindia Belanda Daendels bersama pasukan militernya menghancurkan keraton ini.
