Dinamakan Keraton “Kaibon” yang berarti keibuan, karena Komplek Keraton Kaibon terletak di Kampung Kroya ini dibuat untuk ibunda Sultan Syafifuddin yang bernama ibu Ratu Aisyah. Pada tahun 1832 keraton ini dibongkar pada masa pemerintahan Jenderal Daendels. Penyebabnya adalah bahwa Sultan Syafifuddin menolak perintah Daendels untuk meneruskan pembangunan jalan Anyer–Panarukan. Bentuk penolakan tersebut disertai dengan pemenggalan Du Puy, utusan Belanda.
Meskipun dihancurkan, kondisi Keraton Kaibon yang saat ini masih dapat dilihat tidaklah separah Keraton Surosowan yang tidak menyisakan struktur bangunan pokok. Setidaknya, Keraton Kaibon masih menyisakan struktur bangunan yang masih berdiri tegak. Pintu Paduraksa juga masih kokoh berdiri. Ada kesamaan antara Keraton Kaibon dengan Keraton Surosowan adalah unsur air yang mengelilingi seluruh bangunan. Penggunaan unsur air bertujuan sebagai pendingin ruangan dan bangunan mengingat kondisi cuaca di wilayah tersebut tergolong sangat panas. Dengan demikian, seluruh ruangan dan bangunan tidak lepas dari saluran air yang dialirkan melalui bagian bawah. Sementara untuk membuat lantai dan atap bangunan digunakan balok kayu berukuran besar. Bahan-bahan yang sama juga digunakan untuk membangun mesjid yang kala itu berdiri megah dan terkesan mewah dan dimasukan sebagai bangunan inti keraton.
