Benteng Bernaveld ini berbentuk segi empat dengan bastion pada masing-masing sudutnya. Tinggi dinding benteng kurang lebih 4 m, dengan tebal 60 cm. Pintu masuk benteng ini berada di sisi utara bangunannya. Di bagian dalam benteng dekat pintu masuk ini, terdapat sebuah sumur dan tangga yang menuju ke lantai atas benteng. Di lantai atas, terdapat dinding-dinding bekas ruangan-ruangan benteng yang ukurannya berbeda-beda. Di sini juga terdapat beberapa buah meriam yang berukuran cukup besar yang tergeletak di dekat ceruk bidiknya (embrasure). Kondisi Benteng Bernaveld sekarang ini merupakan hasil renovasi yang pernah dilakukan pada masa kepemimpinan Pieter Both (1568-1615) sebagai Gubernur Jenderal VOC di Nusantara pada tahun 1610-1614.
Benteng Bernaveld memiliki nilai penting sejarah bagi perjalanan Pulau Maluku, Pada tahun 1558 bangsa Portugis tiba dan bermukim di Labuha, kemudian mereka mendirikan satu benteng. Tidak lama kemudian bangsa Spanyol datang dan berdagang di benteng ini dan merebutnya. Tahun 1609 Laksamana Muda Simon Hoen bersama dengan Sultan Ternate menuntut kepada bangsa Spanyol agar benteng ini diserahkan kepada mereka. Tuntutan mereka dipenuhi, benteng tersebut kemudian diperkuat oleh Hoen, Louis Schot dan Jan Dirkjzoon, mereka membangun empat bastion dan menamai benteng ini Bernaveld. Ketika dikuasai Belanda, benteng ini dipugar dengan kapur dan batu. Di tengah-tengah benteng dibangun sebuah rumah yang kokoh dengan atap dari rumput kering, genteng dan ruangan bawah tanah dengan dinding setebal satu kaki. Di sekitar benteng ditemukan batu prasasti besar dengan tulisan Latin dan di bagian kanan batu prasasti tersebut terdapat tanda keluarga Gubernur Jenderal Pieter Both.
