Rumphius mulai menyebut Passo pada abad ke-17 dengan mencatat Baguala, satu dari beberapa negeri Kristen tertua di Pulau Ambon, terletak pada tanah genting yang bernama Passo di Teluk Ambon. Passo adalah sebuah negeri atau desa yang terletak di Kecamatan Baguala, Kota Ambon. Pemberian nama Passo ada dalam beberapa cerita. Yang pertama, nama Passo mempunyai hubungan dengan pekerjaan pembuatan benteng (Middelburg) yang sebelumnya adalah bekas benteng Portugis. Pemerintah Belanda mengharuskan penduduk untuk memperbaiki dan memperluas benteng tersebut. Namun masyarakat Passo pada saat itu keras kepala dan acuh terhadap pemerintah Belanda. Karena itu mereka sering dihardik dengan ucapan Pasop ya yang artinya awas atau hati-hati. Menurut cerita rakyat setempat kata Pasop berubah menjadi Passo dan menjadi nama negeri yang baru dari orang-orang Baguala.
Cerita lain mengatakan bahwa Passo letaknya strategis di persimpangan jalan maka Belanda membuat persinggahan (pos penjaga) untuk memeriksa orang-orang yang datang dari daerah seberang yang melintasi Passo. Mereka yang lewat harus menunjukkan Pas (surat jalan). Jika pas yang ditunjukkan itu benar, maka Belanda menyebutnya So. Pada akhirnya kedua kata itu menyatu dalam sebutan Pas-so (Passo), sesuai bahasa daerah Paukalla yang berarti daerah atau tempat yang berkedudukan di tengah-tengah jazirah Leihitu dan Leitimur sebagai pusat genting tanah Baguala (Pulau Ambon) (Bunga Rampai Sejarah Maluku 1 (1973: 45)
Riwayat Pembangunan Benteng
- Masa Portugis
Salah satu ciri kehadiran Portugis di Passo ditandai dari benteng yang dikerjakan dengan bantuan masyarakat pribumi. Seluruh aktifitas masyarakat pada waktu itu dikendalikan dari benteng batu buatan Portugis. Portugis datang untuk memperkuat Kristen di sana. Strategi Portugis lain adalah di sekitar benteng dibangun sekolah yang difungsikan untuk pendidikan dan pengkristenan di Baguala. Namun perkembangan pendidikan dan ke kristenan tidak diketahui secara pasti sampai berakhirnya pemerintahan Portugis di Baguala dan Belanda menduduki Ambon (1605) (Tetelepta, 2004: 71)
Sepeninggal Portugis dari Passo, benteng tidak lagi terurus. Puing-puingnya pertama kali di data pada masa Jan Van Gorkum (1625-1628). Rumphius menulis, “sebuah rumah besar di Pas Baguala dengan setengah bulan sabit (simbol VOC).. telah hilang”. Benteng kemudian direnovasi dan dibangun kembali oleh Ingenieur Von Wagner.
- Masa Belanda
Pemugaran berikutnya terjadi pada masa Robertus Padbrugge. Masa pemerintahannya berlangsung ketika pembagian wilayah Ambon dipetakan untuk rentan waktu 1671-1695. Pada masanya, benteng dipugar sekaligus diberi nama Middelburg. Pada prasasti benteng Middelburg terukir untaian kata “De Eersten Steen gelegt; Door; Johannes van Vliet; Neve van Den Governeur; Robertus Padbrugge; Den 17de October; A 1686. Peletakan batu pertama Middelburg dilakukan pada 17 Oktober 1686 oleh Johannes van Vliet dan Gubernur Robertus Padbrugge (Willink, 1884: 207). Benteng peninggalan Portugis ini diberi nama Middelburg yaitu sebuah kota di Negeri Kincir Angin (Belanda).
Gambar terakhir yang diperoleh tanpa tahun memperlihatkan bahwa Benteng Middelburg hanya menyisakan bangunan persegi dan dikelilingi oleh pagar. Pada awal abad 19 benteng ini sudah benar-benar rusak. Van De Wall mengungkapkan bahwa tembok utama kecil persegi benteng tertutup reruntuhan tembok dan bagian-bagian jendela (membulat diatasnya). Atapnya yang runcing di puncak mengalami rusak berat. Ruang di dalam benteng penuh dengan semak belukar, tumbuhan benalu dan pohon pisang yang subur. Lantai benteng tertutup puing, reruntuhan dinding, jendela dan pintu yang rusak.
Di benteng ini terdapat sebuah batu yang diletakkan pada bagian atas pintu gerbang yang berciri keagamaan. Pada awal abad 20 pada tahun 1921 batu tersebut dipindahkan ke Kantor Residen di Ambon (Van de Wall: 1928).
