Pulau Ay terletak pulau ini ada di sebelah barat Pulau Gunung Api. Di pulau inilah, agen Inggris melatih jawara-jawara setempat untuk mempertahankan diri dari serbuan Belanda pada tahun 1615. Penduduk pulau mengejutkan Belanda dengan serbuan balik tak terduga yang memakan korban 200 jiwa. Setahun kemudian, Belanda dapat menguasai pulau ini dengan bertukar Pulau Seram untuk Inggris. Belanda kemudian membalas dendam kepada penduduk pulau, hampir segenap penduduknya dibantai, dan hanya sebagian kecil yang berhasil melarikan diri. Setelah itu, pulau ini dihuni oleh budak dan tawanan. Salah satu tinggalan Belanda yang hingga saat ini dapat ditemui yaitu Benteng Revengie.
Pada 1615 empat kapal VOC mendarat di pulau Ay dan berhasil menduduki pulau tersebut, tetapi kemudian penduduk setempat yang melarikan diri kembali menyerang orang-orang Belanda dan berhasil menghalau mereka. Pada tahun 1616 orang-orang Belanda kembali lagi dan kali ini berhasil mengalahkan penduduk pulau Ay. Kemudian sebagian penduduk bersedia mengabdi, dan sebagian lagi memilih mati dengan meloncat dari batu karang tertinggi di pulau itu ke dalam laut. Pada tahun yang sama, Benteng Revengie dibangun dengan dilengkapi senjata dan meriam yang berasal dari salah satu kapal Belanda. Pada tahun 1683 Benteng rusak berat akibat gempa hebat : bastion benteng yang menghadap ke laut rubuh. Pada tahun 1748 benteng ini menjadi tempat pembuangan pegawai VOC yang telah melakukan tindakan kriminal atau bertentangan dengan kebijakan perusahaan, antara lain: mantan Komandan pasukan di Timur Laut Jawa, Elso Sterrenberg. Pada 1753 Benteng Revengie dipugar dan terus berfungsi hingga akhir abad ke-19.
Denah situs benteng Revengie ini berbentuk kura-kura. Benteng Revengie memiliki lima bastion. Pada setiap bagian dalam bastion terdapat sejumlah ruangan. Benteng ini memiliki satu gerbang yang menghadap ke arah timur laut. Bagian atas gerbang berbentuk setengah lingkaran, dindingnya menggunakan dua kolom semu. Di atas lingkaran gerbang terdapat lis-lis tembok yang seolah-oleh di topang dengan dua kolom semu. Dua pintu lainnya terdapat pada sudut ke-4 dan sudut ke-5, sedangkan pada sisi ke-2 terdapat 2 pintu ke ruang bawah tanah. Pada sisi ke-4 yaitu pada sisi bagian barat, terdapat satu inskripsi pada dinding tembok yang direkatkan dengan campuran pasir laut dan kapur karang. Pintu masuk berada di sebelah utara yang juga merupakan arah hadap bangunan pertahanan ini. Pintu masuk yang menyerupai lorong dengan model lengkung di bagian atas pintu. Pada dinding lorong pintu sebelah timur terdapat satu cerukan di dinding dengan model seperti pintu tetapi dengan ukuran kecil sehingga bisa disebut sebagai model jendela tetapi tertutup semen, bentuk seperti ini juga terdapat pada dinding sebelah barat. Pada dinding lorong bagian barat terdapat 2 (dua) bentuk seperti tersebut di atas. Pada model jendela yang kedua plesteran jendela runtuh dan Nampak bahwa jendela tersebut ditutup untuk menutup lubang yang sebelumnya ada pada jendela.
