Pada abad XVII daerah Tabanio dan sekitarnya merupakan daerah dengan potensi perekonomian yang cukup tinggi. Di daerah ini terdapat perkebunan lada yang sangat potensial dan perikanan laut. Di daerah sekitar Pelaihari, yaitu di sebelah tenggara Tabanio, terdapat tambang emas. Tentara Mataram pernah juga mendarat di Pantai Tabanio, dalam rangka perundingan diplomasi dan mematahkan usaha monopoli lada oleh para pedagang Eropa di Kerajaan Banjar.
Di sebelah timur Pantai Tabanio terdapat suatu daerah yang bernama Jaratan (sekarang Panjaratan). Di daerah ini terdapat tempat pengumpulan lada yang diperdagangkan keluar pulau melalui Laut Jawa. Daerah-daerah yang dituju sebagai daerah pemasaran terutama Jawa dan Sumatera. Di daerah tersebut juga terdapat markas perampok yang daerah operasinya meliputi Pantai Laut Jawa, Pulau Laut, Teluk Pamukan, Pasir, Muara Sungai Barito, bahkan juga sampai ke Muara Sungai Kahayan. Sebagai sasaran perampokan antara lain lada, emas, dan senjata baik itu milik pedagang asli maupun lokal. Oleh karena memiliki potensi perekonomian yang cukup tinggi, maka daerah Tabanio menjadi incaran pedagang-pedagang asing. Untuk mengamankan daerah ini, baik dari gangguan perampok maupun incaran pedagang asing, Kerajaan Banjar merasa perlu mengadakan pengawasan sampai daerah Tanah Laut.
Ketika VOC datang mereka mengadakan perjanjian dengan Kerajaan Banjar, yang salah satunya mengenai pendirian benteng di Tabanio. Perjanjian tersebut tertuang dalam Banjersch contract van den 6 Julij 1779 fasal 7. Pada tahun 1789 didirikanlah Loji/Fort Tabaniouw (Benteng Tabanio) dalam rangka monopoli lada dan usaha lainnya. Pendirian benteng tersebut juga ditujukan untuk pengawasan dan perlindungan dari berbagai kemungkinan ancaman politik dan perdagangan. Eksistensi benteng ini disebut-sebut juga dalam kontrak-kontrak yang kemudian, yaitu 1 Januari 1817 Perkara Lima, Kontrak 14 Mei 1826, dan Konsesi 30 April 1856.
Pada masa Perang Banjar yang mulai meletus tanggal 28 April 1859, Benteng Tabanio juga menjadi sasaran penyerangan. Serangan tersebut dipimpin oleh Haji Buyasin, Demang Leman, dan Kyai Langlang. Peristiwa penyerangan tersebut tertuang dalam surat Kolonel Andersson kepada gubernur jenderal, yaitu Letter B No. 25 neer geheim 16 Mei 1859.
Pada bulan Agustus 1859 pejuang Banjar kembali menyerang benteng tersebut, bahkan berhasil mendudukinya. Pimpinan tentara Belanda (gezadhebber) Mauritz tewas terbunuh dalam pertempuran tersebut. Tentara Belanda berusaha merebut kembali benteng tersebut dengan mengarahkan kapal perang Bone, tetapi gagal. Barulah pada serangan yang kedua mereka berhasil merebut kembali benteng tersebut dan mengusir para pejuang Banjar ke daerah pedalaman.
Setelah dihapuskannya eksistensi Kerajaan Banjar pada tangga 11 Juni 1860 serta selesainya perang Banjar pada awal abad 20, Benteng Tabanio tidak pernah dipergunakan lagi. Benteng tersebut kemudian dirtinggalkan karena sudah rusak dan juga karena sudah tidak ada perang lagi. Setelah ditinggalkan maka bagian-bagian benteng tersebut kemudian dimanfaatkan oleh masyarakat untuk pembangunan masjid, langgar dan sumur. Dengan demikian kerusakan dan kemusnahan benteng disebabkan oleh tiga hal yaitu perang, proses alam, dan aktivitas manusia.
Situs Benteng Tabanio secara geografis berada di tepi pantai Laut Jawa, dekat dengan Sungai Tabanio, di bagian pangkal barat Tanjung Selatan yang oleh para pelaut disebut sebagai Tanjung Silat. Situs ini secara administrasi termasuk dalam wilayah Kampung Tabanio, Desa Tabanio, Kec. Takisung, Kab. Tanah Laut, Kalimantan Selatan. Dari Banjarmasin situs ini terletak 96 km di sebelah tenggara, yang dapat dicapai melalui Kota Pelaihari dan Takisung.