Ada beberapa versi tentang pembangunan masjid yang terletak di Jl. Kanjeng Sepuh No. 6, Kecamatan Sidayu, Kabupaten Gresik ini. Sebuah sumber mengatakan bahwa Masjid Besar Kanjeng Sepuh Sidayu dibangun pada 1758 M. Pendirinya adalah penguasa Sidayu bernama Raden Kromo Widjojo dan dilanjutkan oleh R.A.A. Soeroadiningrat III. Nama yang terakhir dikenal juga sebagai Kanjeng Sepuh dan memerintah sejak 1817 hingga 1856.
Sumber lain mengatakan bahwa masjid ini awalnya dibangun oleh Syeh Abdullah dari Madura sekitar 1357 M. Ketika ulama itu meninggal, bangunan masjid yang semula kecil diperbesar oleh Kanjeng Sepuh setelah pada suatu malam bermimpi bertemu Syeikh Abdullah. Tetapi pendatpat itu agaknya patut diragukan. Tahun 1357 sebagai tahun pendirian masjid mungkin mengacu pada angka tahun beraksara arab yang berada di dalam masjid. Angka tahun itu sendiri belum dapat ditentukan apakah merujuk pada kalender masehi atau hijriah. Jika merujuk pada kalender hijriah berarti tahun 1936 M. Selain itu terdapat pula dua angka tahun yang berada dalam bidang yang sama. Angka tahun yang juga memakai aksara arab tersebut jika dibaca masing-masing menunjukkan tahun 1819 dan 1895. Kedua angka tahun itu menggunakan penanggalan masehi dan terdapat keterangan angka tahun Jawa di bawahnya. Pada angka tahun 1819 ada tulisan huruf arab jim yang menandakan tahun Jimakir dalam siklus delapan tahun (windu/warsa) penanggalan Jawa sedangkan di bawah angka tahun 1895 terdapat huruf wawu yang menandakan tahun Wawu.
Terlepas dari pertanyaan tentang awal pendirian masjid ini, Sidayu sebagai daerah pesisir termasuk wilayah yang pertama kali berjumpa dengan kebudayaan Islam. Tidak jauh dari kota ini, sekitar 25 km kea rah selatan terdapat batu nisan Fatimah Binti Maimun yang berangka tahun 475 H (1082 M). Kemudian Tuban yang berada di utara kota ini pada awal abad 16 juga sudah menganut Islam. Sidayu sendiri pada saat yang sama juga telah diperintah oleh penguasa yang memiliki hubungan dengan penguasa Demak yang muslim. Meskipun begitu mayoritas penduduk Sidayu ketika itu menurut Tome Pires masih kafir.
Kini keberadaan masjid ini menjadi identik dengan sosok Kanjeng Sepuh. Makamnya sendiri berada di belakang masjid ini bersama dengan beberapa penguasa Sidayu lainnya. Kanjeng Sepuh juga dikenal dengan nama Raden Museng dan berasal dari garis keturunan penguasa Sidayu dari trah Madura. Dia mempunyai beberapa anak dan salah satunya menjadi bupati Kediri pada 1858 dengan gelar R.T.A. Tedjokusumo. Kanjeng Sepuh merupakan sosok yang dianggap sebagai pemimpin tersukses Sidayu dengan masa jabatan yang paling lama. Ada beberapa cerita rakyat yang berusaha menggambarkan kebesarannya. Seperti cerita mengenai kebiasaannya untuk berkeliling di wilayahnya pada malam hari untuk mengetahui kondisi rakyatnya dari dekat. Atau cerita tentang hubungannya dengan seorang tokoh bernama Jayeng Katon dari Ujungpangkah (sekitar 8 km di utara Sidayu). Selain itu ada pula beberapa nama tempat di Sidayu yang dihubungkan dengannya. Antara lain Telaga Rambit yang dianggap sebagai salah satu hasil karyanya.
Lap. Kegiatan Inventarisasi Tinggalan Purbakala di Kab. Gresik