Masjid Sela dibangun tahun 1709 J atau 1787 M, pada masa pemerintahan Sultan Hamengku Buwana I. Pendirian masjid dipimpin oleh Tumenggung Mangundipuro dan di bawah pengawasan RM Sundara (Pangeran Adipati Anom atau putera mahkota yang kelak menjadi Sultan Hamengku Buwana II). Masjid Sela sebenarnya merupakan bagian dari kompleks Dalem Kadipaten atau Dalem Putra Mahkota). Konon, seluruh bangunan Masjid Sela terbuat dari adonan pasir dan gamping, dengan menggunakan perekat dari legen (nira). Campuran baha-bahan tersebut menjadi keras dan menghitam seperti sela (Jw) artinya batu, sehingga masjid ini dinamakan Masjid Sela.
