Masjid Sela didirikan pada masa Sultan Hamengku Buwana I pada tahun 1787 Masehi. Pendirian masjid diprakarsai oleh KGP Hamengkunegara atau putra mahkota kelak menjadi Hamengku Buwana II. Sebagai pelaksana pembangunan adalah Tumenggung Mangundipuro. Masjid Sela merupakan Masjid Dalem Kadipaten untuk putra mahkota, akan tetapi Dalem tersebut mengalami kerusakan adanya serangan tentara Inggris pada tahun 1812 M. Konon Masjid Sela seluruh bangunannya terbuat dari campuran spesi pasir, kapur dan semen merah. Hasil campuran spesi tersebut menjadi keras seperti batu berwarna hitam. Oleh karena itu masjid diberi nama dari bahasa Jawa yaitu ”Sela” yang berarti batu.