Masjid ini dibangun pada tahun 1775,  saat masa pemerintahan Sultan Hamengku Buwana I, dengan K. Wiryokusumo sebagai arsiteknya. Adapun penghulu pertamanya yaitu Kiai Faqih Ibrahim Diponingrat. Secara umum Masjid Gedhe Kauman mempunyai ciri yang sama dengan masjid-masjid kuno lain di Jawa, yaitu beratap tumpang tiga dengan mustaka, berdenah bujur sangkar, mempunyai serambi, mempunyai pawestren, serta mempunyai kolam di tiga sisi masjid. Selain itu, Masjid Gedhe Kauman mempunyai ciri-ciri unik di antaranya mempunyai gapura depan berbentuk semar tinandhu.(Himawan Prasetyo)