Masjid ini dibangun tahun 1775, pada masa pemerintahan Sultan Hamengku Buwana I. Arsiteknya yaitu K. Wiryokusumo. Adapun penghulu pertamanya yaitu Kiai Faqih Ibrahim Diponingrat.
Masjid Gedhe Kauman memiliki ciri yang sama dengan masjid-masjid kuno lain di Jawa, yaitu beratap tumpang tiga dengan mustaka, berdenah bujur sangkar, mempunyai serambi, mempunyai pawestren, serta mempunyai kolam di tiga sisi masjid. Selain itu, Masjid Gedhe Kauman mempunyai ciri-ciri unik di antaranya mempunyai gapura depan berbentuk semar tinandhu.
Bangunan ini ditetapkan sebagai cagar budaya dengan Per.Men Budpar RI No. PM.89/PW.007/MKP/2011. Masjid Gedhe Kauman terletak di Jalan Pekapalan Yogyakarta, di sekitar alun-alun utara Keraton Yogyakarta.
