Lokasi masjid cukup luas dan menyatu dengan kompleks Yayasan Islamic Center Al-Hikmah yang mengelola pendidikan Taman Kanak-kanak dan Madarasah Diniyah. Bangunan masjid  berada di bagian belakang kompleks.

Bangunan masjid terdiri dari tiga bangunan pokok, yaitu bangunan induk, mihrab, dan serambi. Bangunan masjid ini memiliki tembok keliling berukuran 50 x 30 m. Ukuran luas bangunan masjid adalah 31 x 20  m, yang terdiri dai bangunan induk 20 x 19,8, serambi 10,2 x 9 m, dan mihrab 5 x 2,4 m. Atab masjid  berupa  atap tumpang  lima, tiga buah atap di bagian  bawah  berbentuk piramid sedangkan dua di bagian atas berbentuk lingkaran segi delapan yang dilengkapi dengan kemuncak. Atap ini dari bahan seng.

Pada  sisi utara mihrab menempel pada pagar keliling  sudut baratlaut terdapat kompeks makam. Kompleks makam ini terdiri dari lima buah makam, yang satu di antaranya adalah makam Angku Lareh. Makam ini diberi pagar terali besi dengan jirat dari keramik. Adapun  di luar pagar terdapat sebuah nisan bertuliskan huruf Arab yang berangka tahun 1349 H.

Menurut informasi dari pengurus masjid, bangunan Masjid Agung Koto Baru dibangun semasa pemerintahan Engku Lareh dan merupakan masjid tertua di Kec. Lubuk Basung.