Seperti namanya, Masjid Pecinan Tinggi dibangun di sebuah pemukiman cina pada masa Kesultanan Banten. Bangunan ini terletak kurang lebih 500 meter ke arah barat dari masjid Agung Banten, atau 400 meter ke arah selatan dari Benteng Speelwijk. Masjid Pecinan Tinggi terletak di kampung Dermayon, di sebelah kiri jalan raya. Penamaan Masjid Pecinan Tinggi dikarenakan pada masa silam, banyak pedagang Cina yang berdagang dan bertempat tinggal di daerah ini pada masa Maulana Hasanudin. Menurut catatan sejarah, masjid ini adalah masjid yang pertama dibangun oleh Syarif Hidayatullah dan dilanjutkan oleh Maulana Hasanudin. Berbeda dengan Masjid Agung Banten yang masih berdiri dengan kokoh, yang tersisa dari Masjid Pecinan Tinggi tinggal menara, mihrab, dan sisa pondasi bangunan induknya yang terbuat dari batu bata dan batu karang. Menara masjid terbuat dari bata dengan pondasi dan bagian bawahnya terbuat dari batu karang. Denah menara berbentuk persegi empat dan bentuknya menyerupai menara di Masjid Kasunyatan. Bagian atas menara ini sudah hancur, sehingga wujud utuh dari bangunan ini sudah tidak nampak lagi.
Di sebelah utara menara masjid terdapat pula sebuah makam Cina yang tidak diketahui kaitannya antara makam tersebut dengan Masjid Pecinan Tinggi. Makam tersebut hanyalah satu-satunya yang terdapat di lokasi ini. Tulisan Cina yang terdapat di makam tersebut menjelaskan bahwa yang dikuburkan di sana adalah pasangan suami istri (Tio Mo Sheng dan Chou Kong Chian) yang berasal dari desa Yin Shao, batu nisan tersebut didirikan pada tahun 1843.
