Menurut cerita rakyat setempat menyebutkan bahwa pada suatu ketika seorang pembesar dari Ponorogo bermaksud melamar seseorang dari Kerajaan Kediri, yaitu Dewi Kilisuci. Beserta rombongan beliau berangkat lengkap dengan segala perangkat yang diperlukan bagi sebuah pelamaran dan perkawinan. Di tengah perjalanan, kurir diutus terlebih dahulu untuk menyampaikan maksud sang pembesar. Kurir kembali dari Keraton Kediri membawa berita penolakan Dewi Kilisuci.
Kegundahan sang pembesar tadi diikuti dengan niat tidak ingin kembali ke kampung asalnya. Beliau mendirikan sebuah bangunan suci dan menghabiskan sisa hidupnya disana. Penamaan Candi Penampihan, dikatakan dalam cerita rakyat tersebut berasal dari kata ‘tampik’ yang artinya tolak. Penolakan = penampikan yang lama kelamaan menjadi penampihan.
Candi Penampihan diketahui berasal dari masa Singosari. Lokasi Candi Penampihan yang berundak teras merupakan bukti tentang berlangsungnya kebudayaan megalitik di Tulungagung. Hariani Santiko (1995) menyatakan bahwa Candi Penampihan didirikan dengan memanfaatkan sisa punden berundak masa prasejarah. Dengan kata lain, bangunan suci Hindu itu “ditumpangkan” di atas punden berundak.
Sebenarnya kesejarahan situs dapat dikenali melalui penemuan prasasti. Dari kompleks percandian ini dijumpai dua jenis prasasti yang dipahatkan pada batu andesit dan lempengan tembaga. Prasasti dari batu andesit tersebut dikeluarkan oleh Rakai Watukura pada tahun 820 Saka. Tokoh yang naik tahta kerajaan Mataram kuna karena perkawinan ini diyakini memang meluaskan kekuasaan ke Jawa Timur. Berkenaan dengan keberadaan prasasti tersebut, ada pendapat ahli yang menyatakan bahwa prasasti tersebut adalah sebuah prasasti tinulad, copy – an prasasti yang pembuatannya lebih ditekankan pada unsur legitimasi seorang raja atau penguasa. Mereka yang menerima versi ini berkeyakinan bahwa candinya tidak setua itu (abad X).
Dari prasasti lain yang terbuat dari tembaga, diketahui bahwa kompleks kekunaan Penampihan berhubungan dengan tokoh Kertanegara. Diceritakan pula bahwa Kertanegara mengubah upacara keagamaan serta segala upacara agama yang mati dihidupkan kembali. Hal ini dikaitkan dengan ajaran Tantrayana yang dianut oleh Kertanegara (Setianingsih, 1984).
Prasasti Penampihan yang dipahatkan diatas tujuh lempengan tembaga dikenal pula sebagai prasasti Sarwadharma itu berangka tahun 1191 Saka dan dikeluarkan tepatnya pada tanggal 31 Oktober 1269 (Damais, 1952). Didalamnya disebutkan pula pebagian kasta dalam kelompok-kelompok masyarakat.
Selain disebut sebagai Candi Penampihan, candi ini dikenal dengan nama Candi Asmarabangun. Dinamakan demikian karena dalam versi cerita rakyat pembangunannya dikaitkan dengan tokoh yang tengah dilanda asmara.
Fungsi candi ini tentu dihubungkan dengan masalah pemujaan. Candi ini bersifat Hindu, bila dihubungkan dengan penggambaran kura-kura yang melandasi bangunan utamanya. Seperti diketahui dari mitologi Hindu, kura-kura adalah salah satu awatara penjelmaan Wisnu. Begitu pula bila dikaitkan dengan prasasti yang terbuat dari batu andesit yang berukuran besar yang terdapat di percandian ini. Lap.Usulan Penetapan CB Kab.Tulungagung
