Di hadapan Candi Arjuna berdiri sebuah candi yang berdenah empat persegi panjang berukuran 7 x 3.50 meter, dengan pintu menghadap ke timur. Seperti candi-candi lainnya, Candi Semar memiliki kaki-tubuh dan atap. Alas kaki candi dan alas tubuh candi dihias dengan perbingkaian berupa bingkai padma (sisi genta) dan bingkai rata. Pintu dihias dengan kala-makara, tubuh candi diberi bidang penghias yang kosong.
Atap candi bentuknya sangat unik, karena tidak berlapis seperti halnya Candi Arjuna dan candi-candi lainnya, namun hanya satu lapis melengkung ke atas, bentuknya seperti padma yang besar. Puncak atap berbentu apa, sudah tidak diketahui karena telah hilang. Candi Semar ini berfungsi sebagai candi perwara, atau candi pengiring, namun yang diletakkan di ruangan candi tidak jelas.
Apabila dibandingkan dengan kompleks kuil di India, bangunan yang berhadapan dengan bangunan utama, biasanya dipakai untuk menempatkan arca Nandi, vahana (kendaraan) Siwa. Candi Semar. Candi ini letaknya berhadapan dengan Candi Arjuna. Denah dasarnya berbentuk persegi empat membujur arah utara-selatan. Batur candi setinggi sekitar 50 cm, polos tanpa hiasan. Tangga menuju pintu masuk ke ruang dalam tubuh candi terdapat di sisi timur. Pintu masuk tidak dilengkapi bilik penampil.
Ambang pintu diberi bingkai dengan hiasan pola kertas tempel dan kepala naga di pangkalnya. Di atas ambang pintu terdapat Kalamakara tanpa rahang bawah. Pada dinding di kiri dan kanan pintu terdapat lubang jendela kecil. Di dinding utara dan selatan tubuh candi terdapat, masing-masing, dua lubang yang berfungsi sebagai jendela, sedangkan di dinding barat (belakang) candi terdapat 3 buah lubang. Ruangan dalam tubuh candi dalam keadaan kosong. Atap candi berbentuk limasan tanpa hiasan. Puncak atap sudah hilang, sehingga tidak diketahui lagi bentuk aslinya. Konon Candi Semar digunakan sebagai gudang untuk menyimpan senjata dan perlengkapan pemu
