Kerusakan fisis adalah kerusakan cagar budaya yang disebabkan oleh adanya faktor lingkungan seperti suhu, kelembaban, angin. Gejala yang terjadi dan dapat diamati secara makroskopis antara lain berupa perubahan warna asli cagar budaya, pengkerutan dimensi benda, retakan-retakan mikro, pecah dan mengelupas. Kerusakan fisik yang terjadi pada Candi Kidal terjadi pada bagian kaki candi pada lapis 1-3, dimana pada bagian ini terjadi proses penuaan akibat interaksi dengan lingkungan. Pada bagian kaki candi sisi utara dan tubuh sisi selatan juga terdapat kerusakan secara fisik berupa pengelupasan batuan. Pengelupasan ini diakibatkan oleh dorongan dari dalam yang diakibatkan oleh air. Kualitas batuan juga mempengaruhi tejadinya proses pengelupasan ini, dimana batuan yang mengalami pengelupasan ini berwarna kecoklatan dan permukaannya lebih kasar.
