Pada dasarnya semua Cagar Budaya baik yang bergerak maupun yang tidak bergerak tidak ada yang bersifat abadi. Karena pengaruh faktor lingkungan Cagar Budaya tersebut akan mengalami perubahan. Perubahan yang terjadi bisa berupa kerusakan (damage) ataupun pelapukan (weathering) dan akhirnya menjadi tanah (soiling process). Mengingat Indonesia terletak di benua Asia yang beriklim tropis lembab, maka keberadaan cagar budaya tersebut sangat rentan terhadap terjadinya proses kerusakan dan pelapukan. Benda Cagar Budaya yang bahan dasarnya berasal dari bahan anorganik seperti batu, bata, keramik, kaca, benda-benda logam lebih tahan terhadap faktor cuaca, namun tetap akan mengalami proses kerusakan dan pelapukan meskipun dalam proses yang cukup lama. Akan tetapi Benda Cagar Budaya yang bahan dasarnya berasal dari bahan-bahan organik seperti kayu, kertas, kain, tulang sangat peka terhadap faktor lingkungan sehingga lebih cepat mengalami proses kerusakan dan pelapukan yang dapat berakibat pada hancurnya benda cagar budaya tersebut.
Sampai saat ini jumlah Cagar Budaya yang telah ditetapkan masih sangat rendahsudah barang tentu harus menjadi perhatian dari pemerintah pusat maupun pemerintah daerah. Jika masih banyak Cagar Budaya yang belum ditetapkan, maka dikhawatirkan Cagar Budaya tersebut akan terancam kerusakan akibat adanya konflik kepentingan misalnya adanya tekanan pembangunan, perluasan lahan, pemanfaatan lahan untuk permukiman, dan lain-lain.
Cagar Budaya yang sudah dipugar juga belum menunjukkan jumlah yang signifikan dibandingkan dengan Cagar Budaya yang mengalami kerusakan. Mengingat sebagian besar Cagar Budaya di Indonesia terletak di open air (udara terbuka) yang langsung bersentuhan dengan faktor air, cuaca (suhu, kelembapan, angin), maka bahan dasar yang digunakan untuk Cagar Budaya tersebut akan cepat mengalami proses kerusakan dan pelapukan. Masalah lain adalah masih banyaknya Cagar Budaya (termasuk di dalamnya Cagar Budaya bawah air) yang terancam hilang dan rusak, karena belum dilindungi secara hukum.
Menyikapi hal ini dikhawatirkan Cagar Budaya yang sudah mengalami kerusakan jika tidak segera diperbaiki/dipugar, maka lambat laun kerusakannya akan semakin bertambah parah. Sementara Cagar Budaya/situs yang dipelihara masih sangat terbatas terutama untuk Cagar Budaya dan situs-situs yang terletak di kawasan Timur Indonesia. Ini sudah barang tentu harus menjadi perhatian dari pemerintah pusat maupun pemerintah daerah. Upaya pemeliharaan rutin terhadap Cagar Budaya dimaksudkan untuk menjaga agar kondisi keterawatannya tetap terjamin.
Di sisi lain faktor sumber daya manusia menjadi masalah penting dalam upaya pelestarian Cagar Budaya. Sampai saat ini jumlah tenaga juru pelihara belum mencukupi, terutama untuk Cagar Budaya dan situs-situs yang terletak di Sumatra, Kalimantan, Sulawesi, Maluku dan Papua, sehingga sebagian besar Cagar Budaya dan Situs tersebut kurang terawat.Tenaga-tenaga trampil bidang pemetaan, penggambaran, pemugaran, konservasi dan analisis laboratorium Cagar Budaya hasil pendidikan dan pelatihan di Balai Konservasi Peninggalan Borobudur beberapa tahun yang lalu sudah banyak yang purna tugas, sementara proses regenerasi belum berjalan secara maksimal. Kondisi ini tentu akan menyulitkan upaya bangsa Indonesia ini dalam menjaga dan melestarikan Cagar Budaya yang merupakan aset nasional yang tak ternilai harganya.
Penguasaan peralatan teknologi informasi [hardware dan software] untuk teknis pelaksanaan registrasi dan penetapan juga masih merupakan kendala yang harus segera diatasi. Masalah potensi Cagar Budaya Bawah Air yang masih kurang dipahami oleh tenaga teknis yang ditempatkan di lapangan, mengakibatkan sering hilangnya aset budaya tersebut.
Disadari sepenuhnya bahwa sistem pengelolaan terhadap Cagar Budaya diakui masih belum optimal, masing-masing instansi terkadang masih ego sektoral. Semua aspek managemen mulai dari perencanaan, pelaksanaan dan pengorganisasian, serta pengawasannya masih berjalan sendiri-sendiri. Sesuai dengan Undang-Undang RI Nomor 11 Tahun 2010 Tentang Cagar Budaya, pengelolaan Cagar Budaya harus dilakukan oleh Badan Pengelola yang terdiri dari Pemerintah Pusat, Pemerintah Daerah, Dunia Usaha, dan masyarakat termasuk kalangan perguruan tinggi. Paradigma baru dalam pengelolaan Cagar Budaya di Indonesia adalah menggunakan Integrated Management System, yaitu sistem pengeloilaan Cagar Budaya yang dilakukan secara terencana, terpadu, dan berkelanjutan oleh seluruh pemangku kepentingan.
Kelemahan lain adalah masih rendahnya kesadaran dan kepedulian sebagian masyarakat terhadap nilai penting Cagar Budaya. Hal ini dibuktikan dengan masih maraknya tindak pelanggaran terhadap upaya perlindungan Cagar Budaya di beberapa daerah, misalnya pencurian, pemalsuan, pembawaan Cagar Budaya ke luar negeri secara illegal, corat-coret pada batu-batu Candi.
Ketidakharmonisan/kontradiktifnya antara Undang-Undang Nomor 11 Tahun 2010 Tentang Cagar Budaya dengan produk perundang-undangan dari instansi terkait juga merupakan permasalahan sendiri dalam pengelolaan Cagar Budaya. Sebagai contoh, insentif pajak untuk perawatan Bangunan Cagar Budaya bertentangan dengan Peraturan Menteri Keuangan tentang kebijakan pajak. Keputusan Presiden tentang Panitia Nasional Benda-benda Muatan Kapal Tenggelam (BMKT) juga bertentangan dengan Undang-Undang Nomor 11 Tahun 2010 Tentang Cagar Budaya.
Jaringan kerjasama antarsektor dan antarlembaga, dalam dan luar negeri masih lemah. Hal ini ditandai dengan masih terbatasnya program kerjasama dengan lembaga-lembaga internasional dalam bidang pelestarian Cagar Budaya, baik dalam bentuk kegiatan seminar, wokshop, pameran maupun pertukaran tenaga ahli Cagar Budaya.
Penggunaan teknologi peralatan pelestarian yang tidak mutakhir (up to date) juga menjadi salah satu kendala karena mengakibatkan pencataan data Cagar Budaya yang tidak akurat.
Selain masalah-masalah tersebut di atas, masih ada masalah penting lainnya yang harus diperhatikan, yakni terbatasnya Norma, Standar, Prosedur, dan Kriteria (NSPK) pelestarian Cagar Budaya. Sampai saat ini Direktorat Pelestarian Cagar Budaya dan Permuseuman baru memiliki beberapa pedoman teknis pelestarian Cagar Budaya, antara lain pedoman teknis pemugaran, pedoman teknis konservasi bangunan batu, bata, kayu, serta pedoman teknis pertamanan. Masih banyak pedoman teknis lainnya yang harus disiapkan yaitu antara lain pedoman teknis pengkajian, pemeringkatan, penghapusan, penyelamatan, pengamanan, zonasi, pengukuran, penggambaran, fotografi, penelitian, dan adaptasi.