Hàng chục năm qua, khoảng 15.000 dân sinh sống trong cảnh “sống khổ” bên trong những ngôi nhà mục nát do vướng đất di tích hạng đặc biệt nên không thể xây mới, sửa chữa. Lâu ngày, vô hình những hình ảnh đó đã biến nơi nơi này thành “khu ổ chuột” khiến cảnh quan di tích trở nên ô nhiễm, mất mỹ quan.