Harem'üş-Şerif'e özellikle Hristiyanlar için çok kutsal olan Zeytin Dağı'ndan (Mount of Olive) bakıldığında ilk göze çarpan, tepenin en üstünde yer alan Kubbet'üs-Sahra oluyor. Altın kubbesi ile şehrin birçok yerinden görülebilen Kubbet'üs-Sahra'nın hemen solunda ise Mescid-i Aksa yer alıyor.
Harem'üş Şerif ile Zeytin Dağı arasında yer alan bölgede ise üç dinin mensuplarına ait mezarlara bulunuyor. Burada ayrıca Harem'üş Şerif'in güneybatısında ise Süleyman Mabedi'nin kalıntıları görünüyor. Mescid-i Aksa'nın hemen altında yer alan kısım Güney Duvarı olarak adlandırılıyor. Mescid-i Aksa'nın Zeytin Dağı'ndan bakıldığında arkasında kalan kısımda ise bugün Yahudilerin ibadet ettikleri Batı Duvarı ay da Ağlama Duvarı (Western Wall) yer alıyor.
Harem'üş-Şerif, İbrahim Aleyhisselamın oğlu İsmail'i kurban etmek için yatırdığı taşın bulunduğu yer olarak biliniyor. Ayrıca Yahudiler, ilk insan ve peygamber Adem Aleyhisselamın yaratıldığı çamurun bu tepeden toplandığına inanıyor. Ayrıca Yahudilere göre Allah'ın "kutsal varlığı" (divine presence) bu tepede duruyor ve dünya genişlemeye buradan başlayarak bugünkü haline buradan aldı.
Yahudiler için en kutsal mekan olan tepede ilk olarak Süleyman Aleyhisselam tarafından bir mabed inşa edilmiş; ancak bu mabed Babilliler tarafından yıkılmıştı. Daha sonra onarılan mabed MS 70 yılında ise Romalılar tarafından yıkıldı. Yahudi inancına göre buraya üçüncü ve son mabed de inşa edildi. Yahudiler, ibadetlerinde kıble olarak buraya dönüyorlar.
Bugün Kubbet'üs Sahra'nın altında yer alan Muallak Taşı ise Peygamber Efendimiz Hz. Muhammed'in (s.a.s) Miraç'a yükseldiği yer olarak biliniyor. Kudüs'ün 637 yılında Müslümanlar tarafından fethinden sonra buraya Mescid-i Aksa ve Kubbet'us Sahra inşa ediliyor.
Sahip olduğu kutsal mekanlardan dolayı Yahudiler ve Müslümanlar arasında en tartışmalı bölge konumunda olan Harem'üş-Şerif, 1967'den beri İsrail tarafından kontrol ediliyor. Filistin Yönetimi'nin de hak iddia ettiği Harem'üş-Şerif ile birlikte Kudüs, bugün İsrail-Arap çatışmasının en temel maddelerinden birini oluşturuyor.
İsrail, Harem'üş-Şerif'in idaresini bugün bir vakıf tarafından idare ediliyor. Ancak İsrail yönetimi, statükonun sürmesi için bölgeye Müslüman olmayanların girmesini yasakladı.