Entre 1948 et 1967, la Vieille ville de Jérusalem était gouverné par des Jordaniens. La montagne de Sion était la plus proche, puisque située non loin des murs à l’extrémité sud de la vieille ville, permettant aux Israéliens de venir au Mont du Temple. La colline a été appelée « la montagne de Sion » durant le Moyen-Age, bien que les écritures juives l'appellent le mont du Temple.
Il est intéressant de noter que la légende raconte que dans un premier temps le Sultan Soliman le Magnifique avait l’intention d'avoir la montagne de Sion à l'intérieur des murs de la Vieille ville. Cependant, les ingénieurs turcs qui planifiaient la restauration des murs avaient par erreur planifié la montagne de Sion et le Tombeau du Roi David en dehors des murs, ce qui a mis le sultan en colère et il décida à les exécuter. Dans la montagne de Sion se trouvent des sites très importants et des points de repère tels que la Salle de la Dernière Cène, le Tombeau du Roi David, la Chambre de l'Holocauste, l'Abbaye de la Dormition et le Cimetière Protestant. Oskar Schindler est enterré ici, tel L'Homme juste et de Paix qu'il était.
