בתקופת בית ראשון הגיעו תחומי ירושלים עד לגבעה זו אשר בה נמצא הרובע היהודי, ובין בנייניו נתגלתה 'החומה הרחבה' משלהי ימי הבית הראשון. בתקופת ימי הבית השני שגשגה ירושלים, ועדות לחיי הפאר והעושר נתגלתה אף היא בשטחי הרובע. עדויות לימי בית שני ניתן לראות בין היתר באתרי הביקור 'הפרבר ההרודיאני' ו'הבית השרוף'.
לאחר חורבן בית שני, בתקופה הרומית ובתקופה הביזנטית גורשו היהודים מירושלים ושבו אליה רק עם הכיבוש המוסלמי, במאה השביעית. כיבוש ירושלים ע"י צבאות הצלבנים הביא לקיצה של קהילה זו. יושביה היהודיים והמוסלמים של העיר גורשו ממנה או נטבחו באכזריות.
הישוב היהודי נתחדש רק עם עליית הרמב"ן לירושלים בשנת 1267, בזמן שלטונם של הממלוכים. אך בתקופה זו התגוררו היהודים בהר ציון. במאה ה-15 גורשו היהודים מהר ציון עקב סכסוכים עם הנוצרים והמוסלמים על השליטה בקבר דויד המלך, ואז שבו אל מקומו הנוכחי של הרובע היהודי.
במשך ארבע מאות שנות שלטונם של העות'מאניים בירושלים התקיימה ברובע היהודי, בין חומות העיר העתיקה, קהילה יהודית מגוונת. עד אמצע המאה ה-19 הייתה הקהילה היהודית מורכבת ברובה מיהודים ספרדיים, צאצאיהם של גולי ספרד ואחרים. בתחילת המאה ה-18 החלו יהודים אשכנזים להתיישב בעיר, היו אלו יחידים שעלו טיפין טיפין או בקבוצות של חסידים ותלמידי חכמים. אך לא לאורך זמן התקיים ישוב אשכנזי בירושלים. כבר בשנת 1721 פסק הישוב האשכנזי בירושלים, והוא שב והתחדש רק לאחר 90 שנה.
במאה ה-19 גדלה אוכלוסיית ירושלים היהודית עד מאוד, ולקראת סוף המאה החל תהליך של "יציאה מהחומות". פרק זה הסתיים בשנת 1948 עם נפילת הרובע היהודי בידי הירדנים במלחמת העצמאות. לאחר מלחמת ששת הימים, עם איחוד ירושלים בשנת 1967, החלו בחפירות ארכאולוגיות ברובע.
בחפירות התגלו ממצאים מרתקים, עדויות לחיים יהודיים בתקופות שונות. אחר כך שוקמו בתי הרובע ויהודים שבו להתגורר בו. כיום בתחומי הרובע היהודי אתרי ביקור רבים: בתי הכנסת, אתרים ארכאולוגיים, מוזיאונים, גלריות וחנויות. בסמטאות הרובע מוסדות צדקה וחסד, בתי תפילה ושרידי עבר המספרים על חזונם של יהודים רבים אשר עזבו את ביתם ועלו לירושלים ובלבם תפילה אחת: "אם אשכחך ירושלים...".
