בדומה למערת שמעון הצדיק, גם מערת סנהדרין הקטנה מתוארכת לשלהי ימי הבית השני. באזור זה של גדתו השמאלית של נחל קדרון, כמו גם בכל רכס הר הצופים שלמרגלותיו אנו נמצאים כעת, נחצבו עשרות רבות של מערות קבורה בתקופה זו עם מאפיינים זהים למדי. למעשה, האזור הזה הוא רק חלק קטן מבית קברות יהודי ענק שהקיף את ירושלים הקדומה מכל עבריה.
זהו בית קברות שהשתרע על רכס אבו ת'ור מדרום, על הר הזיתים ממזרח, על הר הצופים מצפון ועל הרכסים ממערב לעיר. בית הקברות משרטט את גבולותיה של העיר המיושבת בתקופות הקדומות, ורובם המוחלט של הקברים נמצא מדרום וממערב לגיא בן הינום וממזרח ומצפון לערוץ נחל קדרון. רבים מן הקברים הללו נחצבו בפאר רב, ולעתים גולפה אבן החזית בעיטורים המחקים מבנה מפואר בסגנון הלניסטי רומי. החיקוי כולל חיטובי משקופים, מרזבים, עמודים, כותרות, כרכובים, דלתות, עציצים וצמחים. חזיתה של מערת סנהדרין הקטנה אינה דומה לאף אחד מאלה, משום שבנויה באבנים קטנות. הסיבה לכך היא התמוטטות של חזית המערה במועד לא ידוע ומסיבה לא ידועה, ולכן לא נוכל לדעת כיצד נראתה חזיתה המקורית. לעומת זאת, כתובות על הקיר הנוכחי מסבירות היטב את מקורו: בשנת תרס"ב (1902) תרמה אישה את בניינו, ובשנת תרע"ח (1918) הושלם השיפוץ בידי ועד הצירים. בשנה זו נוסד ועד הצירים, שהיה מועצת המנהיגים הציוניים, בראשותו של חיים וייצמן, מי שהיה לימים נשיאה הראשון של מדינת ישראל.
מטרותיו העיקריות של הוועד היו לפעול לבניית בית יהודי בארץ ישראל, בין בפעולות ממשיות של התיישבות וגאולת אדמה, ובין במישור הפוליטי בבניית קשרי אמון עם השלטונות הבריטים בארץ ישראל. מדרגות תלולות יורדות אל תוך המערה. בפנים המערה נחצב חדר מבוא מקורה המשמש לכניסה ולמעבר. מחדר המבוא מובילים פתחים אחדים אל חדרים פנימיים ואל כוכי הקבורה. מאפיין נוסף המצוי מעל משכבי קבורה האופקיים הוא ה'ארקוסוליום' . זהו שקע שתקרתו קמורה, החצוב במקביל לקיר החדר, ובתחתיתו אצטבה אופקית המשמשת משכב קבורה. במערות קבורה רבות מתקופת הבית השני מופיעות שתי הצורות, הכוך והמקמר, זו לצד זו. המערה מיוחסת במסורת המאוחרת לסנהדרין הקטנה. להבדיל מן הסנהדרין 'הגדולה', שמנתה 71 חכמים-דיינים, ונחשבה למוסד ההנהגה והמשפט העליון בימי הבית השני ולאחריהם, הייתה 'סנהדרין הקטנה' ערכאה נמוכה יותר שמנתה 23 דיינים.
