מדרש אל-מן שכן ב"זרוב אל-מן", והיה גובל בצידו המזרחי במגרש המשחקים הגדול הידוע בשם "מגרש מכבי".
מדרש אל-מן התייסד ע"י חכם מרדכי מן שהיה רב בבירות. בית מדרש זה היה פתוח מחצות הלילה ועד אחרי תפילת ערבית, ובו היתה ספריה תורנית חשובה והרבה שיעורי תורה התקיימו שם. בשנות ה-60 קבע מושבו שם חכם מוסה (משה) אורפלי, שהעביר שיעורים לתלמידים.