בית הספרים הלאומי והאוניברסיטאי נוסד לראשונה בשנת 1892 בירושלים. ברבות השנים לוקטו ספרים עתיקים וחדשים, העוסקים בעיקר בחוכמת ישראל, וספרים שיצאו לאור במקומות שונים ברחבי העולם היהודי. עם ייסוד האוניברסיטה העברית בשנת 1925 נקבע שמו "בית הספרים הלאומי והאוניברסיטאי" והורחבו מאוד האוספים בתחומי מחקר שונים.
הספרייה מוקמה בקמפוס האוניברסיטה בהר הצופים, ולאחר מלחמת העצמאות נדדה למבנים שונים בעיר. בנובמבר 1960 עברה הספרייה לבניין בקמפוס האוניברסיטה העברית בגבעת רם.