قادت أبيغيل فيلمور مبادرة إنشاء مكتبة البيت الأبيض بعد أن صُدمت، على ما يبدو، من عدم وجود مكتبة داخل المقر الرئاسي. وقد ارتبط اسمها بهذه الخطوة بوصفها من أوائل من دفعوا إلى تخصيص مكان يجمع الكتب والمواد المرجعية في البيت الأبيض، في وقت لم تكن فيه هذه المرافق جزءاً ثابتاً من حياة الرؤساء أو أسرهم.