كانت صلة خالد بن برمك بأبي العباس السفاح، أول خلفاء بني العباس، وثيقةً إلى حدٍّ جعل ابنته تُرضَع في بيت السفاح، إذ تولت زوجته إرضاعها. ويعكس هذا القرب المكانة التي حظي بها خالد في بدايات الدولة العباسية، وما كان بينه وبين الخليفة من ثقة ومودة، وهي علاقة أسهمت في ترسيخ نفوذ أسرة البرامكة في الإدارة العباسية في تلك المرحلة المبكرة.