كان أبو سلمة سمحاً كريماً مطعاماً كثير البذل مشغوفاً بالتنوق في السلاح والدواب، فصيحاً عالماً بالأخبار والأشعار والسير والجدل والتفسير، حاضر الحجة ذا يسار ومروءة ظاهرة. فلما بويع السفاح استوزره وفوض الأمور إليه وسلم إليه الدواوين ولقب وزير آل محمد، وفي النفس أشياء. وخاف السفاح إن هو قتل وزيره أبا سلمة أن يستشعر أبو مسلم ويتنمر، فتلطف لذلك، وكتب إلى أبي مسلم كتاباً يعلمه فيه بما عزم عليه أبو سلمة من نقل الدولة عنهم، ويقول له: إنني قد وهبت جرمه لك، وباطن الكتاب يقتضي تصويب الرأي في قتل أبي سلمة . وأرسل الكتاب مع أخيه المنصور، فلما قرأ أبو مسلم الكتاب فطن لغرض السفاح فأرسل قوماً من أهل خراسان قتلوا أبا سلمة ، فقال الشاعر:
إن الوزير وزير آل محمد ... أودى فمن يشناك كان وزيرا
إن السلامة قد تبين وربما ... كان السرور بما كرهت جديرا
انقضت وزارة أبي سلمة.
اختلفوا فيمن وزر للسفاح بعده فقيل أبو الجهم وقيل عبد الرحمن، فأما أبو الجهم فوزر للسفاح مدة، فلما أفضت الخلافة إلى المنصور كان في نفسه منه أمور فسمه في سويق اللوز، فلما أحس بالسم قام ليذهب، فقال له المنصور: إلى أين؟ قال: إلى حيث بعثتني يا أمير المؤمنين .
وأما الصولي فقال: إن السفاح استوزر بعد أبي سلمة خالد بن برمك.
ذكر وزارة خالد بن برمك وشيء من سيرته: هذا خالد هو جد البرامكة. وفي تلك الأيام نبغت الدولة البرمكية وامتدت إلى أن انقضت في أيام الرشيد وكان خالد بن برمك من رجال الدولة العباسية فاضلاً جليلاً كريماً حازماً يقظاً، استوزر السفاح وخف على قلبه، وكان يسمى وزيراً، وقيل: إن كل من استوزره بعد أبي سلمة كان يتجنب أن يسمى وزيراً تطيراً مما جرى على أبي سلمة ولقول من قال:
إن الوزير وزير آل محمد ... أودى فمن يشناك كان وزيرا
قالوا فكان خالد بن برمك يعمل عمل الوزراء ولا يسمى وزيراً.
كان خالد عظيم المنزلة عند الخلفاء. قيل إن السفاح قال له يوماً: يا خالد ما رضيت حتى استخدمتني. ففزع خالد وقال: كيف يا أمير المؤمنين، وأنا عبدك وخادمك! فضحك وقال: إن ريطة ابنتي تنام مع ابنتك في مكان واحد، فأقوم بالليل فأجدهما قد سرح الغطاء عنهما فأرده عليهما. فقبل خالد يده وقال: مولى يكتسب الأجر في عبده وأمته.
وكثر الوافدون على باب خالد بن برمك، ومدحه الشعراء وانتجعه الناس. وكان الوافدون قبل ذلك يسمون سؤالاً. فقال خالد: إني أستقبح هذا الاسم لمثل هؤلاء، وفيهم الأشراف والأكابر، فسماهم الزوار، وكان خالد أول من سماهم بذلك. فقال له بعضهم: والله ما ندري أي أياديك عندنا أجل أصلتنا أم تسميتنا؟ وقيل: إن أول من فعل ذلك المساور بن النعمان في دولة بني أمية.
ولما بنى المنصور مدينة بغداد عظمت النفقة عليه، فأشار عليه أبو أيوب المورياني بهدم إيوان كسرى واستعمال أنقاضه، فاستشار المنصور خالد بن برمك في ذلك، فقال: لا تفعل يا أمير المؤمنين فإنه آية الإسلام، فإذا رآه الناس علموا أن مثل هذا البناء لا يزيله إلا أمر سماوي، وهو مع ذلك مصلى علي بن أبي طالب، عليه السلام، والمؤنه في نقضه أكثر من نفعه. فقال له المنصور: أبيت يا خالد إلا ميلاً إلى العجمية! ثم أمر المنصور بهدمه فهدمت منه ثلمة فبلغت النفقة عليها أكثر مما حصل منها، فأمسك المنصور عن هدمه وقال: يا خالد قد صرنا إلى رأيك وتركنا هدم الإيوان. قال: يا أمير المؤمنين أنا الآن أشير بهدمه لئلا يتحدث الناس أنك عجزت عن هدم ما بناه غيرك. فأعرض عنه وأمسك عن هدمه.
كتب بعض الشعراء إلى خالد بن برمك في يوم نوروز، وقد أهدى الناس إلى خالد هدايا فيها جامات من فضة وذهب:
ليت شعري أما لنا منك حظ ... يا هدايا الوزير في النوروز
ما على خالد بن برمك في الجو ... د نوال ينيله بعزيز
ليت لي جام فضةٍ من هدايا ... ه سوى ما به الأمير مجيزي
إنما أبتغيه للعسل المم ... زوج بالمال لا لبول العجوز
فأمر له بجميع ما كان حاضراً بين يديه من الجامات والأواني الفضية والذهبية فبلغت مالاً جليلاً.
ولما تولى المنصور الخلافة أقره على وزارته وأكرمه واستشاره.