وكان ابنه إسحق يرمي بالواط. وحج مرة فرجع الناس وهم يتحدثون بأن غلاماً له كان يعادله نهارا، فإذا كان الليل صار معه في شق محمل، ووضعت حيالهما صخرة بوزنهما.
ورأى أبوه العباس يوما غلاما له، وقد كشف الريح قباءه، فإذا عليه سراويل وشي إسكنرداني منسوجٍ بالذهب فقال لاسحق: أكان العباس ابن عبد المطلب لوطياً؟ قال: معاذ الله. قال: أفعبد اله بن العباس؟ قال: معاذ الله. قال أفعلي بن عبد الله؟ قال: لا والله. قال: أفعرفت في شيئاً منها؟ قال: المير أجل ديناً ومروءةً من ذاك. قال: فما دعاك إليه؟ قال: مكذوبٌ على بما يضاف إليه مني. قال: والله ما كسا أحدٌ غلامه هذه الكسوة إلا وهو مريب. فأراد إٍحق أن يحلف فقال له: لا تحلف. فواللله لئن لم يكن هذا لما اتهمت به إنه لأعظم قبحاً منه. فأمسك وتب إلى الله. قال: أنا تائب إلى الله من جميع الذنوب.
قال العباس: قبح الله ابنهرمة، فلقد حرمنا من أمير المؤمنين خيراً كثيراً. كنا نساله الشيء فيأباه، فنعاوده فيه فيفعل ما نريد حتى قال ابن هرمة:
إذا ما أتى شيئاً، مضى كالذي أتى ... وإن قال إني فاعلٌ فهو فاعل.
فكان إذا عاودناه في شيءٍ قال لنا: فلست إذاً كما قال ابنهرمة، وأنشد هذا البيت، وكان يشاورنا في اموره إلى أن قال ابنهرمة:
إذا ما أراد الأمر ناجى ضميره ... فناجى ضميراً غير مضطرب العقل
ولم يشرك الدنين في جل رأيه ... إذا اضطربت بالحائرين قوى الحبل
فخضنا بالقول في ألا يشاورنا، فكان لا يشاورنا بعد ذلك.
كان عبد الصمد بن علي ثقيل الرجل، لا يقدم على أحد من أهل بيته إلا مات، فقدم على أخيه سليمان بن علي بالبصرة، فاعتل ومات، فصلى عليه، ثم رحل، وقدم البصرة بعد مدة ومحمد بن سليمان صحيحٌ، فاعتل يوم قدومه ومات، فصلى عليه، ثم قدم وجعفر بن سليمان صحيح، فاضطرب وقال: لأمر ما قدم عمي، فاعتل، واشتد جزعه، ثم عوفى، فتصدق بمائة ألف دينارٍ.
ولما مات عبد الصمد قال الرشيد: الحمد لله الذي أمات عنوان الموت. لا يحمل عمي غيري. فكان أحد حملته إلى حفرته.
وقد روى أيضاً أنه مات جعفر، وقد قدم عليه عبد الصمد وأن إسماعيل ابن جعفر كان يقول: ما رأيت أشأم منه، وإنه عمي في ذلك الوقت. فقال إسماعيل: أخذنا بعض ثأرنا.
وولى عبد الرحمن بن جعفر اليمن، وكان وعد أبا زيد، عمر بن شبة أن يحسن إليه إذا ولي. فلما ولي قال: يا أبا زيد، ليس بعد اليمن شيء وكان يرسل بالبرود وغيرها، فيقال له: اذكر أبا زيد. فيقول: أبو زيد إلى الدنانير أحوج؛ فلما طال ذلك كتب إليه: قد رضيت من ولايتك بشراك نعلٍ. قال عمر: فكتب إلى: ما رأيتك في شيء أعقل منك في هذا علمت ما تستحق فرضيت به.