وكان ظريفاً في دينه ، وذكر أنه مرّ ببيت النار فقال : الكامل :
يا بيتَ عاتكةَ الّذي أتعزلُ . . . حَذَرَ العِدَا وبه الفؤادُ مُوَكَّلُ
أصبحتُ أمنحُك الصدودَ ، وإنني . . . قَسَماً إليك مع الصدود لأَمْيَلُ البيتان للأحوص بن محمد بن عاصم بن ثابت بن أبي الأفلح الأنصاري ، أخي بني عمرو بن عوف . وعاصم بن ثابت حَمِيُّ الدَبْر ، قتله بنو لحيان من هُذَيل يوم الرَجيع ، فأرادوا أن يَبْعَثوا برَأسِه إلى مكة ، وكانت سلافة بنتُ سعد نذرت لَتَشْرَبَن في رأسه الخَمْر ، وكانْ قتلَ بعضَ ولدها من طلحة بن أبي طلحة أحد بني عبد الدار يوم أُحد ، فلمّا أرادوا أخْذَ رأسه حمته الدَبْر - وهي النحل - فلم يَجِدُوا إليه سبيلاً ، وجعلوا يقولون : إنّ الدّبر لو قد أمسى صِرْنا إلى حَشْوِ استه ، فلما أمسوا بعثَ اللّه أتِيا فوارَاه منهم . وعاتكة التي ذكر هي عاتكة بنت يزيد بن معاوية .
ولمّا دخل أبو جعفر المنصورُ المدينة قال للربيع : ابغِني رجلاً عاقلاً عالماً بالمدينة ليَقِفَني على دُورِها ؛ فقد بَعُد عَهْدي بديار قومي ؛ فالْتَمس لَه الربيع فتًى من أعقل الناس وأعلمهم ، فكان لا يبتدِئُ بإخْبَارٍ حتى يسأله المنصور فيجيبه بأَحْسَن عبارة ، وأجود بيان ، وأوفى معنى ، فأُعْجِب المنصور به ، وأمر له بمالٍ ، فتأخّر عنه ، ودعتهُ الضرورة إلى استنجازِه ، فاجتاز ببيت عاتكة ، فقال : يا أمير المؤمنين ، هذا بيتُ عاتكة الذي يقول فيه الأحوص : يا بيت عاتكة الذي أتعزَّل . . . البيتَ ، ففكر المنصور في قوله ، وقال : لم يُخَالف عادتَه بابتداء الإخبار دون الاسْتِخبار إلاّ لأمر ، وأقبل يردّد القصيدة ويتصفّحها بيتاً