قال المسعودي: ولما هَم معاوية بإلحاق زياد بأبي سفيان أبيه - وذلك في سنة أربع وأربعين - شهد عنده زيادة بن أسماء الحرمازي ومالك بن ربيعة السلولي والمنفر بن الزبير بن العوام أن أبا سفيان أخبر أنه ابنه، وأن أبا سفيان قال لعلي عليه السلام حين ذكر زياد عند عمر بن الخطاب:
أما واللّه لولا خَوْف شخص ... يراني يا عليُّ من الأعادي
لبين أمره صخر بن حرب ... ولم يكن المجمجم عن زياد
ولكني أخاف صُرُوف كف ... لها نقم وَنَفْي عن بلادي
فقد طالت محاولتي ثقيفَاًَ ... وتركي فيهم ثمر الفؤاد
ثم زاد يقيناً إلى ذلك شهادة أبي مريم السلولي، وكان أخْبَرَ الناس ببدءِ الأمر وذلك أنه جمع بين أبي سفيان وسُمية أم زياد في الجاهلية على زنا، وكانت سُمية من ذوات الرايات بالطائف تؤدي الضريبة إلى الحارث بن كَلَحَةَ، وكانت تنزل بالموضع الذي تنزل فيه البغايا بالطائف خارجاً عن الحضر في محلة يقال لها حارة البغايا.
وكان سبب ادعاء معاوية له فيما ذكر أبو عبيدة معمر بن المثَّنى أن علياً كان وَلأَه فارس حين أخرج منها سهل بن حُنَيف، فضرب زياد ببعضهم بعضاً حتى غلب عليها، وما زال يتنقل في كُوَرِهَا حتى صلح أمر فارس، ثم وَلاه على أصطخبَ،. وكان معاوية يتهدد، ثم أخذ بُسْر بن أرطاة عبيد اللهّ وسالماً ولديه وكتب إليه يقسم ليقتلنهما إن لمِ يراجع ويدخل في طاعة معاوية وكتب معاوية إلى بُسْر ألا يعرض لأبْنيْ زياد، وكتب إلى زياد أن يدخل في طاعته وَيَرُدَّه إلى عمله، فقدم زياد على معاوية، فصالحه على مال وحلي، ودعاه معاوية إلى أن يستحلفه، فأبى زياد ذلك، وكان المغيرة بن شعبه قال لزياد قبل قدومه على معاوية: أرْم بالغرض الأقصَى، ودع عنك الفُضُولَ، فإن هذا الأمر لا يمد إليه أحد يداً إلا الحسن بن علي وقد بايع لمعاوية، فخذ لنفسك قبل التوطين، فقال زياد: فأشِرْ علي، قال: أرى أن تنقل أصلك إلى أصله، وَتَصِلَ حبلك بحبله، وأن تعير الناس منك أذناً صًمّاء، فقال زياد: يا ابن شعبة، أأغْرس عوداً في غير منبِته ولا مَدَرَة فتحييه ولا عِرْقَ فيسقيه؟ ثم إن زياداً عزم على قبول الدعوى وأخذ برَأْي ابن شعبة، وأرسلت إليه جويرية بنت أبي سفيان عن أمر أخيها معاوية، فأتاها فأذنت له وكَشَفَتْ عن شعرها بين يديه، وقالت: أنت أخي أخبرني بذلك أبو مريم، ثم أخرجه معاوية إلى المسجد، وجمع الناس، فقام أبو مريم السلولىِ فقال: أشهد أن أبا سفيان قَدِمَ علينا بالطائف وأنا خمَار في الجاهلية، فقال: ابغني بغياً، فأتيته وقلت له: لم أجد إلا جارية الحارث بن كَلَدَة سُمية، فقال: ائتني بها علىِ ذفرها وقذرها، فقال له زياد: مهلاً يا أبا مريم، إنما بعثت شاهداَ ولم تبعث شاتماً، فقال أبو مريم: لو كنتم أعفيتموني لكان أحب إلَيَّ، وإنما شهدت بما عاينت ورأيت، واللّه لقد أخذ بكم درعها، وأغلقت الباب عليهما وقعدت دهشاناً، فلم ألبث أن خرج عَلَيَ يمسح جبينه، فقلت: مَهْ يا أبا سفيان، فقال: ما أصبت مثلها يا أبا مريم، لولا استرخاء من ثديها وذفر من فيها، فقام زياد فقال: أيها الناس، هذا الشاهد قد ذكر ما سمعتم، ولست أدري حق ذلك من باطله، وإنما كان عبيد ربيباً مبروراً أو ليَاً مشكوراً، والشهود أعلم بما قالوا، فقام يونس بن عبيد أخو صفية بنت عبيد بن أسد بن علافي الثقفي - وكانت صفية مولاة سُمَيَّة - فقال: يا معاوية، قضى رسول اللهّ صلى الله عليه وسلم، أن الولد للفراش وللعاهر الحجر، وقضيت أنت أن الولد للعاهر وأن الحجر للفراش، مُخَالَفَةً لكتاب اللّه تعالى، وانصرافاً عن سنة رسول الله صلى الله عليه وسلم، بشهادة أبي مريم على زنا أبي سفيان، فقال معاوية: واللهّ يا يونس لتنتهين أو لأطيرن بك طيرة بطيئاً وقوعها، فقال يونس: هل إلا إلى اللّه ثم أقع؟ قال: نعم وأستغفر اللّه، فقال عبد الرحمن بن أمّ الحكم في ذلك ويقال: إنه ليزيد بن مفرغ الحميري:
ألا أبلغ معاوية بن حَرْب ... مُغَلْغَلًةَ عن الرجل اليماني
أتغضب أن يُقال: أبُوكَ عَف ... وترضى أن يُقال: أبُوكَ زاني؟
فأشهد أن رِحْمَكَ من زياد ... كَرِحْم الذيل من ولد الأتان