فلما استقرت البيعةُ لعبد الملك بن مروان أراد الخُروج إلى مُصعب بن الزبير، فجعل يَستنفر أهل الشام فيُبطئون عليه، فقال له الحجاجُ بن يوسف: سَلطني عليهم، فوالله لأخرجنَّهم معك. قال له: قد سَلطتك عليهم. فكان الحجَّاج لا يَمر على باب رجل منِ أهل الشام قد تخّلف عن الخروج إلا أحرق عليه دارَه. فلما رأى ذلك أهلُ الشام خرجوا، وسار عبدُ الملك حتى دنا من العراق. وخرج مصعب بأهل البصرة والكوفة، فالتقوا بين الشام والعراق. وقد كان عبد الملك كتب كُتباً إلى رجاله من وجوه أهل العراق يدعوهم فيها إلى نَفسه ويَجعل لهم الأموال، وكتب إلى إبراهيم بن الأشتر بمثل ذلك، على أن يَخْذلوا مُصعبا إذا التقَوْا. فقال إِبراهيم بن الأشتر لمُصعب: إن عبد الملك قد كتب إليّ هذا الكتاب، وقد كتب إلى أصحابي بمثل ذلك، فادعُهم الساعةَ فاضرب أعناقَهم قال: ما كنت لأفعل ذلك حتى يَستبين لي أمرهم. قال: فأخرى. قال: ما هي؟ قال: احبِسْهم حتى يَستبين لك ذلك. قال: ما كُنت لأفعل. قال: فعليك السلام، وِالله لا تَراني بعدُ في مجلسك هذا أبداً. وقد كان قال له: دَعْني أدعو أهلَ الكوفة بما شرطه الله فقال: لا واللّه، قتلتهُم أمس وأستنصر بهم اليوم! قال: فما هو إلا أن التَقوا فحولوا وُجوههم وصاروا إلى عبد الملك. وبقي مُصعب في شِرْذمة قليلة. فجاءه عُبيد الله بن زياد، بن ظَبيان، وكان مع مُصعب، فقال: أين الناس أيها الأمير؟ فقال: قد غدرتم يا أهل العراق! فرفع عُبيد اللّه السيفَ ليضرب مُصعبا، فبدره مُصعب فضربه بالسيف على البَيضة، فنَشِب السيفُ في البَيضة، فجاء غلامُ لعُبيد اللّه ابن زياد بن ظَبيان، فضرب مُصعبا بالسيف فقَتله. ثم جاء عُبيدُ اللّه برأسه إلى عبد الملك بن مروان وهو يقول:
نُطيع مُلوك الأرض ما أقْسَطوا لنا ... وليس علينا. قَتْلُهم بمُحَرم
قال: فلما نظر عبدُ الملك إلى رأس مُصعب خَر ساجداً. فقال عُبيد الله بن زياد، بن ظَبيان، وكان من فُتّاك العرب: ما ندمتُ على شيء قطُّ ندَمي على عبد الملك بن مروان إذ أتيتُه برأس مُصعب فخر ساجداً أن لا أكون ضربت عنقه، فأكون قد قَتلت مَلِكي العرب في يوم واحد. وقال في ذلك عُبيد اللهّ ابن زياد، بن ظَبيان:
هَممتُ ولم أفعل وكِدْتُ ولَيتني ... فعلتُ فأدْمنت البُكا لأقاربِه
فأوردتُها في النّار بكرَ بنَ وائلٍ ... وألحقتُ مَن قد خَرَّ شُكْراً بصاحبِه
الرياشي عن الأصمعي قال: لما أُتي عبدُ الملك برأس مُصعب بن الزبير نظر إليه مليّاً، ثم قال: متى تَلد قُريش مثلَك! وقال: هذا سيّد شَباب قُريش.
وقيل لعبد الملك: أكان مُصعب يَشرب الطَلاء؛ فقال: لو علم مُصعب أن الماء يُفسد مروءتُه ما شرََبه.
ولما قُتل مُصعب دخل الناسُ على عبد الملك يُهنَئونه، ودَخل معهم شاعرٌ فأنشده:
اللّه أعطاك التي لا فَوقَها ... وقد أراد المُلْحِدون عَوْقَها
عنك ويَأبَى اللًهُ سَوْقَها ... إليك حتى قَلّدُوكَ طَوْقها