ابن زبیر به صورت مخفیانه شروع به بیعت گرفتن از مکیان کرد. قضیه که به گوش یزید رسید، زنجیری نقره‌ای برایش فرستاد به این نشانه در صورت تسلیم در امان خواهد بود، اما عبدالله بن زبیر آن را رد کرد.{{sfn|Wellhausen|1927|page=۱۴۸}} یزید سپس عمرو بن زبیر، برادر عبدالله، را به همراه سپاهی به سمت او فرستاد و به او دستور داد که برادر خود را دستگیر کند. سپاه عمرو شکست خورد و با عمرو کشته شد. پس از درگذشت حسین در کربلا، دایرهٔ نفوذ ابن زبیر تا مدینه و کوفه گسترش یافت.{{sfn|de Goeje|1911|page=۲۹}} یزید برای مقابله با نفوذ فزایندهٔ ابن زبیر در مدینه، بزرگان شهر را به دمشق دعوت کرد و کوشید تا با دادن هدایا، حمایت آنان را به دست آورد. بزرگان راضی نشدند و پس از بازگشت به مدینه، حکایت‌هایی از سبک زندگی دست‌ودلبازانهٔ یزید و اعمالی که به نظر بسیاری‌شان نشانهٔ بی‌اعتنایی به مذهب بود نقل کردند، ازجملهاز جمله نوشیدن شراب، شکار رفتن همراه سگ، و عشق ورزیدن به موسیقی. این اخبار و حکایات باعث شد اهالی مدینه بیعت خود با یزید را پس گرفته و فرماندار و همهٔ امویان شهر را از مدینه بیرون کردند. یزید ۱۲ هزار سرباز را به رهبری مسلم بن عقبه برای تسخیر حجاز فرستاد. در اواخر اوت ۶۸۳، نیروهای ابن عقبه مدینه را محاصره کردند و سه روز به مردم شهر فرصت دادند تا تسلیم شوند، اما با پاسخ رد اهالی مدینه مواجه شدند. پس از پایان [[اولتیماتوم]]، نیروهای اموی به مدینه حمله‌ور شدند و شهر سقوط کرد. پس از سه روز پرداختن به غارت شهر، و نیز مجبور کردن شورشیان به تجدید بیعت، سپاه شام راهی مکه شد تا ابن زبیر را سرکوب کند.{{sfn|Wellhausen|1927|pages=152–156}}{{sfn|Donner|2010|pages=۱۸۰–۱۸۱}} بنا بر یک گزارش، شهر غارت نشد و تنها رهبران شورشی اعدام شدند.{{sfn|Wellhausen|1927|pages=۱۵۲–۱۵۶}} ابن عقبه در راه مکه درگذشت و فرماندهی سپاه به [[حصین بن نمیر]] داده شد و او در سپتامبر ۶۸۳ مکه را محاصره کرد. محاصره چند هفته طول کشید و آن هنگام، کعبه نیز آتش گرفت. یزید در نوامبر ۶۸۳ ناگهان درگذشت و محاصره شهر به پایان رسید. مرگ او به بروز آشفتگی و آغاز جنگ داخلی در میان مسلمانان منجر شد. ابن زبیر خود را خلیفه خواند و عراق و [[مصر]] تحت تسلط او درآمد.{{sfn|Donner|2010|pages=181–182}}{{sfn|de Goeje|1911|page=۳۰}}
