در سال ۲۰۰۳ پس از اشغال عراق توسط آمریکا، بغدادی رهبری چند گروهک نظامی را بر عهده داشت. پس از آن، منصبی را در [[مجلس شورای مجاهدین عراق]] و انجمن قضایی [[دولت اسلامی عراق]] کسب کرد.<ref name="guardian12june">{{cite web|url=http://www.theguardian.com/world/2014/jun/12/baghdadi-abu-bakr-iraq-isis-mosul-jihad/|title=Abu Bakr al-Baghdadi: The Isis chief with the ambition to overtake al-Qaida|publisher=The Guardian|date=2014-06-12|accessdate=2014-06-14}}</ref> دِرک هاروی مشاور اطلاعاتی ویژه ی [[دیوید پترائوس|ژنرال پترائوس]] فرماندهٔفرمانده ی سابق نیروهای مرکزی آمریکا، بغدادی را از ابومصعب الزرقاوی سازندهٔ سازمان القاعده در عراق برتر می‌داند و در برخی زمینه‌ها او را از اسامه بن لادن هم برتر می‌شمارد. به گفتهٔ هاروی نیروهای آمریکایی اولین بار در فوریهٔ ۲۰۰۴، بغدادی را بازداشت کرده بودند اما در دسامبر همان سال به اشتباه او را آزاد کردند. پس از چند ماه و با پیشرفت روند عملیات اطلاعاتی در عراق آمریکایی‌ها متوجه شده بودند که بغدادی یکی از بانفوذترین عناصر گروه الزرقاوی است.<ref name="khordadnews.ir">http://khordadnews.ir/news/75771</ref> در سال ۲۰۰۵، نیروهای آمریکایی یک منزل را در شمال عراق با موشک هدف قرار دادند و در بیانیه‌ای اعلام کردند که به نظر می‌رسد در این حمله، بغدادی کشته شده‌است، اما یک هفته بعد، متوجه شدند که او همچنان زنده است. این مسئله، دو بار تکرار شد و منازلی که به‌طور قطع گمان می‌کردند مخفیگاه بغدادی‌ست را مورد حمله قرار می‌دادند اما او در آن خانه‌ها نبود.<ref name="khordadnews.ir"/> در سال ۲۰۰۵ بغدادی برای بار دوم توسط نیروهای آمریکایی دستگیر شد و در [[اردوگاه بوکا]] که تحت کنترل نظامیان آمریکایی بود زندانی شد. در سال ۲۰۰۹ این اردوگاه تحت فرمان عراقی‌ها درآمد و او آزاد شد.<ref>{{cite news|last1=Daly|first1=Michael|title=Journalist|url=http://www.thedailybeast.com/articles/2014/06/14/isis-leader-see-you-in-new-york.html|accessdate=15 June 2014|publisher=The Daily Beast}}</ref><ref>http://foxnewsinsider.com/2014/06/13/next-bin-laden-isis-leader-abu-bakr-al-baghdadi</ref> در ۱۶ مه ۲۰۱۰ و پس از کشته شدن [[ابوعمر بغدادی]] در یک شبیخون، بغدادی خود را رهبر دولت اسلامی عراق (ISI) خواند.<ref name="ISI">{{cite web|url= http://atwar.blogs.nytimes.com/2010/05/16/iraqi-insurgent-group-names-new-leaders/?_php=true&_type=blogs&_r=0 |title= Iraqi Insurgent Group Names New Leaders |publisher= Los Angeles Times |date=16 May 2010 |accessdate=13 June 2014}}</ref> بین ماه‌های مارس تا آوریل ۲۰۱۱، دولت اسلامی ادعای ۲۳ حمله به جنوب عراق را کرد که همگی آن‌ها تحت فرمان بغدادی انجام شده بودند.<ref name="state">{{cite web|url= http://www.webcitation.org/62HxbVjBF |title= Terrorist Designation of Ibrahim Awwad Ibrahim Ali al-Badri |publisher= United States Department of State |date=4 October 2011 |accessdate=8 October 2011}}</ref> پس از کشته شدن [[اسامه بن لادن]] در ۲ می ۲۰۱۱، بغدادی بیانیه‌ای منتشر کرد و با ستایش بن لادن، تهدید کرد که مرگ او را تلافی می‌کند.<ref name="state"/> در ۵ می ۲۰۱۱، او مسئولیت حمله‌ای به [[حله]] را که به مرگ ۲۴ پلیس و زخمی شدن ۷۲ نفر انجامید بر عهده گرفت.<ref name="state"/> در ۱۵ اوت ۲۰۱۱، موجی از حملات انتحاری ISI در [[موصل]] شروع شد که باعث کشته شدن ۷۰ نفر شد.<ref name="state"/> کمی بعد، ISI در وب‌گاهش، اطلاع داد که به خون‌خواهی مرگ بن لادن، ۱۰۰ حملهٔ دیگر را در عراق انجام خواهد داد.<ref name="state"/> ISI در نهایت نام خود را به [[داعش|دولت اسلامی عراق و شام]] (ISIS یا ISIL) تغییر داد. بغدادی مسئول تمامی فعالیت‌های دولت اسلامی (داعش سابق) در عراق مانند حمله به [[مسجد ام‌القری]] در ۲۸ اوت ۲۰۱۱ در بغداد است که باعث شد [[خالد الفهداوی]] (نمایندهٔ معروف سنی) کشته شود.<ref name="state"/>
در ۲ دسامبر ۲۰۱۲، مقامات عراقی گفتند که پس از یک مأموریت دوماهه، بغدادی را در شهر بغداد دستگیر کرده‌اند. آن‌ها ادعا کردند که فهرستی از اسامی و محل اقامت دیگر اعضای القاعده هم به دست آورده‌اند.<ref>{{cite web|url=http://www.aljazeera.com/news/middleeast/2012/12/201212214201962755.html|title=Iraq's 'al-Qaeda chief' arrested |publisher=Al Jazeera|date=2 December 2012|accessdate=2 December 2012}}</ref><ref>{{cite news|url=http://edition.cnn.com/2012/12/02/world/meast/iraq-al-qaeda-arrest/|title=High-ranking al Qaeda in Iraq figure arrested, officials say|publisher=CNN|date=2 December 2012|accessdate=2 December 2012}}</ref>این ادعا از سوی دولت اسلامی رد شد<ref name=longwar>{{cite news|last=Roggio|first=Bill|title=Islamic State of Iraq denies its emir captured|url=http://www.longwarjournal.org/archives/2012/12/islamic_state_of_ira_2.php|accessdate=7 December 2012|newspaper=The Long War Journal|date=7 December 2012}}</ref> و در ۷ دسامبر ۲۰۱۲ وزیر کشور عراق گفت که شخص دستگیرشده بغدادی نبوده، بلکه فرماندهٔ جوخه‌ای بوده که مسئولیت ناحیه‌ای از گوشه و کناره‌های شمالی [[بغداد]] تا [[التاجی، عراق|التاجی]] را بر عهده داشته‌است.<ref>{{cite web|url=http://www.aljazeera.com/news/middleeast/2012/12/2012127123914466937.html|title=Detained man is not al-Qaeda in Iraq leader |publisher=Al Jazeera|date=7 December 2012|accessdate=13 December 2012}}</ref>
