公元404年1月1日，桓玄正式稱帝，國號楚。
不過皇帝的位子也不是好坐的。恆玄這邊還沒坐熱，劉裕就在自己的老家京口率領一批北府兵舊將聚眾造反，而劉毅、何無忌等人也在各地紛紛響應，並推舉劉裕為盟主。劉裕很快顯示出自己的政治手腕，向四方發出一篇慷慨激昂的檄文，聲討桓玄的罪狀，說桓玄的罪惡超過了當年篡位的王莽、董卓，又誇張地宣佈了反恆勢力的一片大好形勢。這篇檄文在當時確實起到了收買人心、震懾人心的作用。
僅僅一天，一支一千七百餘人的軍隊已經在京口組建起來。並在劉裕指揮下揮師西進，推進到竹裡（今江蘇句容北）。他們的人數雖然很少，但幾乎全是由在戰場上如狼似虎的北府老兵組成。
在幾百年後的南宋，當一代詞雄辛棄疾走到當年劉裕起兵的京口，感慨萬千、寫下了著名的詩篇《永遇樂·京口北固亭懷古》，其中有這麼兩句，說的就是劉裕∶‘’斜陽草樹，尋常巷陌，人道寄奴曾住。想當年，金戈鐵馬，氣吞萬里如虎。‘’
而此時的恆玄卻失魂落魄，手足無措。恆玄身邊眾人都認為劉裕兵力甚弱，不足為懼，不過是臨時湊起的一群烏合之眾。桓玄卻說∶‘’劉裕英雄蓋世，堪稱一代帥才。跟他一起起義的劉毅是個亡命之徒，連飯都沒得吃的時候，賭博的時候卻敢下百萬的賭注，何無忌是一代名將劉牢之的侄子，這三個人聚在一起，後果不堪想象。‘’
果然，當年三月，劉裕就斬殺了桓玄兩名驍將吳甫之、皇甫敷。二將戰死的訊息讓桓玄惶恐不安，派遣桓謙等率兵二萬進駐建康城外的覆舟山以陽劉裕軍。劉裕命令部下吃飽以後，把剩下的糧食全扔了，頗有當年韓信背水一戰的氣勢。在此激勵下，全軍懷著決一死戰的態勢，進至覆舟山。劉裕又派遣那些羸弱計程車兵爬到山上遍插旗幟，迷惑敵軍。桓謙計程車兵多為北府兵，一向畏懼敬重劉裕，毫無鬥志。
劉裕把士兵分成幾隊，突擊桓謙軍。這時，颳起了東北風，劉裕命令全軍順風縱火，剎那間風助火勢。煙霧瀰漫，向楚軍方向席捲而去。
在強烈的攻勢面前，桓謙大敗，桓玄不敢再戰，乘船西逃。
後來，桓玄在西逃過程中，被益州都護馮遷所殺。406年三月，劉裕迎回安帝復位。為獎勵劉裕再造晉室之功，劉裕被封為侍中、車騎將軍、都督中外諸軍事，從此掌握朝政。
東晉偏安江南以來，一直面臨來自北方的威脅。祖逖、庾亮、殷浩、桓溫都曾先後北伐，但無一成功。公元 409 年，南燕君主慕容超兵肆虐淮北，擄去東晉兩郡太守及百姓千餘家。劉裕因此上表要求北伐。同年三月，劉裕揮軍北進，討伐南燕。
從琅邪經大峴山（山東沂水北），直搗臨朐、廣固，是北伐的捷徑，但是，這條道十分險峻，必經之路穆陵關，僅能容一輛車的寬度，有‘’齊南天險‘’之稱。很多人十分擔心，對劉裕說∶‘’如果燕軍派人把守大峴山隘，同時堅壁清野，我們貿然前往，不僅不能完成北伐的任務，很可能拋屍荒野。‘’劉裕卻胸有成竹地說；‘’鮮卑人目光短淺。只圖眼前利益。他們以為我們遠道而來，十分疲憊，且糧草供養有問題，肯定不能與他們持久對抗。我敢打保票，他們肯定採取進則守臨朐，退則守廣固的方法，絕對不會守險清野。‘’
果然，劉裕率軍越過大峴山隘，南燕並未派兵把守，大軍如下山猛虎一般直撲燕都門戶臨朐（山東掖縣）。劉裕以奇兵直取了臨朐。接著，晉軍攻佔廣固外城，劉裕一邊修築長圍，一邊採取分化瓦解之策，招降納叛，同時，晉軍的北伐，讓在鮮卑殘暴統治下的各族老百姓非常高興，紛紛向晉軍提供支援，南燕民眾每天揹負著糧食前來歸附劉裕軍的不下幹人。公元410年二月初五，被圍8個月之久廣固被攻克，慕容超被生俘，送至建康斬首，南燕滅亡。
南燕剛剛滅亡，此時被招安為廣州刺史的盧循和他的妹夫徐道覆率部又叛刮，徐道覆率軍從贛江順流而下。北府名將何無忌迎擊，兵敗潰散。
何無忌陣亡，朝野震驚，大臣們甚至打算保護皇帝北上去劉裕軍中。劉裕急忙率領數十親隨晝夜兼程趕到建康，東晉朝廷這才安定下來。但是，劉數妒總劉裕功大。不聽劉裕勸說。餅然率領駐刊在建康的於力車出戰。結果大敗於桑落洲，幾乎全軍覆沒。從而造成偌大建康只有幾千守軍，且多為北伐歸來的疲憊之師。而盧循軍達到十幾萬，舟車綿延百里，樓船高十二丈，軍勢浩蕩，這是劉裕對敵交戰史中力量懸殊最大的一次。劉裕也不禁大驚失色。然而，劉裕拒絕了大臣逃跑的要求，增修堡全。加強防禦，同時派軍進攻盧循的後方根據地番禺。
盧循看到建康久攻不下，又知是劉裕守城。不敢再戰。逐分兵略地。自已轉進江西；分兵攻江陵的徐道覆被劉裕之弟劉道規擊敗。劉裕見叛軍勢弱。親自率領大軍攻擊盧循，在大雷附近的江面上展開大戰。劉裕派輕舟攻擊盧軍的大船。又用伏兵火攻。盧循大敗逃走。盧循一路被劉裕的追兵連敗，逃到交州，終被交州刺史杜慧度擊敗，投水而死。
公元412年，劉裕出兵討伐劉毅。劉毅兵敗自殺。隨後，劉裕又相繼平定了諸葛長民、司馬休之等軍事集團。內部平定了，劉裕又派朱齡石前去平定了剛分裂沒有多久的西蜀譙縱割據政權。
自此，劉裕消滅南方各大割據勢力，統一南方，後方算是完全穩定下來了。實現了東晉南朝史無前有的大一統。劉裕個人被加封為太傅、揚州牧，可以享受‘’劍履上殿，入朝不趨，贊拜不名‘’的待遇。在古代，臣子拜見君王必須必須取下佩劍、脫鞋入席，小步快走，自報職務姓名。而劉裕見皇上卻可以免去這些禮節。這種待遇可是位極人臣的大員才有資格享受的，漢初名相蕭何就享受過這個待遇，但自曹操代漢以後，這三種待遇往往是權臣篡位的前兆。
