隋朝末年，隋煬帝荒淫無道，各地紛紛起兵反隋。公元617年，太原留守李淵趁隋煬帝遠在揚州，率部起兵，派兒子李世民攻下都城長安，建立了唐朝。李淵佔領長安後，傳令釋放所有囚犯。
在釋放囚犯的時候，發現馬邑郡丞李靖也在獄中。李淵問他說：“你犯了什麼罪？為何也被關在這裡？”李靖回答說： “我沒有犯罪。我聽說你起兵反對朝廷，沒有辦法報告皇上，所以將自己扮作罪犯，叫差役用囚車送到江都（今江蘇揚州，當時隋煬帝的行宮所在地），以便報告天子。不料，我剛到長安，你的兵馬就把城給包圍了。守城的將士不知道我的計謀，就將我關進了監獄。”李淵聽了勃然大怒，吩咐左右衛士將李靖推出去斬首。李靖喊道：“你起兵為天下除暴亂，欲成大事，怎可因怨忿而殺志士？”李淵不答，衛土們押著李靖出外行刑。
這時，李世民正好從外面進來，他看見衛土押著李靖出去斬首，急忙來到李淵跟前，說： “父親怎麼忘記韓擒虎的遺言了？如果對李靖好言撫慰，叫他為我們出力，他必定能立大功。請父親勿念舊惡，赦免了他吧。”
原來李靖的舅舅是隋朝的大將韓擒虎。韓擒虎生前經常與李靖談論兵法，李靖都對答如流，無不通曉。韓擒虎讚歎說：“目前可以和我談《孫吳兵法》的人，恐怕只有李靖了！”隋朝的左僕射楊素，也曾指著他自己的座位向李靖說：“你將來一定會坐這個位置（即僕射，
古代重武，主射者掌事，故諸官之長稱僕射
）的。”李世民與他也有一面之交，知道他智勇雙全，所以竭力解救。
李淵聽了兒子的話，同意釋放李靖。李世民親自給李靖鬆了綁，並用好言撫慰，留置幕府，待如上賓。
當時，蕭銑（公元618年稱帝）佔據江陵，窺視巴蜀。李淵命李靖經略夔州，去招降蕭銑。李靖到了
峽州
（今湖北宜昌），為蕭銑的軍隊所阻擋，一時無法前進。李淵誤認為李靖有意逗留，派使者命令峽州刺史許紹殺他。許紹接到李淵的詔令以後，不但沒有殺李靖，反倒替李靖求情，勸說李淵免他的罪。李靖到了夔州，正逢開州的冉肇則進犯夔州，李淵的大將李孝恭交戰不利。李靖率兵八百，擊敗敵人，斬冉肇則，俘虜五千。李淵聽到訊息以後很高興，親自寫信給李靖說：“既往不咎，過去的事，我已忘了 ”
公元621年，李靖提出了消滅蕭銑的十項謀略，李淵任命他為行軍總管，和李孝恭一同率兵攻打蕭銑。李靖率領將士，坐戰船從夷陵（今湖北宜昌）出發，順長江而下，這時，蕭銑的部將文士洪領數萬人馬守在清江（今湖北清江）。李孝恭要出兵攻打，李靖反對說：“敵人士氣很旺盛，我們應該先屯兵南岸；等到敵人氣衰以後再出；擊比較有利。”李孝恭不聽，自領兵馬出戰，結果大敗，並遭文士洪戰船追擊。李靖急忙領兵來救，他見敵人只顧追擊，搶掠，亂了隊形，就乘機縱兵，大敗文士洪，繳獲敵船四百餘艘，敵人溺死萬人。
接著，李靖又率輕兵五千人為先鋒，圍困江陵，破蕭銑部將楊君茂、鄭文秀，俘敵四千人。蕭銑非常恐懼，只得投降。李靖對投降的將士採取寬大政策，致使江漢一帶許多城鎮也都自願歸唐。因而，唐高祖李淵提任他為嶺南道撫慰大使、檢校桂州總管。
後來，李淵又命李孝恭為帥，李靖為副，領兵攻伐佔據江南的
輔公祏
（國號宋，稱帝于丹陽，即今南京江寧）。
輔公祏
派部將馮惠亮以舟師三萬屯當塗，另派部將陳正通以步兵二萬屯青林（當塗東南），自己親自率兵到梁山，用鐵索橫斷長江通道。李靖說服諸將改變直取丹陽的計劃，先攻當塗，消滅
輔公祏
的主力馮惠亮。經過幾次交戰，馮惠亮逃亡，李靖率輕兵數千直追到丹陽，
輔公祏
棄城逃走，後被俘殺。李靖佔領江南的訊息傳到長安，李淵讚歎道：“李靖真是蕭銑、
輔公祏
的剋星，古代名將白起，韓信、衛青、霍去病也不過如此！”
公元626年，唐高祖李淵禪位，自稱太上皇，傳位給李世民。唐太宗李世民即位後，任李靖為兵部尚書。三年後，突厥侵犯唐朝邊境，李世民任李靖為定襄道行軍總管，統兵北征。李靖率輕騎兵三千人，由馬邑出擊，夜襲定襄（今山西大同）。突厥頡利可汗沒料到唐朝軍隊會來得如此神速，一時不知虛實，不敢應戰，率部逃遁。捷報到了京城，李世民說：“漢朝李陵，以步兵五千進軍沙漠，最後降敵，其功尚寫在史書上。李靖以騎兵三千，攻克定襄，古所未有。”即封李靖為代國公。
公元630年，李靖又率兵出擊突厥，斬敵一萬多人，俘虜男女十萬人，最後俘虜了頡利可汗，消滅了突厥，御史蕭瑪檢舉李靖的軍隊紀律不好，搶劫物資。李靖承認自己對部屬約束不嚴，犯有過失。李世民說：“隋朝大將史萬歲破達頭可汗，隋文帝不賞而殺。我跟隋文帝不同，我赦你的罪，立你的功。”晉升李靖為左光祿大夫。不久，又晉升李靖為尚書右僕射。
公元649年，吐谷渾侵犯邊境，李靖說：“我雖然老了（64歲），但尚可為國效勞。”李世民很高興，任他為西海道行軍大總管，統帥高甑生等五路總管。李靖深入敵人境內，光較大的戰役就有幾十次。第二年，大敗敵人於突倫川（今青海柴達木河以西地區），吐谷渾首領伏允兵敗自盡，李靖立大寧王慕容順而還。
公元649年，李靖病重，唐太宗親自去看望，死時年七十九歲。李靖與李世民談論兵法的語錄，經後人整理成《李衛公問對》一書，世稱“李衛公兵法”，成為武經七書之一。
