精明幹練的李世民一面積極聚結力量，一面勸說父親李淵起兵反隋。

還有晉陽令劉文靜、晉陽宮監裝寂以及唐憲、唐儉、劉世龍等諸位官員，也都建議、支援他，留守府已自然而然形成一股以隋朝官吏為骨幹的反障勢力。

不過李淵處事沉著，表面依舊例行朝廷公務，暗中開始作起兵準備。儘管他叮嚀大家要堅決保守秘密，小心謹慎，不要漏了風聲。但李世民、長孫順德、劉弘基用留守李淵的名義，在太原府招兵買馬，“旬日間，眾且一萬。”令劉弘基、長孫順德等分別統率，引起副留守王威與高君雅的懷疑和不滿，此兩人是隋煬帝派來監視李淵的，他們對武士彠說：

“劉弘基等人都是徵高麗的逃兵，罪行嚴重，我想把他們抓起來審問。”

武士彠說：

“那怎麼行呢？留守府長官李公是當朝皇親，一貫忠於朝廷，劉弘基等都是李留守的貴客，他們招兵買馬，和李世民招兵一樣，都出於長官李留守的命令。你貿然抓他審問，不是等於同李留守過不去，或者說是同他作對，恐怕不大妥當。這事鬧大了，引起一場內亂，皇上聽你們的還是聽李留守的？不如將計就計，省得惹麻煩。”

王威和高君雅聽後，不敢輕舉妄動。留守府司兵參軍田德平說：

“那也得讓王威把招兵的事實查清楚。”

武士彠說：

“現在兵權都掌握在李留守手中，王威有多大本領？你不要多管閒事，否則後患無窮，最後還是自個兒倒黴。何苦呢！”

田德平也就不再提及此事了。

同年五月，李淵和劉文靜等設計殺掉王威和高君雅，組織了大將軍府。秋天，以安定隋室的名義，祭旗誓眾，在太原起兵，率三萬人南下，向關中挺進，武士彠隨軍出發，任中郎將兼司鎧參軍。

進軍途中，武士彠頻頻立功，李淵賞賜不斷。破呂州，授右光祿、正護大夫；克霍邑，拜壽陽縣開國公；入長安，拜光祿大夫，賜宅一區，錢三百萬，綢五千段。及李淵居隋大丞相之位，任命武士彠為禮部侍郎、黃門侍郎，改封太原郡開國公，增食邑至一千戶，賜良馬二百匹，粟二千石。

義寧二年（618年）五月，李淵自立為帝，建立唐朝。宴慶之餘，論功行賞，武士彠位列二等功臣，恕一死。

武德元年（618年），拜上柱國金紫光祿大夫、散騎常侍兼檢校並鉞將軍，賜田三百頃，奴婢三百人，彩物二萬段，黃金五百斤，別食實封五百戶。

武德三年（620年），加授工部尚書。武士彠修令典、振綱紀，十分稱職。高祖非常滿意，進封應國公，加實封八百戶。封大司農卿武士稜為宣城縣公，行臺左丞武士逸為六安縣公，並各賜食邑一千戶。

此後，武士彠又擔任了檢校右廂宿衛（皇宮宿衛將軍）、判六尚書事等重要職務。