岳家軍乘勝前進，抵達開封的朱仙鎮，北方人民抗金情緒高漲。岳飛請求宋高宗下令北伐。宋高宗和朝中的奸臣秦檜害怕抗金力量壯大，會威脅自己的統治，於是向金求和，並命令岳飛撤回軍隊，岳飛憤慨地說：“十年的功勞，一天就斷送了！”1141年，宋高宗解除了岳飛等抗金將領的兵權。秦檜又派他的爪牙誣陷岳飛謀反，把岳飛和他的兒子岳雲逮捕入獄。另一位抗金將領韓世忠去質問秦檜，根據什麼說岳飛謀反，秦檜拿不出證據，竟厚顏無恥地說：“莫須有。”韓世忠憤怒地對他說：“莫須有三字何以服天下！”1142年初，宋高宗和秦檜殺害了岳飛。那時候，岳飛剛39歲。

岳飛見兩軍鏖戰多時，己方雖佔了上風，金軍兀自不退。又見楊再興將兀朮嚇跑，乃大呼上馬，掛兩壺箭在馬上，領了張保、王橫和一百個親兵，直衝敵軍。楊再興見岳飛衝出，略喘兩口氣，也挺槍跟著殺出。岳飛左右開弓，連射殺數十金軍，眾親兵也紛紛放箭，射向金人。岳飛箭盡，乃挺槍突進，楊再興和眾親兵也隨左右衝殺。金軍終是撐持不住了，大敗而逃。此戰從午後開打，直至天漸黑，金軍終於潰逃，戰了足有四、五個時辰。岳飛見眾軍已筋疲力竭，又恐天黑遇伏，也未下令追擊。

紹興十一年（1141年），岳家軍撤退後，金兀朮又率軍佔領了河南廣大地區，金兀朮寫信給秦檜，試圖借秦檜之手，剷除岳飛。秦檜本來就記恨岳飛，而恰好他對金朝的指示唯命是從，於是立即密報高宗，奪去了岳飛的兵權，委以樞密院的虛銜。

兀朮哀嘆：“自我起兵北方以來，沒有像今天這樣失敗過。”岳飛決心乘勝渡河收復河北，激勵部將：“直搗黃龍府，與諸君痛飲耳！”然而，高宗懾於岳飛震主之威，聽信秦檜奏言，“令岳飛暫且班師”，下令各路大軍一律撤回原駐地。岳飛銳意北伐，上奏道：“豪傑向風，士卒用命，時不再來，機難輕失。”高宗藉口“孤軍不可久留”，一天催發12道金牌（即一尺長朱漆金字木牌），日行四五百里。此時諸軍均已撤退，岳飛涕淚交流，痛心疾首，大放悲聲：“十年之功，廢於一旦！”被迫撤軍。

反過來講，假定岳飛的確有直搗黃龍的實力。宋高宗又何必要聽金人擺佈？就算擔心岳飛攻下金都，迎回徽、欽二宗。難道他就不知道以岳飛壓金人簽訂城下之盟（趙構能在朱仙鎮召回岳飛，說明岳飛是挺聽招呼的，不會抗旨）？明明具有壓倒性的優勢卻非要自毀長城向金人納貢稱臣，那隻能說趙構智商著急的程度堪比司馬衷了。所以，我以為，並不存在秦檜為金人殺岳飛的可能。實際上，如果沒有高宗的幕後支援，秦檜有沒有能力搞定岳飛這種級別的大將也是一個很大的問題。

但宋高宗非常懼怕金人，也害怕岳飛真的收復故土後會將自己還在金國的哥哥宋欽宗接回來奉為皇帝，更懼怕岳飛所得到的民心與手上的兵。。。

建炎三年（1129年）十月，金軍大舉南犯，宋高宗開始避敵逃亡。張俊臨危受命迎戰來敵，知州劉洪道也率領兵馬前來助戰。此役，金軍戰敗死傷者上千。金軍退兵後，張俊命岳飛負責收復建康。次年六月，張俊受命征討戚方，他命岳飛為主力，擊敗戚方，俘虜六千餘人與六百戰馬。班師回朝後，他向當朝宰相範宗尹盛讚岳飛可用。

此後，兀朮提出“必殺飛，始可和”的條件。高宗於1141年一舉剝奪韓世忠、張俊、岳飛的兵權，解散其軍隊。詔岳飛赴臨安（今浙江杭州）任樞密使。不久秦檜又唆使右諫議大夫万俟以居功頹惰彈劾岳飛，使岳飛罷官出朝。再誣陷岳飛與岳雲及部將張憲謀反，將岳飛逮捕入獄，由高宗親自審理此案。審訊中御史中丞何鑄被岳飛背上由老母親手刺的“精忠報國”四個大字深深感動，轉而為岳飛鳴冤，朝廷改由万俟接任審理。同年底，宋金議和，規定：宋金以東起淮水，西至大散關（今陝西寶雞西南）為界；南宋每年向金納貢銀絹各25萬匹兩；南宋稱臣，且“世世子孫謹守臣節”。