唐朝貞觀八年（公元634年），劍南道巡察大使李大亮出巡。途中突遇一人才學出眾，一貫愛才的李大亮立刻將此人薦舉給朝廷，很快詔下，補為門下省典儀。此人便是李義府。

唐太宗想試試李義府才學深淺。一天，太宗召見李義府，令他當場以“詠烏”為題，賦詩一首。題目一出，李義府脫口吟道：

日裡揚朝彩，琴中聞夜啼。

上林如許樹，不借一枝棲。

此詩流露出李義府渴求朝官的急切心情。太宗聽後倍感滿意，便說：“與卿全樹，何止一枝！”當場授予他監察御史，並侍晉王李治。當時，李治為太子，李義府旋即又被授為太子舍人、崇賢館直學士。因其頗有文采，與太子司議郎來濟臣被時人並稱為“來李”。

李義府很有才華，而且並非生來就是奸佞之徒。他曾寫《承華箴》奉上，文中規勸太子“勿輕小善，積小而名自聞；勿輕微行，累微而身自正”。又說，“佞諛有類，邪巧多方，其萌不絕，其害必彰”。此言有文有質，以此看，他很可能會成為對國家有用的人材，而結果卻墮落為奸臣，這是為什麼呢？莫非官場乃一大染缸，要不多久皆清黑一色？

太子李治將《承華箴》上奏父皇，太宗覽畢大喜，稱：“朕得一棟樑也！”下詔賜予李義府帛四十匹，並令其參與撰寫《晉書》。永徽元年（公元650年），太子李治即位，是為高宗。李義府升為中書舍人，第二年，兼修國史，加弘文館學土。李義府的青雲直上，頗引朝臣注目，特別是他也曾由黃門侍郎劉泊、侍御史馬周引薦，又與許敬宗等相勾結，虛美隱惡，曲意逢迎。長孫無忌奏請高宗貶他到壁州（今四川通江）做司馬。詔令尚未下達，李義府已有所聞，急忙向中書合人王德儉問計。

王德儉是許敬宗的外甥，其貌不揚，但詭計多端，善揣人意。他向李義府說：“武昭儀如今格外受寵，皇上想要將她立為皇后，只是怕宰相們反對，所以遲遲不敢下詔。你若能進諫贊同，恐怕能轉危為安。”李義府心領神會，能在武昭儀立後問題上迎合帝意，貶黜之事便好辦得多。於是，他藉著替王德儉在中書省值宿的機會，立即上表高宗，謊稱立武昭儀為皇后是人心所向，請廢王皇后，立武氏為後。

高宗聽了，正合心意，馬上召見了李義府，不僅賜給他寶珠一斗，還將原來貶斥到壁州的詔令停發，留居原職，武昭儀也秘密派人送禮答謝。從此，李義府便與許敬宗、崔義玄、袁公瑜等人結成了武昭儀的心腹。水徽六年（公元55年）七月，李義府升為中書侍郎；十月，立武昭儀為皇后；十一月，李義府又自中書侍郎拜為同中書門下三品，監修國史，並賜廣平縣男爵。李義府第次嚐到了耍陰謀的甜頭。

李義府其實本來就是一個深藏不露的人。表面上，他總是一副謙和溫順的樣子，與人說話也總是面帶微笑，顯得和藹可親；而內心則陰險狡詐，偏狹惡毒，動不動就拉下臉來。人稱他是笑裡藏刀，柔而害物的“人貓”。李義府仰仗武后的恩寵，進爵為侯，更加膽大妄為。洛陽有一女子淳于氏因為有罪，關在大理寺。李義府聽說這女子貌美，淫心頓起，密令大理丞畢正義削免其納為自己的小妾。大理卿段寶玄聽說此事，告到朝廷。高宗令給事中劉仁軌、侍御史張倫等審理此案。李義府十分害怕，惟恐事情敗露，便逼迫畢正義自縊，殺人滅口。高宗聽到後，也想息事寧人，便不再追究，不了了之。

後來，侍御史王義方將調查情況，向高宗如實作了彙報：“義府於輦轂之下，擅殺六品寺丞；正義自殺，也是因為畏懼李義府的淫威。這樣下去，則生殺之威，可不出自皇上之手。這種風氣萬萬不可助長，請陛下立即加以勘正！”他還當廷陳述李義府的罪惡：“附下罔上聖主之所宜誅；心狠貌恭，明時之所必罰。”誰知，李義府顧盼左右，若無其事，見高宗毫無阻攔之意，只好退出。王義方義憤填膺，繼續彈劾李義府的罪惡行徑，指出“此兒可恕，孰不可容”！要求清除君側的奸黨。高宗見他愈說愈激動，而事已至此，不想再作無謂爭辯，於是大聲喝止，反說王義方當廷誹謗，侮辱大臣，出口不遜，將其貶到萊州做司戶，而不問李義府之罪。

昆慶二年（公元657年），李義府代替崔敦禮為中書令，兼檢校御史大夫，監修國史，弘文館學士如故，並加太子賓客，封為河間郡公。他秉承武后意旨，與許敬宗一起誣奏侍中韓璦、中書令來濟臣與褚遂良圖謀不軌。結果二人都被貶到外地，終身不得朝覲。原吏部尚書柳爽貶為愛州（今越南清化）刺史，後被誣與褚遂良等朋黨構扇而被殺。李義府就是這樣，對那些威脅自己權勢的人，總要千方百計除掉而後快。