李義府出生於潁州饒陽(今河北省饒陽縣)。唐太宗時，、馬周等人推薦他為禦史監，並擔任晉王李治的助手。晉王成為皇太子後，被授予舍人太子，崇賢殿學士。650年，李治，唐高宗，繼位，被提升為舍人。因為他極力支持唐高宗立武則天為皇後，被提拔為中書侍郎，並被封為廣平郡公。李義府表面上看起來總是溫文爾雅，逆來順受，與人交談時總是面帶微笑，顯得“和藹可親”，但骨子裏卻陰險自私，嫉妒心強。如遇稍有不滿，或對朝廷有利而對自己不利的人，他就會絞盡腦汁，用盡壹切手段去陷害羅誌。所以朝野都知道他陰險可怕，說他笑裏藏刀。因為他的特點是“以柔克剛，害人害物”，所以又被稱為“李茂”。656年，壹個叫春雨的女子，因有罪，被關押在洛州(今河南洛陽)大理寺。李義府聽說這個女人有些女人味，就要求程大利替她主持公道、報仇雪恨，把她放出來做妾。大理卿段寶軒聽說後，心生懷疑，把這件事告訴了皇帝。皇帝下令審判劉和，並詢問情況是否屬實。李義府很緊張，怕事情泄露，逼著畢正儀上吊自殺。為了澄清事實，欽差大臣王彈劾李義府，並向朝廷呈上李義府的罪狀。但唐高宗為了保護李義府，說王在朝廷上誹謗侮辱大臣，言語粗魯，就把他貶到萊州當管事，沒有過問李義府奸淫亂殺之罪。李義府發財後，想借機把自己擠進名門望族。據說他祖籍昭君李氏，與朱關系密切。壹些李姓子弟，見其勢力大，也附合性交，不少人稱其為兄弟叔伯。李崇德當初和他是同壹個族譜。李義府被貶為刺史後，李崇德揭露真相，將李義府的壹支從趙縣李氏族譜中剔除。李義府復職為宰相後，對李崇德恨之入骨，召來羅誌，囚禁李崇德，逼其自殺。李義府依仗武侯的影響力，貪汙受賄，枉法裁判。朝廷內外的官員都怕他，不敢問。唐高宗平靜地警告他:“我聽說妳的兒子和女婿行為不端，做了許多壞事，我多次為妳掩蓋他們。妳應該警告他們不要再這樣下去了。”李義府沒有反省，反而生氣了，臉紅了，粗暴地問高宗:“這些事是誰告訴陛下的？”也可以看出李義府有多猖狂。(《新唐書·李義府傳》)