李泌七歲能文，幼時就已粗通黃老列莊學說，有神童的美譽。唐玄宗開元十六年（728年），李泌因機遇巧合，受到了玄宗的召見。他入宮時，玄宗讓正與自己下棋的燕國公張說試試李泌的能力。張說請李泌賦方圓動靜，李泌很快說：希望知道其中的大略。張悅便說：方就像棋局，圓就像棋子，動就像活棋，靜就像死棋。李泌立即回答說：方就像行義，圓就像用智，動就像施展才能，靜就像感到滿意。張說聽後，祝賀玄宗得到了壹位神童。玄宗非常高興，賜李泌束帛，命李家對他善加撫養。
宰相張九齡特別喜愛李泌，常常把他請到臥室內交談。張九齡與大臣嚴挺之、蕭誠交好，嚴挺之厭惡蕭誠的諂媚，勸張九齡謝絕與蕭誠的來往。張九齡忽然自己念叨說：嚴挺之太刻板剛直，而蕭誠軟美可喜。正要命令左右的人喚來蕭誠，在他身旁的李泌馬上說道：您以平民身份入仕，又因正直位至宰相，卻喜歡軟美的人嗎？張九齡聽後，非常驚訝，急忙改容認錯，並稱他為小友。在朝中，李泌不僅受到張說、張九齡的賞識，大臣韋虛心、張廷珪也很器重他。
李泌成年後，非常博學，擅長研究《易經》。他經常遊歷嵩山、華山、終南山之間，仰慕神仙不死之術。
天寶（742年－756年）年間，隱居嵩山的李泌向玄宗獻上《復明堂九鼎議》，玄宗想起李泌的早惠，於是召他入朝講授《老子》。因其講解有法，玄宗命他待詔翰林，供奉東宮，太子李亨待李泌極為優厚。李泌曾經寫詩譏誚寵臣楊國忠、安祿山等，楊國忠於是誣稱李泌曾寫《感遇詩》諷刺朝政，結果李泌被送往蘄春郡（今湖北蘄春）安置，而李泌幹脆脫離了官府，乃潛遁名山，以習隱自適。
白衣山人
安史之亂爆發後，玄宗倉皇出走，李亨在靈武（今寧夏靈武）即位，是為唐肅宗。肅宗即位後，派人四處尋找李泌，恰好李泌也到了靈武。肅宗立刻和他商討當前的局面，他便分析當時天下大勢和成敗的關鍵所在。肅宗很高興，要給他授任官職，李泌自稱山人，堅決推辭，希望以賓客的身份隨從。肅宗也只好授李泌銀青光祿大夫的散官，碰到疑難的問題，常常和他商量，稱其為先生而不稱名。
此時，李泌已少吃煙火食。肅宗有壹天夜裏，高興起來，找來兄弟三王和李泌就地爐吃火鍋，因李泌不吃葷，便親自燒兩顆梨請他食用。三王爭取，也不肯賜給他。
李泌入朝議論國事，從制書文誥到將相升遷，無所不預，史稱其權逾宰相。李泌外出時，也陪同肅宗車駕，眾人指著他說穿黃衣的是聖上，穿白衣的是山人隱士。肅宗聽說此事，便賜李泌金紫，任命他為天下兵馬大元帥、廣平王李俶（後來的唐代宗李豫）的行軍司馬。肅宗曾對他說：妳曾經侍從過上皇（玄宗），中間又作過我的老師，如今下任廣平王行軍司馬，朕父子都借助了妳的道義。軍中商議立元帥，人們都註目於建寧王李倓，李泌暗中對肅宗說：建寧王的確聰明，但廣平王是嫡長子，有為人君的氣量，難道想要使他做吳太伯嗎？肅宗說：廣平王已被立為太子，何必需要做元帥呢？李泌說：假使元帥立功，陛下不使他做君位的繼承人，能行嗎？太子隨從時是撫軍，駐守時是監國，如今元帥就是撫軍。肅宗最終聽從了他的建議。
肅宗在做太子時，宰相李林甫多次以進讒陷害他，肅宗積怨已久。到即位以後，打算將李林甫的遺骸挖出焚燒。李泌認為身為天子卻念及舊恨，不能以寬廣的胸懷顯示於天下，會使那些投靠叛軍的人失去改過自新的想法。肅宗大為不悅，說：妳忘了往事嗎？李泌回答說：臣考慮的不在於這些。上皇統治天下五十年，壹朝失意（指玄宗逃亡四川），南方氣候惡劣，而且他已年邁，聽到陛下記恨舊怨，將會內心慚愧不樂。萬壹上皇傷感得病，就是陛下以天下之廣大，還不能夠安撫親人啊。話未說完，肅宗便感悟，下階抱著李泌的脖子痛哭道：朕沒想到這些。
肅宗問李泌剿賊的戰略，他就當時的情勢，定出壹套圍剿的計劃。首先，李泌斷定安祿山、史思明等人是壹群沒有宗旨的烏合之眾，目的只在搶劫，天下大計，非所知也。不出二年，無寇矣。陛下無欲速，夫王者之師，當務萬全，圖久安，使無後害。因此，他擬定戰略，使李光弼守太原，出井陘；郭子儀取馮詡，入河東，隔斷盜魁四將，不敢南移壹步。又密令郭子儀開放華陰壹角，讓叛軍能通關中，使他們北守範陽，西救長安，奔命數千裏，勞損其精兵。而唐軍常以逸待勞，剪除其弱卒。再將各路兵馬齊聚扶風，與朔方軍***同平叛。並命建寧王李倓為範陽節度大使，與李光弼互為犄角，以攻取範陽。叛軍失去根據地，必將身死於河南諸將之手。肅宗統統照他的計劃行事，後來都不出其所料。這便是李泌的挫其銳，解其紛的戰略運用。但可惜的是肅宗急功近利，沒有聽信李泌的建議，致使河北沒有徹底肅清。
肅宗為了盡快收復都城長安，等到郭子儀籌借到西北軍大集合的時候，便對李泌說：今戰必勝，攻必取，何暇千裏先事範陽乎！李泌就說：如果動用大軍，壹定想要速得兩京，那麽賊勢壹定會重新強盛，我們日後會再受到困擾。我們有恃無恐的強大兵力，全靠磧西突騎（騎兵）、西北諸戎。假如壹定要先取京師，大概在明年的春天，就可成功。但是關東的地理環境，與氣候等情況，春天來得較早，氣候容易悶熱，騎兵的戰馬也容易生病，戰士們思春。也會想早點回家，便不願再來輾轉作戰了。那麽，淪陷中的敵人，又可休養士卒，整軍經武以後，必復再度南來，這是很危險的辦法。但肅宗卻堅決地不聽李泌的戰略意見，急於收復兩京，由此便有郭子儀借來回紇外兵，隨元帥、廣平王李豫等收復兩京的壹幕出現。
遁避衡山
自從肅宗在靈武即位時起，李泌就壹直在肅宗身邊，為平叛出謀劃策，他當時雖然沒有身擔要職，卻權逾宰相。正是這種與肅宗極為親密的關系，招來了權臣崔圓、李輔國的猜忌。兩京收復後，平叛大局已定，李泌便主動要求離開權力的中心，遁避進衡山修道，肅宗下詔賜李泌三品俸祿及隱士服，還為他建造居室。
入朝出朝
李泌隱居數年後，玄宗去世，肅宗隨即也駕崩，新繼位的皇帝便是李泌當年特別加以保護的廣平王李豫（即唐代宗）。代宗即位，馬上就召李泌回來，任命他為翰林學士。代宗先讓他住在宮中的蓬萊殿書閣，跟著就在長安光福裏賜他府第，又強迫他吃肉，還為他娶朔方已故留後李暐的外甥女為妻。但是宰相元載認為李泌不肯依附自己，留在朝廷對自己是壹個潛在的威脅。剛好江西觀察使魏少遊請朝廷為他派去壹些僚佐，元載就盛稱李泌有才，可擔此任。李泌就以檢校秘書少監、江南西道判官之職再次以離開朝廷。旋即改為檢校郎中，仍任判官。臨行前，代宗暗地對他說：先生將就壹點，外出走走也好。
大歷十二年（777年），元載犯罪伏誅，代宗立即召他還京，準備重用。但又為宰相常袞所忌，常袞再三設法外放他出任楚州刺史，李泌推辭不去，代宗也留他在朝中。適逢澧州有職務空缺，常袞極力陳述南方窮困之狀，請求放李泌前往治理，代宗無奈，只得授李泌為澧（今湖南澧縣）、郎、峽（今湖北宜昌）三州團練使，後遷任杭州刺史。李泌雖被貶任地方行政長官，但在所到之處都有很好的政績，尤以在杭州任上的治績著名。北宋蘇轍稱杭本江海之地，水泉鹹苦，居民稀少。唐刺史李泌始引西湖水作六井，民足於水，故井邑日富。
皇太子李適（即後來的唐德宗）也曾與李泌交遊。對於軍國大事，李泌仍然不遠千裏地向代宗提出建議，代宗也必定采用照辦。
致身宰輔
李泌是玄、肅、代、德四朝元老，可他壹生崇尚出世無為的老莊之道，視功名富貴如敝屣，所以在肅、代兩朝數度堅辭宰相之位，並且最終遠離朝堂，長年隱居於衡山。
涇原兵變後，德宗避難於梁州，急詔征李泌至行在（天子巡行之處，此指梁州），授以左散騎常侍之職。德宗令李泌每天在中書省值班，以便等候德宗召對，受到朝野關註。
貞元元年（785年）七月，陜虢（今河南陜縣、靈寶壹帶）都知兵馬使達奚抱暉鴆殺節度使張勸，代領軍務，邀求旌節，並密召李懷光將達奚小俊為援。德宗鑒於局勢危急，便於任李泌為陜虢都防禦水陸運使。李泌請求單騎前往，德宗初時雖有懷疑，但最終同意。李泌先見陜州進奏官及將吏在京城的人，欺騙他們說：皇上因陜虢饑，所以讓我領運使，督江淮米以賑濟。陜州行營在夏縣，如果達奚抱暉可用，就讓他統軍；如果有功，就讓他出任節度使。以此麻痹達奚抱暉。同月十七日，德宗加李泌為陜虢觀察使。李泌至陜州行營，讓達奚抱暉自領家人亡命。李泌辭行時，德宗曾草擬參加叛亂的七十五人名單授李泌，命他誅殺。李泌遣走達奚抱暉後，朝廷所派的宣慰使要求李泌壹定要誅殺叛亂者。李泌不得已，只械送了兵馬使林滔等五人送至京。達奚小俊領兵入境，聽說李泌已入陜，只得還軍。陜虢遂安。
貞元三年（787年），參與防秋的淮西門槍兵馬使吳法超率步騎四千從鄜州（今陜西富縣）叛逃。渾瑊派部將阻攔未果。德宗急遣中使敕令李泌發兵攔阻，不得讓淮西軍渡河。李泌馬上派押牙唐英岸率軍至靈寶，但淮西軍已渡過黃河列陣。李泌於是令靈寶供給他們糧食，淮西軍也不敢剽掠。次日，淮西軍在陜州城西宿營，李泌不再向他們供給糧食，而派部將率精兵埋伏於太原倉隘道。壹日後，淮西軍行入隘道，李泌所派的伏兵齊發，淮西軍大敗。殘軍從山路南逃，李泌又派大將燕子楚率軍四百至長水（今河南洛寧西）。唐英岸多次追敗叛軍，吳法超等至長水，被燕子楚伏殺。六月，李泌入朝，出任中書侍郎、同平章事，正式拜相。
調和矛盾
李泌執政的時間雖短，但他在任內卻做了許多意義重大的事，從而在相當程度上保證了貞元年間帝國總體形勢的和平與穩定。
李泌對內政的處理，外交的策略，軍事的部署，財經的籌劃，都做到了安和的績效。 他勤修內政，充裕軍政費用。保全功臣李晟、馬燧，以調和將相。外結回紇、大食，達成貞元之盟，從而遏制吐蕃以安定邊陲。李泌常有與德宗政見不同之處，反復申辯上奏達十五次之多。德宗曾對他說：朕要和妳約法在先，因妳歷年來所受的委屈太多了，不要壹旦當權，就記恨報仇，如對妳有恩的，朕會代妳還報。李泌說：臣素奉道，不與人為仇。害臣的李輔國、元載他們，都自斃了。過去與臣要好的，但凡有才能的，也自然顯達了。其余的，也都零落死亡了。臣實在沒什麽恩怨可報的。但是如陛下方才所說，臣可與陛下有所約言嗎？德宗就說：有什麽不可以的呢？李泌便進言，希望德宗不要殺害功臣，認為李晟、馬燧有大功於國，聞有讒言之者。陛下萬壹害之，則宿衛之士，方鎮之臣，無不憤怒反厭，恐中外之變復生也。陛下誠不以二臣功大而忌之，二臣不以位高而自疑，則天下永無事矣。德宗聽了認為很對，接受了李泌的建議。李晟、馬燧在旁聽了，當著德宗感泣而謝。
郜國公主是太子妃蕭氏的母親，因蠱媚（使用邪術）獲罪，被德宗幽禁在宮中。德宗在處置完郜國公主後，又因怒責備太子李誦，太子不知所措。李泌常常聽德宗稱贊舒王李誼賢明，他估計德宗有廢立太子的意圖，便說：陛下有壹個兒子卻懷疑他，想要立陛下弟弟的兒子，臣不敢用古例爭論。再說十王宅的叔父們，陛下是如何對待的？德宗驚訝道：妳怎麽知道舒王不是朕的兒子？李泌回答說：陛下過去為臣說過這事。陛下有嫡子（指李誦）卻要懷疑，那弟弟的兒子（指李誼）怎敢為陛下所信任？德宗不滿，語帶威脅地說：妳違背朕的心意，難道不顧及妳的家族嗎？李泌回答說：臣已經衰老了，位居宰相，因諫言被殺，是我的職分。假使太子被廢除，他日陛下後悔說?我只有壹個兒子卻被我殺了，李泌不勸諫我，我也要殺了妳的兒子?，那麽臣就絕後了。雖然臣的兄弟有兒子，但他們的祭祀不是我該享受的。說罷便嗚咽流涕。他又說：昔日太宗下詔：?太子無道，藩王窺伺太子之位的，二者都應廢黜。?陛下對太子生疑而稱贊舒王賢明，他能沒有窺伺太子之位的想法嗎？如果天子有罪，請求廢掉他而立皇孫，千秋萬歲以後，天下還是陛下的子孫所有。何況郜國公主被女兒妒嫉，而蠱惑太子，陛下怎能因妻子的母親連累太子呢？李泌在德宗面前爭論數十次，愈加堅持己見，德宗才醒悟，太子李誦乃得安。
接著李泌又提出唐肅宗與代宗父子恩怨之間的往事，道說：陛下不記得建寧王的事情嗎（唐肅宗因受寵妃張良梯及奸臣李輔國的離間，殺了兒子建寧王李倓）？德宗說：建寧叔（指李倓）確實是冤枉的，他的不幸是因為肅宗性子太急了。李泌說：臣以前為了此事辭職歸隱，發誓不再靠近天子身旁（大意指不再入朝任職），不幸今日又擔任了陛下的宰相，再次看到了這件事（指太子被誣陷）。而且那時候先帝（德宗之父代宗）心中常常擔憂恐懼。臣離開朝廷前辭謝時，曾誦讀《黃臺瓜辭》，肅宗才悔悟而哭泣。（《黃臺瓜辭》為章懷太子李賢所作。武則天掌權時，殺李唐宗室，李賢自測難以幸免，故而創作此辭） 德宗聽到這裏，總算受到感動，但仍然說：我的家事，為什麽妳要這樣極力參與？李泌說：臣現在獨自承擔宰相的重任，四海之內，壹物失所，責任都歸咎在臣身上，何況是坐視太子橫遭冤禍而閉口不言，這樣臣的罪就大了。他甚至說到臣敢用整個宗族的性命來保太子。君臣之間又往返辯論很多，李泌還告訴德宗要極力保密，回宮後不要讓侍從知道如何處理此事。壹面又安慰太子不要氣餒，不可自裁，他對太子說：壹定沒有這種憂患，希望太子更加恭敬孝順，假使我死了，那就無法得知此事如何處理了！最後總算解開德宗父子之間的死結。德宗特別打開延英殿，只召見李泌壹人，對他哭著說：不是妳的直言，朕現在就悔之不及了！太子仁厚孝順，的確沒有其他事。從今以後，軍國事務及朕的家世，都應該與妳商議。李泌聽了，拜賀之外，便說：臣報效GJ的使命完成了。驚悸之余的亡魂（指他為太子之事憂愁思慮所帶來的壓力），不能再用了，希望陛下允許乞骸骨。德宗除了道歉安慰，硬不準他辭職。但過了壹年多，李泌果然去世。
病逝相位
貞元五年（789年）三月二日（4月1日），李泌病逝，享年六十八歲。德宗追贈他為太子太傅，所賜賻禮加等。
康熙六十壹年（1722年），李泌與歷代功臣四十人得以從祀歷代帝王廟。