李泌幼年便有神童的稱譽，幼時就已粗通黃老列莊學說。在唐玄宗（明皇）政治最清明的開元時期，他只有七歲，已經受到玄宗與名相張說、張九齡的欣賞和獎愛。有壹次，張九齡準備拔用壹位才能不高，個性比較軟弱，而且肯聽話的高級巨僚，李泌雖然年少，跟在張九齡身邊，便很率直地對張九齡說：“公起布衣，以直道至宰相，而喜軟美者乎！”相公妳自己也是平民出身，處理國家大事，素來便有正直無私的清譽，難道妳也喜歡低聲下氣而缺乏節操和能力的軟性人才嗎？張九齡聽了他的話，非常驚訝，馬上很慎重地認錯，改口叫他小友。
李泌到了成年的時期，非常博學，而且對《易經》的學問，更有心得。他經常尋訪嵩山、華山、終南等名山之間，希望求得神仙長生不死的方術。
到了天寶時期，玄宗記起他的幼年早慧，特別召他來講《老子》，任命他待詔翰林，供奉東宮，因而與皇太子兄弟等非常要好。在這個時候，他已經鉆研於道家方術的修煉，很少吃煙火食物。 到了安祿山起兵造反時，玄宗倉皇出走，皇太子李亨在靈武即位，是為肅宗，到處尋找李泌，恰好李泌也到了靈武。肅宗立刻和他商討當前的局面，他便分析當時天下大勢和成敗的關鍵所在。肅宗要李泌在朝中任職，他懇辭不幹，只願以客位的身份出力。肅宗也只好由他，碰到疑難的問題，常常和他商量，叫他先生而不名。
此時，李泌已少吃煙火食。肅宗有壹天夜裏，高興起來，找來兄弟三王和李泌就地爐吃火鍋，因李泌不吃葷，便親自燒梨二顆請他，三王爭取，也不肯賜予。外出的時候，陪著肅宗壹起坐車。大家都知道車上坐著那位穿黃袍的，便是皇帝，旁邊那位穿白衣的，便是山人李泌。肅宗聽到了大家對李泌的稱號，覺得不是辦法，就特別賜金紫，拜他為廣平王（皇太子李豫）的行軍司馬。並且對他說：“先生曾經侍從過上皇（玄宗），中間又作過我的師傅，要請妳幫助我兒子作行軍司馬，我父子三代，都要借重妳的幫忙了。”李泌看到肅宗當時對政略上的人事安排，將來可能影響太子的繼位問題，便秘密建議肅宗使太子做元帥，把軍政大權付托給他。他與肅宗爭論了半天，結果肅宗接受了他的意見。 肅宗對玄宗時期的宰相李林甫非常不滿，認為天下大亂，都是這個奸臣所造成，要挖他的墳墓，燒他的屍骨。李泌力諫不可，肅宗氣得問李泌，妳難道忘了李林甫當時的情形嗎？李泌卻認為不管怎樣，當年用錯了人，是上皇（玄宗）的過失。但上皇治天下五十年，難免會有過錯。妳現在追究李林甫的罪行，加以嚴厲處分，間接地是給上皇極大的難堪，是揭玄宗的瘡疤。妳父親年紀大了，又奔波出走，聽到妳這樣作，他壹定受不了，老年人感慨傷心，壹旦病倒，別人會認為妳身為天子，以天下之大，反不能安養老父。這樣壹來，父子之間就很難辦了。肅宗經過他的勸說，不但不意氣用事，反而抱著李泌的脖子，痛哭著說：“我實在沒有細想其中的利害。”這就是李泌“沖而用之或不盈”的大手筆。玄宗後來能夠自蜀中還都，全靠他的周旋彌縫。
肅宗問李泌剿賊的戰略，他就當時的情勢，定出壹套圍剿的計劃。首先他斷定安祿山、史思明等的黨羽，是壹群沒有宗旨的烏合之眾，目的只在搶劫，“天下大計，非所知也。不出二年，無寇矣。陛下無欲速，夫王者之師，當務萬全，圖久安，使無後害。”因此，他擬定戰略，使李光弼守太原，出井陘。郭子儀取馮詡，入河東，隔斷盜魁四將，不敢南移壹步。又密令郭子儀開放華陰壹角，讓盜眾能通關中，使他們北守範陽，西救長安，奔命數千裏，其精粹勁騎，不逾年而蔽。我常以逸待勞，來避其鋒，去翦其疲。以所征各路之兵，會扶風，與太原朔方軍互擊之，並命建寧王李倓為範陽節度大使，北並塞，與李光弼相犄角以取範陽。賊失巢窟，當死河南諸將手。肅宗統統照他的計劃行事，後來都不出其所料。這便是李泌的“挫其銳，解其紛”的戰略運用。 後來最可惜的，是肅宗急功近利，沒有聽信李泌的建議，致使河北沒有徹底肅清，仍然淪陷於盜賊之手，便自粉飾太平，因此而造成歷史上晚唐與五代之際華夷戰亂的後遺癥。
肅宗為了盡快收復都城長安，等到郭子儀籌借到西北軍大集合的時候，便對李泌說：“今戰必勝，攻必取，何暇千裏先事範陽乎！”李泌就說：“如果動用大軍，壹定想要速得兩京，那麽賊勢壹定會重新強盛，我們日後會再受到困擾。我們有恃無恐的強大兵力，全靠磧西突騎（騎兵）、西北諸戎。假如壹定要先取京師，大概在明年的春天，就可成功。但是關東的地理環境，與氣候等情況，春天來得較早，氣候容易悶熱，騎兵的戰馬也容易生病，戰士們思春。也會想早點回家，便不願再來輾轉作戰了。那麽，淪陷中的敵人，又可休養士卒，整軍經武以後，必復再度南來，這是很危險的辦法。”但肅宗卻堅決地不聽李泌的戰略意見，急於收復兩京，可以稱帝坐朝，由此便有郭子儀借來回紇外兵，從元帥廣平王等收復兩京的壹幕出現。 兩京收復，玄宗還都做太上皇，肅宗重用奸臣李輔國。李泌壹看政局不對，怕有禍害，忽然又變得庸庸碌碌，請求隱退，遁避到衡山去修道。大概肅宗也認為天下已定，就準他退休，賞賜他隱士的服裝和住宅，頒予三品祿位。
另有壹說，李泌見到懶殘禪師的壹段因緣，是在他避隱衡山的時期。總之，“天道遠而人道邇”，仙佛遇緣的傳說，事近渺茫，也無法確切地考據，存疑可也。
李泌在衡山的隱士生活過不了多久，玄宗去世，肅宗跟著也死了，繼位當皇帝的，便是李泌當年特別加以保存的廣平王李豫（即唐代宗）。代宗登上帝位，馬上就召李泌回來，起先讓他住在宮內蓬萊殿書閣，跟著就賜他府第，又強迫他不可素食，硬要他娶妻吃肉，這個時候，李泌卻奉命照做了。但是宰相元載非常忌妒他的不合作，找機會硬是外放他去做地方官。代宗暗地對他說：“先生將就壹點，外出走走也好。”不久後，元載犯罪伏誅，代宗立即召他還京，準備重用。但又為奸臣常衰所忌，怕他在皇帝身邊對自己不利，又再三設法外放他出任澧郎峽團練使，後再遷任杭州刺史。他雖貶任地方行政長官，到處仍有很好的政績，蘇轍在《亡兄子瞻端明墓誌銘》中稱“杭本江海之地，水泉鹹苦，居民稀少。唐刺史李泌始引西湖水作六井，民足於水，故井邑日富。” 這便是李泌的“和其光，同其塵，湛兮似或存”的自處之道。
當時奉命在奉天皇太子李適（即後來的唐德宗），知道李泌外放，便要他到行在（行轅），授以左散騎常侍。對於軍國大事，李泌仍然不遠千裏地向代宗提出建議，代宗也必定采用照辦。到了德宗繼位後的第三年，正式出任宰相，又封為鄴縣侯。
李泌對內政的處理，外交的策略，軍事的部署，財經的籌劃，都做到了安和的績效。 他勤修內政，充裕軍政費用。保全功臣李晟、馬燧，以調和將相。外結回紇、大食，達成“貞元之盟”，從而遏制吐蕃以安定邊陲。李泌常有與德宗政見不同之處，反復申辯上奏達十五次之多。德宗曾對他說：“朕要和妳約法在先，因妳歷年來所受的委屈太多了，不要壹旦當權，就記恨報仇，如對妳有恩的，朕會代妳還報。”李泌說：“臣素奉道，不與人為仇。害臣的李輔國、元載他們，都自斃了。過去與臣要好的，但凡有才能的，也自然顯達了。其余的，也都零落死亡了。臣實在沒什麽恩怨可報的。但是如陛下方才所說，臣可與陛下有所約言嗎？”德宗就說：“有什麽不可以的呢？”李泌便進言，希望德宗不要殺害功臣，認為“李晟、馬燧有大功於國，聞有讒言之者。陛下萬壹害之，則宿衛之士，方鎮之臣，無不憤怒反厭，恐中外之變復生也。陛下誠不以二巨功大而忌之，二臣不以位高而自疑，則天下永無事矣。”德宗聽了認為很對，接受了李泌的建議。李晟、馬燧在旁聽了，當著德宗感泣而謝。 宮廷父子之間，又受人中傷而有極大的誤會，幾乎又與肅宗壹樣造成錯誤，李泌為調和德宗和太子之間的誤會，觸怒了德宗說：“卿不愛家族乎？”意思是說，我可以殺妳全家。李泌立刻就說：“臣惟愛家族，故不敢不盡言，若畏陛下盛怒而曲從，陛下明日悔之，必尤臣曰：吾獨任汝為相，不諫使至此，必復殺臣子。臣老矣，余年不足惜，若冤殺巨子，使臣以侄為嗣，臣未知得欲其祀乎！”因嗚咽流涕。上亦泣曰：“事已如此，奈何？”對曰：“此大事願陛下審圖之，自古父子相疑，未有不亡國者。”
接著李泌又提出唐肅宗與代宗父子恩怨之間的往事說：“且陛下不記建寧之事乎？”（唐肅宗因受寵妃張良梯及奸臣李輔國的離間，殺了兒子建寧王李談）德宗說：“建寧叔實冤，肅宗性急故耳。”李泌說：“臣昔為此，故辭歸，誓不近天子左右，不幸今日復為陛下相，又觀茲事。且其時先帝（德宗的父親代宗）常懷畏懼。臣臨辭日，因誦《黃臺瓜辭》，肅宗乃悔而泣。”（《黃臺瓜辭》，唐高宗太子——李賢作。武則天篡位，殺太子賢等諸帝子，太子賢自恐不免故作：“種瓜黃臺下，瓜熟子離離。壹摘使瓜好，再搞令瓜希三摘猶自可，摘絕抱蔓歸。”） 德宗聽到這裏，總算受到感動，但仍然說：“我的家事，為什麽妳要這樣極力參與？”李泌說：“臣今獨任宰相之重，四海之內，壹物失所，責歸於臣，況坐視太子冤橫而不言，臣罪大矣。”甚至說到“臣敢以宗族保太子。”中間又往返辯論很多，並且還告訴德宗要極力保密，回到內宮，不要使左右知道如何處理此事。壹面又安慰太子勿氣餒，不可自裁，他對太子說：“必無此慮，願太子起敬起孝，茍泌身不存，則事不可知耳！”最後總算解開德宗父子之間的死結。德宗特別開延英殿，獨召李泌，對他哭著說：“非卿切言，朕今日悔無及矣！太子仁孝，實無他也。自今軍國及朕家事，皆當謀於卿矣。”李泌聽了，拜賀之外，便說：“臣報國畢矣，驚悸亡魂，不可復用，願乞骸骨。”德宗除了道歉安慰，硬不準他辭職。過了壹年多，李泌果然去世。 李泌是玄、肅、代、德四朝元老，可他壹生崇尚出世無為的老莊之道，視功名富貴如敝屣，所以在肅、代兩朝數度堅辭宰相之位，並且最終遠離朝堂，長年隱居於衡山。不知道為什麽，在貞元三年（公元787年）六月他終於同意德宗的請求，出任宰相，可當時已經是六十七歲高齡。即便他想把當年的肅宗和代宗求之不得的智慧和心力全部貢獻給幸運的德宗皇帝，可上天卻沒有給他和德宗更多的時間。
貞元五年（789年）三月二日（4月1日 ），李泌便與世長辭，德宗追贈他為太子太傅。雖然執政的時間很短，可李泌在任期間卻做了許多意義重大的事，從而在相當程度上保證了貞元年間帝國總體形勢的和平與穩定。
他參與宮室大計，輔翼朝廷，運籌帷幄，對外策劃戰略，配合郭子儀等各個將領的步調，使其得致成功，也可以說是肅宗、代宗、德宗三朝天下的重要人物。只是因他壹生愛好神仙佛道，被歷來以儒家出身、執筆寫歷史的大儒們主觀我見所摒棄，在壹部中唐變亂史上，輕輕帶過，實在不太公平。說到他的淡泊明誌，寧靜致遠，善於運用黃老撥亂反正之道的作為，實在是望之猶如神仙中人。
康熙六十壹年（1722年），李泌與歷代功臣四十人得以從祀歷代帝王廟。