當隋文帝擔任宰相時,他被授予常懷公的稱號。很長壹段時間後,任帥被授予總督的職位,他被封為新的兒子,視他為知己。李身強體壯,身手敏捷,擅長武術。北周諸王壹直懼怕隋文帝,伺機攻打隋文帝。隋文帝依靠李的保護,多次幸免於難。隋文帝非常感謝李,於是他參與了政治,授予外國士兵曹的職位,並仍然擔任左心腹。不久,他被任命為司儀。黃凱元年(581),隋文帝禪位登基,為隋文帝建立隋朝政權。隋文帝繼位後,任命李為內史侍郎,兼任首席尚書,並被任命為新安伯。先後為左右嬪妃,擔任過黃門侍郎、左丞、資政、刑部尚書,深得隋文帝信任。
後來,李童淵出任左丞,並兼任右壹衛驃騎將軍。開九年(589年),在與陳朝之戰中,李跟隨出兵新洲路,擔任行軍總管。陳朝被鎮壓後,被提升為將軍,改國號為萬安郡侯,並被任命為揚州的總經理。開皇十年(590年),任並州刺史。仁壽四年(604年),漢文帝駕崩,太子楊光繼位為楊迪。皇帝繼承王位後,李擔任兵部尚書。當訪問揚州時,他請李留下來守衛京都。李判宇文述還田於民,宇文述告李受賄。皇帝非常生氣,叫李到洛陽開會,因此李被免職。李又傷心又害怕,病死了。追贈列國,爵位等如前。