殷商時期，長治是殷商王朝屬下的諸侯國，史稱“黎”。
春秋時歸晉。戰國時期趙、魏、韓三家分晉，長治為韓國別都，稱“上黨郡”。
隋開皇時改為潞州，後幾經變更，唐時改為河東道潞州上黨縣。
明嘉靖8年（公元1529年）改稱潞州府，並置長治縣取“長治久安”之意，長治由此而得名。
清朝時繼舊制為潞安府長治縣。
民國初廢道，長治改屬冀寧道。民國19年（公元1930年）廢道制，長治直隸省轄。
1945年10月8日長治解放，1945年到1998年的50多年間，曾先後經歷了作為山西省轄市由長治專區代管和晉東南行署隸屬等多次行政區劃的調整變動。
2004年在中央電視臺舉辦的年度中國魅力城市展示評比活動中獲中國十大魅力城市的光榮稱號.