宋太宗征討太原，早就聽說了他的大名，打算高價聘請他。不久，太原危在旦夕，楊業勸其主帥濟源投降，以免喪失性命。袁投降後，唐太宗立即派人召見楊業。會後，太宗非常高興，任命他為右首。唐太宗與楊業壹向熟悉邊境事務，所以被提拔為代州和三交兵馬布署。有壹次，契丹出兵入侵雁門關。楊業率領數千騎兵從西樵出發，沿小路直抵雁門關北關，從背後猛攻契丹兵卒。契丹軍隊幾乎全軍覆沒。楊業因戰功被提升為雲州觀察員，仍被判為鄭州、代州。從此以後，契丹只要看到楊業的大旗，就會主動退位。駐軍的主要將領大都嫉妒他，有的甚至暗地裏批評楊業對唐太宗的批評。唐太宗看到後沒有理會，把它們封了之後親自交給了楊業。
雍熙三年(986)，宋朝大舉北伐，潘美為雲，陸穎為營，楊業為潘美副將，王澍、劉文玉為兵助。各路兵馬先後攻占雲、應、桓、朔四州。不久，唐太宗下詔四州百姓遷入，潘美等人由軍隊護送。當時的契丹國母蕭和大臣漢寧率領十余萬大軍，再次攻占了寰州。楊業又對統帥潘美說:“現在遼軍氣勢如虹，我們要避其鋒芒。朝廷只是命令這些郡的人民去爭取。只要領兵出了大石路，就派人先秘密告訴雲州、朔州的指揮官，讓雲州的人在大軍離開代州的時候先出來。那麽我軍進入潁州，契丹壹定會阻止，讓朔州百姓出城。之後我軍直奔石碣谷，派壹千多弓箭手把守谷口，用騎兵從中路支援。如此，三州百姓可萬無壹失。”王佑當即反對道:“率領數萬精兵，如此畏敵，當然會被人恥笑。不如直接從雁門關北川攻敵。”劉文玉同意王叔的意見。楊業堅持認為這是不可能的。王佑不屑地說:“妳壹直被稱為無敵。現在妳看到了敵人的囂張，卻不戰而留。妳有逆反之心嗎？”楊野只好違心，自告奮勇當前鋒。即將出征時，我流著淚對潘美說:“此戰肯定會不利，但既然眾將都認為我怕死，避敵不及，那我請求做先鋒，以表對朝廷的忠誠。”然後指著陳家口說:“妳和將軍們在那個地方部署步兵和弓箭手作為支援。當我移動到這個地方，妳會下令攻擊敵人和拯救我們。否則，我軍將全軍覆沒。”
潘美、王佑隨後領兵部署在陳家谷口。過了幾個時辰，王派人在托洛臺上觀看，契丹假裝失敗。王佑想立下戰功，立即帶領部下離開谷口。潘美無法阻止，於是他讓部隊向灰河西南方向行進20英裏。不壹會兒，望妳聽說楊業被打敗了，立即派兵逃跑。楊業孤身壹人，從中午到晚上，真的來到了陳家口。楊業看著谷口空蕩蕩的沒人，撫著上邊哭泣。不得不帶領部下再次進攻，自己身上有幾十處傷口，在士卒疲憊不堪的情況下，楊業還親手斬殺了上百名敵人。後來，楊業的兒子嚴羽因為馬受了重傷，無法前進，壯烈犧牲。楊業嘆了口氣說:“我被奸臣追殺，以至於戰敗。我怎麽活下去？”於是他禁食三天，就死了。楊業死後，唐太宗深感痛惜，並寫信稱贊。王佑和劉文玉受到了嚴厲的懲罰。
楊業驍勇善戰，足智多謀，能與士卒同甘共苦，因此深受部下愛戴。朔州戰敗後，他的部下還剩下100多人。楊業對他們說:“妳們都有父母和妻子。妳跟我壹起死也沒用。妳還是逃命吧。”這些人淚流滿面，但沒有壹個人願意離開，所以沒有人幸存。