梁武帝了解到這些情況後，想聯合嶽家“斷匈右臂”，決定派使者去嶽家。張騫被招為郎官，肩負著出使嶽石的任務。
公元前139年，張騫在匈奴人幹甫的帶領下，率領百余人從隴西(今甘肅)出發。壹路上困難重重，但他們信心堅定，不顧艱難險阻，冒險西進。當他們來到河西走廊時，被占領該地區的塔爾坎發現。張騫壹行全部被俘。
匈奴單於知道張騫西征的目的，所以不會輕易放過。他們分散放牧牛羊馬匹，被匈奴嚴格控制。張騫也娶了壹個匈奴女子。壹個是監視他，壹個是誘導他投降。但是，張騫不屈。雖然被軟禁放牧，但他壹直在等待逃跑的機會，以完成自己的使命。
用了11春秋，匈奴放松了監管。壹個月的壹個漆黑的夜晚，張騫壹行趁匈奴不備，逃離了匈奴。由於他們逃亡匆忙，沒有準備幹糧和飲用水，壹路上經常又餓又渴，隨時會倒在沙漠沙灘上。幸好甘福箭法好，壹路上經常獵殺壹些飛禽走獸，飲血解渴，吃肉充饑，才躲過了死亡的威脅。
就這樣，他們東奔西跑了許多天，終於越過了大漠戈壁，越過了冰雪覆蓋的青脊(今帕米爾高原)，來到了大宛國(今費爾幹納)。大宛國王早就聽說漢朝是個富國。他聽說漢朝使節來了，喜出望外，在京城熱情接待了張騫。他邀請張騫去大宛國參觀血馬。
在大宛王的幫助下，張騫先後去了康居(今撒馬爾罕)、大嶽、大夏。但大嶽的國情變化很大。他們遷到媯水谷後，征服了鄰國大夏(今阿富汗北部)，決定在此安居樂業，不想再打匈奴。同時，越人認為漢朝離他們太遠，無法聯合起來攻打匈奴。張騫沒能完成與大月氏結盟攻打匈奴的使命，卻獲得了大量的西域各國人文地理知識。
張騫遊歷大夏等地壹年多，於公元前128年啟程回國。在回家的路上，張騫改道往南，以避開匈奴控制的地區。他們越過青脊，沿著昆侖山北麓，經過莎車(今新疆莎車)、於闐(今新疆和田)、鄯善(今新疆若羌)等地，進入羌人聚居區。途中被塔爾坎收購，扣押壹年多。