蘇武北海牧羊圖。（手繪插畫：Winnie Wang/看中國）
太初四年（公元前101年）冬，匈奴響犁湖單于（即匈奴王）死，其弟且鞮侯成為單于，為與漢修好，他遣使送回以往扣留的漢使路充國等人。漢武帝決定對匈奴實行和盟政策，為回報單于的善意，在天漢元年（公元前100年）三月，派中郎將蘇武、副中郎將張勝及隨員常惠等出使匈奴，送還被扣的匈奴使者，並厚饋單于財物。蘇武手持代表天子權力綴有五色旃毛的旌節，率領著一個百餘人的使團踏上了征途。那年蘇武42歲，他不會想到這一去就是19年。
蘇武和他的代表團完成了使命。但是，在回國前夕，莫名其妙的怪事就發生在他的副使張勝身上，張勝跟早先投降匈奴的一些漢人，密謀乘且鞮侯單于外出打獵時，殺掉匈奴的智囊衛律，然後劫持單于的母親，逃回漢朝。事情敗露後，單于大怒，下令逮捕全部漢使。匈奴與漢朝，重新以兵戎相見。
蘇武等人全部被捕。張勝露出投機的原形，投降匈奴。蘇武被帶到匈奴王面前問罪時，單于告述蘇武：他對蘇武有著深刻的印象，如果蘇武肯投降，他願意原諒蘇武。蘇武並沒有接受他的好意，反而向匈奴王解釋說：他自己雖然沒有牽涉到劫持陰謀，可是，他覺得應該對副使的行為負責。願意以死來承擔責任，但絕不投降匈奴。
因此單于對蘇武的印象更好，認為蘇武非常英勇，就叫他的親近大臣衛律去勸蘇武投降。衛律先以死作威脅，但是蘇武卻無動於衷。衛律接著又以榮華富貴作利誘，但是，這些也都給正直的蘇武拒絕了。
單于對蘇武嚴施酷刑，迫其投降，蘇武不屈；又將他關在地窖中，斷絕飲食，蘇武又飢又渴，只好去吃地上的冰雪充飢解渴過活，但卻不肯背叛自己的國家。單于情知他心志堅定，不再作幻想，便把他流放到北海(今貝加爾湖)的無人區放牧一群公羊，說：「什麼時候公羊產奶了，就放你回去!」
蘇武手持旌節來到北海，白天在海邊牧羊，晚上孤零零地住在冷清的帳篷裡。嚴冬季節，匈奴故意斷其食糧，蘇武抓野鼠，掘草根當飯吃。同行的隨員常惠也拒絕投降，常惠被匈奴於囚笞官府牢獄，以繁重的苦役折磨他。妄圖以此淫威，使他屈服，背叛漢朝。然而，常惠始終不忘自己是堂堂大漢的使節，苦愈重而志愈堅，堅持19年而不屈。
漢武帝去世，漢昭帝即位。始元二年（公元前85年），匈奴壺衍鞮單于新立，欲與漢朝親善。匈奴與漢和親。有一次，漢朝使者來到匈奴，要求單于釋放蘇武，單于謊稱蘇武已經死了。漢使不明真相，一時不知如何是好。
這時，當年和蘇武一起出使匈奴的常惠，悄悄把蘇武的情況密告了漢使。漢使不便當面揭穿單于的謊言，便拐著彎對單于說，漢帝狩獵時射得一雁，雁足上系有書信一封，敘述了蘇武還在北海牧羊。單于大吃一驚，以為這是天神相助，無奈應允送還蘇武等人。
消息傳來，蘇武狂喜而泣，淚下沾襟。李陵設宴為之送行，灑酣耳熱之際，李陵起舞而歌曰：「經萬里兮度沙幕，為君將兮奮匈奴，路穹絕兮矢刃摧，士眾滅兮名已聵，老母已死，雖欲報恩將安歸？」歌罷連嘯數聲，掩面而去。
始元六年（公元前81年），不辱使命，十九載如一日的蘇武和常惠等人，終於返回漢朝。當年一個百餘人的使團，死的死，降的降，只剩下9個陪他歸故鄉。蘇武回國時已是白髮蒼蒼，看著其鬚髮盡白的憔悴形象和那根從不離身，旃毛落盡的旌節，皇帝和滿朝文武都落下了激動的淚水。
從此，人們常用「蘇武牧羊」的典故來表示對志節高尚堅貞的讚頌。
