張道陵自幼聰慧過人，七歲時，讀老子的《道德經》，即能明白大義。年輕時，通曉天文、地理、諸子百家等學說，跟從他學習的學生有千餘人。漢明帝時，拜他為巴郡江州令（今重慶），他見世風日下，不久棄官，隱居於洛陽北邙山，修持煉形合氣，辟谷少寢長生之道。漢和帝曾經賜他做太傅，並封他為冀縣侯，三次征詔都被他婉言拒絕了。隨後，張道陵進入蜀地，隱居在鶴鳴山，修煉神丹符咒之術。
張道陵和弟子王長一起修煉龍虎大丹，修煉一年，紅光照室，修煉兩年，有青龍白虎來保護丹鼎，三年後，大丹煉成，他也修成了真人。不久他又遇到神人指點，修成了最高的道術。他能飛行天上，能聽見極遠的聲音，又能分身隱形，變化萬千、神奇莫測。
漢順帝年間，一天夜裡，太上老君降臨在他居所，對張道陵說："近來蜀中有六大魔王，殘暴百姓，你前往治伏，則功德無量，名錄丹臺！"太上老君授予他正一盟威符錄、斬邪雌雄劍、陽平治都功印、平頂冠、八封衣、方裙、朱履等，要他誅滅橫行四川的六大鬼神。張道陵精修千日，煉成了種種降魔的法術。不久八部魔王各領鬼兵共億萬數，為害人間，他們帶來各種瘟疫疾病，殘害無數眾生。
於是，張道陵在青城山上設立道壇，鳴鐘扣罄，呼風喚雨，指揮神兵與這些惡鬼大戰。張道陵站立在琉璃座上，惡鬼亂箭一接近他，就立刻變成了蓮花。鬼眾又放火來燒，真人用手一指，火焰又燒了回去。鬼帥一怒又帶來千軍萬馬，前來圍攻，只見真人用丹筆一畫，所有鬼眾紛紛叩頭求饒。但是他們口服心不服，回去後又請來六大魔王，再次率領鬼兵百萬圍攻青城山。張道陵氣定神閑，不為所動，只用丹筆輕輕一畫，滅盡所有爛鬼，只剩下六大魔王叩頭求饒。張道陵再用大筆一揮，將一座山分成兩半，把六個魔王壓在下面，讓它們永世不再為害人間。隨後，他與弟子王長、趙升往川中雲臺山，繼續修煉。
張道陵除魔祛病，救活萬人，蜀中百姓紛紛追隨他，拜他為師。張道陵就把他們組織起來，並且訂定律令，教給他們道理，勸他們積德行善，成立了最早的道教團體-天師道，而張道陵也成為道教的祖師。
東漢桓帝，永壽二年九月九日在雲合山，上帝派遣使者持玉冊，封張道陵為正一真人。他在飛升前，將斬邪二劍、都功印、符錄，傳授給兒子張衡，並告訴他："我遇到天上老君親自傳授大道，此文總領三萬都功，正一樞要，世世選一個子嗣來繼承天師位，不是我的宗親子孫不得傳位。"於是，他與弟子王長、趙升天在雲臺山白日飛升，活了一百二十三歲。
