據明代魯點著的《齊雲山志》所載，齊雲山古稱白岳，原因是其峰巒常有雲霧瀰漫，一天白色，故稱。戲劇家湯顯祖就有詩云：「欲識金銀氣，多從黃白游。一生痴絕處，無夢到徽州。」其中的「白」指的就是白樂。史料記載，明嘉靖時，世宗因年過三十無皇子，便命龍虎山張天師在白岳為其求子，結果得到應驗。明世宗非常高興，因見其「一石插天，直入雲端，與碧雲齊」而更名為「齊雲山」。雖然其絕對海拔並不高，但因其相對高度大，所以山勢依然顯得巍峨壯觀。
不過，民間關於「齊雲山」名字的來歷卻有另一種說法。
傳說真武太子在武當山修煉後，不太輕易離山雲遊。他的朋友「地藏王菩薩」此時已在安徽九華山開始弘揚佛法。為了與真武研習修煉之事，菩薩入定遙感，向湖北武當山發出邀請。受朋友之邀，真武駕起祥雲前往安徽。二仙見面後，同往白岳遊覽。真武走上白岳嶺巔，不禁為奇峰、秀岩、秀嶺及眾多各具特色的泉、池、潭、瀑的景致所吸引。地藏王笑著說道：「此山雖不及武當仙山雄偉壯觀，但山中峰巒景致，鬼斧神工，自然而成，競與武當暗合，人稱‘江南小武當’。不妨將此作為行官別墅，你我也好常相盤桓，研討佛道玄旨。若能見允，不妨為此山另賜一名以為紀念。」真武稽首應允道：「承菩薩善意，敢不應命。」他略一思索便道：「我見此山主峰，一石插天，直入雲端，與碧雲齊，就謂之‘齊雲’吧。」此後，真武大帝雖主要居住在湖北武當山，但也時常來到齊雲行宮，與地藏王菩薩研習佛道。
大概在明代，齊雲山又被稱為「福壽山」，這是因為道教稱名山中仙人所居勝地為福地，故名。
齊雲山也是一座仙山，自古就有人在此修煉成仙。唐朝末年，有道士龔棲霞雲遊來到了齊雲山，隱居在天門岩，辟古修真，後羽化飛仙。唐朝大詩人，號稱「謫仙」的李白「十五習擊劍燒丹，二十講丹丘白岳」，丹丘子是一位道士，也是李白的好友。李白談丹丘子和白岳，自然與修煉有關。或許丹丘子也曾在白岳修行過。此後，齊雲山的山岩下、幽洞中多有道人清修，可惜在史書中留有記載的並不多。大概在南宋時，白鶴仙子引百鳥銜泥，塑成了玄帝即真武大帝神像。真武大帝在本像成後又託夢給道士天穀子余道元，命他裝飾金身，興建真武祠。《齊雲山志》記載說，自真武祠創立後，四鄉百姓遇旱澇、蝗災，或求子祛病的，凡來齊雲的無不有求必應，自此齊雲山成為一方道教聖地。到了明朝，齊雲山道教活動日趨興盛。山中道士常往武當山訪師求學，因此齊雲山的宮觀建築、道規道制，多仿效武當。
明代，武當山道教已深入齊雲山。一方面，相傳張三豐受真武大帝點化，曾於嘉靖年間到齊雲山傳教，住在半山上的一小屋中，後於此仙逝，他的徒弟將其肉身藏入一岩洞，尊稱「肉身洞」，洞前筑有靈殿，至今仍存，殿後洞口刻有「真身內藏」幾個大字。其後世弟子中無心道人比較有名。據他說，張三豐已煉成了超凡入聖，數次死而復活只是神遊的表現，這樣就可以解釋他在齊雲羽化後又有很多人在峨眉山看見他的說法了。另一方面，龍虎山張天師在齊雲山為嘉靖皇帝求子十分靈驗，故皇帝命其居住在齊雲山傳道。到萬曆年間，齊雲山盛極一時，有「玄帝香火，在均州曰武當，在徽州曰齊雲」。清末，因為戰禍以及人離修行越來越遠，齊雲山的道教走向沒落。
諸多的修煉之人在此修行，也為齊雲山留下了豐富的宮觀建築和仙跡，雖然一些道觀經過歲月的磨礪已經破敗，但迄今仍保存有27座道觀和100多處宮、殿、院、壇、閣，如洞天福地，真仙洞府、月華街、玄天太素宮，香爐峰、小壺天、玉虛宮等等。
從齊雲山山腳下攀登，經過登封古橋後，最先到達的是望仙臺。從其名字就可以大概猜出這是一個盼望仙人點化的地方。傳說1600多年前，在洞天福地修道的靈乙道人在此處受鐵拐李點化，飛升成仙。其徒弟布根因六根未淨，眼見著師父與鐵拐李飛升而去，空中只留有李仙的餘音：「布根布根，六根未淨，見利忘義，求仙難成，你再修九九八十一年吧！」布根雖然後悔但已經太遲了。不過他記著李仙的話，常常在此站立久望，年深日久竟成立石，原先的名字「冷水亭」也就改作「望仙亭」了。後來人們又改稱「望仙臺」，並造瞭望仙亭，亭中有明時立的碑，上刻「齊雲鎮南天，眾星拱北極」。
望仙臺的西北方就是洞天福地祠，又稱桃源洞天，祠由明代張三豐創建，今已不存，內有明代所建的八卦池、邋遢仙墓、仙人床及宮、閣、殿祠遺址。不遠處即是棲真岩、忠烈岩和壽字岩。據說棲真岩是齊雲山最早的道士唐朝棲霞真人修行之地，忠烈岩是祭祀關公的地方。而壽字岩的「壽」字是清代慈禧所寫。壽字崖之後便見一個寬敞的石洞，稱之為「一天門」。洞內摩崖石刻和碑銘琳琅滿目，稱為"白岳碑林"。
洞天福地往北就是真仙洞府，指的是在數百丈高的懸崖底部的五個洞穴，都曾經是仙人居住之所。這些洞依次為：八仙洞，供奉的是道教的八仙；圓通洞，供奉的卻是佛教中的南海觀音；羅漢洞，供奉真武帝君，兩旁卻又供奉著十八羅漢；雨君洞供奉龍王；文昌洞供奉文曲星。從齊雲山真仙洞府中可以感受到濃厚的儒、道、佛並存的氣息。真仙洞府崖壁上有很多摩崖石刻，其中最為醒目的是崖壁上的「天開神秀」四個大字，為真仙洞府的顯著標誌。
從真仙洞府再往北行，過二天門和三天門，便來到了月華街。月華街原為道家習武煉丹的地方，現為道人、山民居住。街上的宮觀以玄天太素宮最為雄偉。它坐南朝北，背倚著玉屏、東鐘、西鼓三峰，前面為孤峰卓立、清秀挺拔的香爐峰，儼然天設地成的鐘、鼓、香爐，渾然天成。宮中所奉真武神像相傳是由百鳥銜泥塑成。位於月華街長生樓下的小壺天，是一個葫蘆形岩洞。「壺天」在道教中是仙境的意思。據說，歷史上很多道士在此飛升成仙。
小壺天西北方是位於紫霄崖下、利用天然岩洞建成的洞府玉虛宮，由「太乙真慶宮」、「五虛閥」、「治世仁威官」三個石坊組成，石坊上刻有神鳥異獸圖案的浮雕。內有壁畫，記述了真武大帝成仙、降魔的故事。此外，還有代才子唐寅撰寫，戴煉書寫的《紫霄宮玄帝碑銘》，碑高7．34米，寬1．40米，為江南罕見。
齊雲山東部的仙跡主要有樓上樓、飛天娛蚣、觀音洞、仙人花轎、棋盤石、一線天地等。
歷代文人墨客，如李白、朱熹、海瑞、唐寅、戚繼光、徐霞客、袁枚等都登臨過齊雲山，並留下了諸多讚美的詩句。元代著名學者、詩人鄭玉的《白岳》一詩堪為代表：
重重煙樹霓雲裡，簇簇峰巒縹緲間。
闌夜松聲驚鶴夢，半龕燈影伴人閑；
忽聞環珮珊珊度，知是神仙月下還。
