唐玄宗在開元末年夢見有人對他說：「請你拿著手巾五百條，袈裟五百領，到回向寺裡去佈施。」
他醒來後，就問身邊人回向寺在什麼地方，大家都說沒有什麼回向寺。於是，唐玄宗派人找道行高深的僧人，讓其去尋訪回向寺。
有個居無定所的狂僧，出面應召道：「我知道回向寺在哪裡。」唐玄宗問他需要幾個幫手，他說：「只要拿到該帶的東西及名香一斤，馬上就可以去。」唐玄宗把這些東西送給他後，這位狂僧就進了終南山。
狂僧走了兩天，來到了深山極為險峻的地方，卻什麼也沒見到。忽見他的前面出現了一個石頭碾子，他吃驚地說：「此處人跡不到，怎麼能有這種東西呢！」他便在碾子上點燃了帶來的名香，從中午到晚上，不住地禮拜禱告苦苦哀求。過了很長時間，山谷裡升起了濃霧，咫尺之間都辨不清物體。後來霧漸漸散開，在半山腰處見有紅柱子白牆，玲瓏精緻宛如圖畫。過了片刻又變的清晰起來，一座寺廟矗立在雲間，門上有巨大的匾額，匾額上寫的正是「回向」二字。狂僧非常高興，急忙往上攀登，不一會兒就來到了寺門。
此時正是黃昏時分，寺內傳來了鐘磬敲擊聲與僧眾念佛的聲音。守門人盤問他是從什麼地方來的後，便領他進入廟中。先遇到有一個老僧對他說了一聲「唐皇帝萬福」，又讓他跟在別人後面，到各個房間散發手巾等物。最後，每樣東西都只剩下一份，而有間房子只有空床，也沒有人。
狂僧把來意說了一遍，老僧笑著讓他坐下，對侍者說：「到那間房子裡把笛子拿來。」侍者將笛子拿來，狂僧一看，原是一支玉笛。老僧問道：「你見過那個胡僧沒有？」狂僧回答道：「見過。」老僧說：「這支玉笛是暫且代替你的君主的。國內要有災亂，有無數人要死掉。這支玉笛名字叫做磨滅王。那間空房子是你君主的房間，你君主在寺裡時，因為愛吹笛子，所以被貶到人間。這就是他常吹的那支笛子。如今期限已經滿了，馬上歸還他吧。」
第二天，老僧留狂僧吃過飯後，對他說：「你該回去了，可以把這支玉笛交給你的君主。還有他的這份手巾與袈裟，也讓他自己收存著。」狂僧於是施禮告辭，童子把他送了出來。才走了幾步，又見雲霧從四面聚攏起來，等到雲霧散開時，卻再也看不見回向寺在什麼地方了。
狂僧回來後，帶著手巾與笛子等進宮獻給了玄宗，並講述了事情的全部過程。玄宗聽了大為感慨，拿起笛子吹了起來，好像他先前吹過這支笛子一樣。
過了二十多年，便出現了安祿山之亂，狂僧所說的那個「胡僧」，就是安祿山。
