最早的记录是在五代时期，有一个叫陈抟的人，他十分精通相术，经常给别人看相。宋太祖刚刚当了皇帝的时候，陈抟正骑马去汴京。陈抟在路上听说宋太祖当皇帝的消息，仰天长笑，笑得从马上掉下来，在地上翻滚，捶胸顿足。边笑边说：“天下终于安定了。”
宋太祖听说这件事情之后马上召见了他，觉得陈抟是个奇人，想要给他一个官当。陈抟笑着推辞了。宋太祖赐给他一个封号，叫希夷。之后陈抟游历天下，碰见了麻衣道士。于是拜麻衣道士为师，学习相术。
传说麻衣道士乃是仙翁，他让陈抟在严冬之时去华山的一座石室来找自己，好传授相术。麻衣道士传授的时候从不说话，只是用拨弄炭火的火筷子在炉灰里面写写画画，用这种方法来传授相术。后来又传授给他金锁赋、钥匙歌，陈抟全部都学会了。
后来麻衣道士的相法被整理了出来，就有了后世的《麻衣神相》。而麻衣相法，指的就是麻衣道士所留下的相法。由于麻衣道士在传说里是个仙人，麻衣看相的意思就是看相神准。
宋 时善相术者。 宋邵伯温 《闻见前录》卷七：“ 钱若水 为举子时，见 陈希夷 於 华山 …… 希夷 初谓 若水 有仙风道骨，意未决，命老僧者观之。僧云‘做不得’，故不复留。然急流中勇退，去神仙不远矣。老僧者， 麻衣道者 也， 希夷 素所尊礼云。”
事又见 宋文莹 《湘山野录》卷下。亦称“ 麻衣道士 ”、“ 麻衣道人 ”。
明何景明《胡生行》：“ 希夷 不识 钱若水 ， 麻衣道士 应当知。”
清赵翼 《赠相士彭铁嘴》诗：“自后 唐举 及吕公 ，下至 麻衣道人 、 柳庄翁 ，一十七家术愈工。”
麻衣是传说中远古时候的神。《麻衣神相》是中国古代对人体相貌进行系统叙论的相术著作。人的命运本来就不是生而定终身，但能从长相上侦破命运的某种密码，其"奇"也就在于此。 《麻衣神相》为北宋人李和(今河南南阳内乡人)弟子陈抟所撰。它的大量刊印时间约在元末明初，是古代对人体相貌进行系统叙论的奇特的相术著作。
《麻衣神相》十二宫是专门针对命宫、迁移宫、官禄宫等十二宫对命理的叙论。分为相说、十观、五法、切相歌、论形俗、论气色。十二宫：命宫、迁移宫、官禄宫、财帛宫、福德宫、夫妻宫、兄弟宫、子女宫、交友宫、田宅宫、父母宫、疾厄宫。