武帝元光二年（公元前133年）冬十月，方士李少君以“祠灶却老”的方术受到汉武帝的召见。“祠灶”就是祭祀灶神，李少君宣称通过祠灶，可以达到延年不老的目的。
先前，战国时期的齐燕地区出现了一个好讲神仙方术的神仙家学派。到秦汉期间，神仙家被称作方士，他们宣称在渤海中有蓬莱、方丈、瀛洲三座神山，仙人与不死之药都在此处，而方士自己有一种可以与鬼神往来的方术，因而可与仙人相遇，获取不死之药。一些帝王对寻求神仙术乐此不疲，秦始皇就曾为求神仙和不死仙药花费了大量的钱财和人力。
汉武帝即位后，对鬼神祭祀尤为看重，几乎达到狂热的程度，他对方士们的方术始终兴趣不衰。李少君曾是深泽侯赵将夕的舍人，没有家室，常瞒着自己的实际年龄和出生地到处游荡。人们听说他能把朱砂变成黄金，懂得长生不死仙术，纷纷解囊相求。他不治生业，生活却富饶有余，一些人对他羡慕不已。
李少君巧于奇言怪语，有时一些匪夷所思的事也能被他说中。一次，他参加武安侯田蚡举行的宴会，席上有位九十多岁的老者。李少君声称他曾与老者的祖父一同到某地游猎，这老者为少儿时，曾跟随祖父出游，还记得这个地方，因而点头称是，席上满座听后惊得目瞪口呆。
李少君见汉武帝时，武帝有一古铜器，便向他询问铜器的来历。李少君看后说此物为齐桓公十年时陈列在柏寝之台的器物。随后人们仔细查看古铜器所铸刻的文字，果然是齐桓公时器物。宫中人大为惊奇，认为李少君是神人，至少有几百岁了，不然他怎么那么清楚齐桓公时的东西？
李少君对汉武帝说:“祭祀灶神，可以使事物发生神变，朱砂可变成黄金，使用这种黄金做成的饮食器具，可以使人长寿，能见到蓬莱的神仙，然后再到泰山举行封禅大礼，就可以不死，黄帝就是这样成了仙人。臣曾游历海上，见过安期生，他吃的巨枣有瓜那么大，安期生是仙人，有一千多岁，他常往来于蓬莱仙岛，时隐时现。”
汉武帝对李少君的鬼话深信不疑，亲自祭祀灶神，派方士去海上寻找蓬莱仙岛和安期生等仙人，并让人炼丹砂药物，希望能变化出黄金来。
不久以后，黄金没炼出来，李少君却先得病死去，他的把戏不但没有被揭穿，反使得武帝真以为他是化为仙人而去了，没有真死。从此后，齐燕之地大批方士纷纷上书谈论荒诞离奇的神仙之事。
元狩四年（公元前119年），齐人少翁自称会鬼神之术，受到武帝的召见。时值武帝的宠妃李夫人死，武帝对她非常思念，少翁便表演了一次他的鬼神之术。他在半夜于帏帐中点上烛灯，开始招鬼。
汉武帝在别的帏帐中远远遥望鬼影，真如李夫人形状，但不能就近观看。汉武帝看后非常惊奇，遂拜少翁为文成将军，赏赐很多，并以客礼相待。少翁劝武帝修建甘泉宫，中有台室，画天、地、太一诸神像，像下陈放各种祭器，说这样便可以与天神相通了。
过了一年多时间，天神也没迎来，少翁技穷无奈，暗中写好帛书，给牛吃下，然后声言：“此牛腹中有奇物。”杀牛得到帛书，奏说此为天神所赐。帛书的内容非常怪诞，但武帝还是认出帛书是出自少翁的手笔，追问其事，少翁不得已承认是自己作伪。武帝愤怒之下将少翁杀掉，但将此事秘而不宣。
元狩五年（公元前118年），武帝在鼎湖宫病重，医术、巫术什么都用上了，但病情仍不见好转。有人上疏推荐上郡巫，说此人原本得过一场大病，后鬼神附体，因而以巫为业。
汉武帝召其在甘泉宫祭祀，及病情加重时，派人向神君询问。神君附体在上郡巫身上说：“天子没有什么可担忧的大病，病情渐轻时，可与我在甘泉相会。”
汉武帝听说能与神君相通，非常高兴，疾病不知不觉也好了大半，于是他又移居到甘泉宫。及身体完全康复，汉武帝在寿宫为神君大摆酒宴以示崇敬。但神君终不可得对面相见，只能闻听神君的声音，闻其所言，与普通人的声音没什么两样，时去时来，来时常有风声伴随。上郡巫在室内帷帐中，有时是白天神君附体说话，但更多的是在晚上附体。
汉武帝如想进到屋中，必须沐浴去垢后方能进人。汉武帝又在寿宫、北宫树立羽旗，摆设贡具，显示对神君的尊礼，凡神君所言，都命人抄录下来，其中内容，世人常听巫觋们述说过，没有什么特殊的，唯独武帝内心欢喜。上郡巫所行的事都很诡秘，外人不得而知。
元鼎四年（公元前113年）二月，乐成侯丁义向武帝推荐方士栾大，说栾大与文成将军少翁同师。武帝正对诛杀少翁之事后悔不已，现在又得栾大，自然是非常高兴。
栾大先前曾侍奉过胶东王刘寄，甜言蜜语，鬼花样也多，又敢说大话，而且说起来表情自然，让人不能不信。
栾大说，他曾往来于海上，见过安期生、羡门等仙人。他说胶东王不过是个诸侯，不值得传予方术。他的老师说过：黄金可以炼成，黄河决口可以被堵住，不死的仙药也可寻得，仙人也能见到。但他自己不愿落得像少翁一样的结局，不想谈论方术了。
汉武帝求神心切，谎称少翁是自己吃马肝被毒死的，并告诉栾大，如能修好其师的方术，我还有什么值得爱惜不肯赏赐予你的！
栾大听后，又自高身价说：“吾师非有求于别人，都是别人有求于吾师，陛下必欲和他相见，就应让他的使徒尊贵，并和陛下结成亲属，待以客礼，然后才能和仙人通上话。”
为了让武帝相信他的方术，栾大又当场表演了“斗棋”的小魔术，使棋子能自相触及。当时武帝正为黄河决口和没有炼成黄金之事忧虑，非常乐于相信栾大的话，于是拜栾大为五利将军，不到两月时间又连拜栾大为天士将军、地士将军、大通将军，并封爵乐通侯，食封二千户；还赐给深宅大院和一千多奴仆，皇家所不用的车马、帷帐、器物也送给栾大，武帝以此让栾大的地位尊贵。
汉武帝又将自己的女儿卫长公主嫁给栾大，让他成为自己的亲属，陪嫁有十万斤黄金，并亲自驾临五利将军家。平日派往其家送东西慰问的使臣更是络绎不绝。其他人也纷纷前往五利将军家。武帝又派使者身着五彩羽毛衣裳，手持“天道将军”玉印，夜里站立在白茅上；五利将军栾大也穿上五彩羽衣，站在白茅上，接受玉印，以示行客礼。
刻玉印为“天道”，是取为天子引导天神之意，希望借此能把天神引到武帝面前。栾大常在夜晚于家中迎神，神仙虽没迎到，但各种鬼把戏却玩得很纯熟。栾大见武帝后短短的时间，连佩六印，富贵震动天下，齐燕沿海地区的无赖之徒莫不摩拳擦掌，跃跃欲试，很多人都声称握有密方，能招来神仙。
元鼎五年（公元前112年），五利将军栾大还是没能迎下神仙，于是声称要入东海寻访其师，但事到临头又不敢下海，转道去泰山求神仙。汉武帝此时已对他的鬼话不完全相信了，派人跟随加以验证。栾大的方术大都虚假不实，又妄言见到了他的师傅，派去的人如实上报。汉武帝终于发现自己又上当受骗，将栾大以腰斩之刑处死。但武帝对神仙的兴趣并未因此而减少。
元封二年（公元前109年）春正月，公孙卿上奏说在东莱看见神人了，而且看样子神人是想要见天子。武帝立即前往缑氏城，拜公孙卿为中大夫；又赶到东莱住下，但好几天什么也没看见，后来才发现了一个巨大的足迹，武帝相信这是神仙留下的，又派方士们入海求神仙，寻找灵芝仙药。派出去的方士有一千多人。
太初元年（公元前104年）十一月，武帝东巡至海边，查验那些派出入海寻神山的人及求神仙的方士，没有一个是有结果的，但武帝仍不甘心，还是增派人员入海寻仙。
次年春天，汉武帝无可奈何地回到京城，开始修建建章宫。建章宫东有风阙，高二十多丈；西有唐中，为方圆数十里的虎兽圈；北修有人工湖，叫太液池，湖中有高二十多丈的渐台和取名为蓬莱、方丈、瀛洲、壶梁的人工岛，象征海中神山和龟鱼之类；南有玉堂、璧门等；另外还建有神明台、井干楼，各高达五十丈。各处都修有辇道相连。
太初三年（公元前102年）正月，武帝又东巡海边，再次查验求神仙之事，还是没有一个人能寻到神仙。武帝对方士们的说法愈来愈厌倦了，但心犹不死，仍然期望有一天能遇上真神。
征和四年（公元前89年）正月，武帝巡行至东莱，临大海，再次打算亲自乘船入海寻求神山，群臣苦劝不住。恰此时天气骤变，海上刮起大风，浪高波急，一连十多天楼船都不能出海，武帝这才抛弃了亲自入海的念头，率群臣回朝。
寻求神仙的强烈渴望和接连不断的希望破灭，促使武帝反思自己的所作所为。他对大臣们说：“我即位以来，办了很多狂悖之事，使天下百姓忧愁穷苦，后悔不及，今后凡是损害百姓浪费财富的事情一律撤除。”
大鸿胪田千秋说：“方士们谈论神仙之事的很多，但都没有明显的成绩，应该将他们全部罢免放逐。”
汉武帝认为他提的意见很好，就把那些方士与候神仙者全部罢免遣散了。以后武帝常常感叹：“自己以前太愚昧，受了方士们的欺骗。天下哪有什么神仙，都是一些虚妄的妖言。注意饮食服药，大约可以减少疾病求得长寿而已。”这是武帝对自己一生乞求神仙的深刻总结。两年以后，汉武帝病逝。
汉武帝对神仙的向往，对方士的迷信，对鬼神的祭祀，耗去了大量的人力和财力，比秦始皇有过之而无不及。但他晚年能有所醒悟，知迷而返，又胜过秦始皇一筹。
