在元朝延祐初年，永嘉有一位名叫滕穆的年轻人，年仅二十六岁。他生得风神俊朗，气质不凡，有着一头乌黑浓密的头发，剑眉星目，眼神中透露出聪慧与坚毅。他的面容犹如雕琢过的美玉，轮廓分明，肤色白皙。身材挺拔修长，宽肩窄腰，走起路来风度翩翩。他擅长吟诗作词，才华横溢，为众人所推崇赞许。
滕穆一直听闻临安的山水美不胜收，心中充满了向往，渴望能亲身去领略一番。甲寅岁，科举的诏令兴起，他便带着家乡的推荐信赶赴临安参加考试。到达临安后，他在涌金门外租了一处居所。从那以后，他没有一天不去游览南北两山以及湖上的各个寺庙。灵隐寺、天竺寺、净慈寺、宝石山之类的地方，还有玉泉、虎跑、天龙、灵鹫山，石屋洞、冷泉亭，那些幽深的山涧、茂密的森林、陡峭的悬崖和绝壁，他的足迹几乎踏遍了每一个角落。
七月十五这一天，滕穆来到曲院赏莲。莲花在阳光下绽放，粉色的花瓣娇嫩欲滴，荷叶如绿色的圆盘铺满水面，微风拂过，送来阵阵清香。他沉醉在这美景之中，不知不觉夜幕降临，便决定在湖边留宿，将船停泊在了雷峰塔下。
这一夜，月色如白昼一般明亮，整个湖面都被银辉笼罩。空气中弥漫着荷花的香气，时不时能听到大鱼在水中跳跃的声音，以及岸边宿鸟的鸣叫声。滕穆喝得大醉，躺在床上却怎么也睡不着。他索性披上衣服起身，绕着湖堤漫步观望。走着走着，他来到了聚景园，不由自主地信步走了进去。此时，宋朝已经灭亡四十年了，园中曾经辉煌的台馆，如会芳殿、清辉阁、翠光亭等都已颓败毁坏。只有瑶津西轩依然孤零零地屹立着。
滕穆走到西轩下，倚着栏杆稍作休息。突然，他看见一位美丽的女子在前，身后跟着一个侍女，从外面走了进来。那女子云鬟高挽，如黑色的瀑布般垂在肩头，发间点缀着几朵素雅的小花。她的面容绝美，眉如远黛，眼若秋水，肌肤如雪，樱桃小嘴微微上扬，仿佛带着一抹神秘的微笑。她身姿绰约，穿着一袭淡蓝色的长裙，裙摆在微风中轻轻飘动，宛如仙子下凡。
滕穆在轩下屏住呼吸，静静地看着女子的一举一动。女子轻声叹息道：“湖山依旧，风景未变，只是时过境迁，让人心中涌起《黍离》之悲啊！”说着，她走到了园北的太湖石畔，缓缓吟道：
“湖上园林好，重来忆旧游。
征歌调《玉树》，阅舞按《梁州》。
径狭花迎辇，池深柳拂舟。
昔人皆已殁，谁与话风流！”
滕穆本就是个放逸不羁之人，初见女子的美貌，心中已泛起层层涟漪，难以平静。如今听到她的诗作，更是心痒难耐，诗兴大发，再也按捺不住。他立即在轩下续吟道：
“湖上园亭好，相逢绝代人。
嫦娥辞月殿，织女下天津。
未会心中意，浑疑梦里身。
愿吹邹子律，幽谷发阳春。”
吟罢，他快步走出去，向女子走去。女子也并不惊讶，只是缓缓说道：“我早就知道郎君在此，特意前来寻访。”滕穆连忙询问女子的姓名，女子微微低头，轻声说道：“我已离开人间许久，若要自陈叙说，实在担心会惊吓到郎君。”滕穆听闻此言，猜到她是鬼魂，但心中却毫无惧意。他坚持追问，女子这才说道：“我叫芳华，姓卫，曾是宋朝理宗朝的宫人。二十三岁时便去世了，葬在这个园子的旁边。今晚我去演福寺拜访贾贵妃，承蒙她挽留久坐，不知不觉归来得迟了，让郎君在此久等。”说完，她吩咐侍女道：“翘翘，你去舍中取来裀席、酒果，今夜月色如此美好，郎君又在此，不可虚度，我们就在这里赏月吧。”翘翘领命而去。
不一会儿，翘翘就带着紫色的氍毹、白玉碾花樽、碧琉璃盏回来了。那酒香气四溢，绝非世间凡品。滕穆与芳华相视而笑，谈笑间，言辞清丽婉约。芳华又让翘翘唱歌以助酒兴。翘翘请求唱柳耆卿的《望海潮》词，芳华说道：“对新人不宜唱旧曲。”随即在席上即兴创作了一首《木兰花慢》，让翘翘唱道：
“记前朝旧事，曾此地，会神仙。向月砌云阶，重携翠袖，来拾花钿。繁华总随流水，叹一场春梦杳难圆。废港芙渠滴露，断堤杨柳垂烟。两峰南北只依然，辇路草芊芊。恨别馆离宫，烟销凤盖，波浸龙船。平时银屏金屋，对漆灯无焰夜如年。落日牛羊垅上，西风燕雀林边。”
歌声结束，芳华潸然泪下。滕穆用温柔的话语安慰她，同时又用委婉的言辞挑逗她，想试探她的心意。芳华起身谢道：“我已去世之人，久为尘土，若能侍奉郎君，虽死不朽。况且郎君刚才的诗句，本就已经答应了我。愿郎君吹起邹子之律，让幽谷再次迎来春天。”滕穆说道：“刚才的诗，只是随口吟出，实在并无他意，没想到竟成了预言。”
过了许久，月亮隐没在西边的墙垣之后，银河倾落在东边的山岭之上。芳华命翘翘撤去席面。芳华说道：“我的居所偏僻简陋，并非郎君该去的地方，只有这西轩可以。”于是，她牵着滕穆的手走进西轩，在轩下假寐。两人的亲密之事，与人间夫妻无异。
天快亮的时候，芳华挥泪与滕穆告别。到了白天，滕穆前往园侧寻访，果然看到了宋宫人卫芳华的墓。墓的左边有一个小土丘，那便是翘翘的埋葬之处。滕穆感叹了许久。等到傍晚，他又来到西轩，只见芳华已经先到了。她迎上前对滕穆说：“白天感谢郎君来访，然而我只能预知夜晚之事，不能预知白天之事，所以不敢奉见。过几日之后，应当就可以不分昼夜地相见了。”从此，没有一个晚上他们不相见。
过了十几天，白天也能见到芳华了。滕穆便带着她回到自己的居所，安置下来。不久，滕穆科举落第，准备东归家乡。芳华愿意跟随他一起回去。滕穆问道：“翘翘为什么不跟着一起呢？”芳华回答说：“我既然侍奉君子，旧宅无人看守，留下她看守罢了。”滕穆与芳华一同回到了乡里，见到亲朋好友，骗他们说：“这是我在杭郡娶的良家女子。”众人见芳华举止温柔，言辞聪慧伶俐，都相信并且喜欢她。芳华在滕穆的家中，以礼侍奉长辈，以恩对待婢仆，左右邻里，都对她十分欢心。而且她又勤劳地治理家事，洁身自好，即使是中门之外，也不曾轻易出去。众人都祝贺滕穆得了一个好内助。
时光荏苒，三年过去了。在丁巳年的初秋，滕穆又整理行装准备去浙省参加乡试。出发的日子临近了，芳华对滕穆说：“临安是我的故乡。跟随郎君来到这里，已经过了三年。现在我想和郎君一起回去，去看望翘翘。”滕穆答应了她，于是租了一条船，一同前往钱塘，在那里租了房子居住。到达的第二天，正好是七月十五，芳华对滕穆说：“三年前的今天晚上，我与郎君在此相会，如今正好是这个日子，我想和郎君一起去聚景园，再续旧游，可以吗？”滕穆按照她说的，带着酒前往聚景园。
到了晚上，月亮爬上了东边的墙垣，莲花盛开在南边的池塘。露水打湿了柳树和竹子，烟雾笼罩着堤岸，一切都宛如往昔的景象。他们走到园前，只见翘翘在路首迎接拜道：“娘子陪着侍郎君，在城郭间遨游，已经三年了，尽享了人间的欢乐，难道就不挂念旧居吗？”三人一同入园，来到西轩坐下。芳华突然泪流满面地对滕穆说：“感谢郎君不嫌弃我，侍奉在你的身边。我们还没有尽情享受欢乐，却又要永别了。”滕穆问道：“为什么？”芳华回答说：“我本是幽阴之质，长久地生活在阳明之世，实在不合适。只是因为与郎君有夙世之缘，所以才冒犯条律跟随你。如今缘分已尽，我自当告辞。”
滕穆惊慌地问道：“那是什么时候？”芳华回答说：“就在今晚。”滕穆心中凄惶，不忍分别。芳华说：“我并非不想终身侍奉君子，永远享受欢乐。然而命运有限，不可违背。如果再拖延停留，必然会获罪。不仅对我有害，也将对郎君不利。难道你没听说过越娘的事情吗？”滕穆心中稍有领悟，但依然悲伤感怆，彻夜未眠。
等到山寺的钟声响起，水村的鸡开始鸣叫，芳华急忙起身与滕穆告别。她解下自己所佩戴的玉指环，系在滕穆的衣带上，说：“日后见到这个，不要忘记我们的旧情。”说完，她挥泪而去，然而还是频频回头张望，许久才消失不见。滕穆悲痛欲绝，回到住处。第二天，他准备了佳肴美酒，在芳华的墓下焚烧纸钱，写了一篇文章来吊祭她：
“唯有你的灵魂生而淑美，出类超群。禀受仙圣的奇姿，钟聚乾坤的秀气。灿烂如花朵般美丽，纯粹如美玉般温润。得意时如同天上的金屋，失意时则如路边的荒坟。依托松楸而共处，对着狐兔成群奔跑。落花流水，断雨残云，中原多事，故国无君。感慨光阴如白驹过隙，看着日月如车轮奔驰。然而你的精灵不泯，性识长存。不必依仗少翁的奇术，自然能返还倩女的芳魂。玉匣中骖鸾之扇，金泥上簇蝶之裙。声音清脆如环珮作响，香气浓郁如兰荪散发。
正想与你同欢偕老，奈何既合而复分！踏着洛妃凌波的袜子，奔赴王母瑶池的樽前。靠近却无所睹，叩问却不再听闻。惆怅后会无期，伤感前事无人论说。锁住杨柳春风的院子，关闭梨花夜雨的门扉。恩情断绝，天空一片茫茫；哀怨凝结，云朵昏暗阴沉。音容杳然无法相接，心绪纷乱。谨含哀痛而奉吊，希望能在这篇文章中有所感怀。呜呼哀哉，尚飨！”
从此，芳华再也没有出现。滕穆独自居住在旅邸中，如同失去了配偶一般。考试的日期迫近，他也无心进入考场，惆怅地回到了家乡。亲朋好友问他原因，他才详细地讲述了这件事情，众人都感叹惊异。滕穆此后终身未娶，进入雁荡山采药，再也没有回来。
