延祐初，永嘉滕生名穆，年二十六。美风调，善吟咏，为众所推许。素闻临安山水之胜，思一游焉。甲寅岁，科举之诏兴，遂以乡书赴荐。至，则侨居涌金门外，无日不往来于南北两山及湖上诸刹，灵隐、天竺、净慈、宝石之类；以至玉泉、虎跑、天龙、灵鹫，石屋之洞，冷泉之亭。幽涧深林，悬崖绝壁，足迹殆将遍焉。七月之望，于曲院赏莲，因而宿湖，泊舟雷峰塔下。是夜，月色如昼，荷香满身。时闻大鱼跳踯于波间，宿鸟飞鸣于岸际。生已大醉。寝不能寐，披衣而起。绕堤观望，行至聚景园，信步而入。时宋亡已四十年，园中台馆，如会芳殿、清辉阁、翠光亭皆已颓毁，惟瑶津西轩岿然独存。
生至轩下，凭栏少憩。俄见一美人先行，一侍女随之，自外而入。风鬟雾鬓，绰约多姿，望之殆若神仙。生于轩下，屏息以观其所为。美人言曰：“湖山如故，风景不殊，但时移世换，令人有《黍离》之悲耳！”行至园北太湖石畔，遂咏诗曰：
湖上园亭好，重来忆旧游。征歌调《玉树》，阅舞按《梁州》。径狭花迎辇，池深柳拂舟。昔人皆已殁，谁与话风流！
生放逸者，初见其貌，已不能定情，及闻此作，技痒不可复禁。即于轩下续吟曰：
湖上园亭好，相逢绝代人。嫦娥辞月殿，织女下天津。未领心中意，浑疑梦里身。愿吹邹子律，幽谷发阳春。
吟已，趋出赴之。美人亦不惊讶，但徐言曰：“固知郎君在此，特来寻访耳。”生问其姓名。美人曰：“妾弃人间已久，欲自陈叙，诚恐惊动郎君。”生闻此言，审其为鬼，亦无所惧，固问之。乃曰：“芳华姓卫，故宋理宗朝宫人也，年二十三而殁，殡于此园之侧。今晚因往演福访贾贵妃，蒙延坐久，不觉归迟，致令郎君于此久待。”即命侍女曰：“翘翘，可于舍中取裀席酒果来。今夜月色如此，郎君又至，不可虚度，可便于此赏月也。”翘翘应命而去。须臾，携紫氍毹，设白玉碾花樽，碧琉璃盏，醪醴馨香，非世所有。与生谈谑笑咏，词旨清婉。复命翘翘歌以侑酒。翘翘请歌柳耆卿《望海潮》词。美人曰：“对新人不宜歌旧曲。”即于座上自制《木兰花慢》一阕，命翘翘歌之曰：
记前朝旧事，曾此地，会神仙。向月地云阶，重携翠袖，来拾花钿。繁华总随流水，叹一场春梦杳难圆。废港芙蕖滴露，断堤杨柳垂烟。两峰南北只依然，辇路草芊芊。怅别馆离宫，烟销凤盖，波浸龙船。平时玉屏金屋，对漆灯无焰夜如年。落日牛羊垅上，西风燕雀林边。
歌竟，美人潸然垂泪。生以言慰解，仍微词挑之，以观其意。即起谢曰：“殂谢之人，久为尘土，若得奉侍巾栉，虽死不朽。且郎君适间诗句，固已许之矣。愿吹邹子之律，而一发幽谷之春也。”生曰：“向者之诗，率口而出，实本无意，岂料便成语谶。”良久，月隐西垣，河倾东岭，即命翘翘撤席。美人曰：“敝居僻陋，非郎君之所处，只此西轩可也。”遂携手而入，假寝轩下，交会之事，一如人间。将旦，挥涕而别。
至昼，往访于园侧，果有宋宫人卫芳华之墓，墓左一小丘，即翘翘所瘗也。生感叹逾时。迨暮，又赴西轩，则美人已先至矣。迎谓生曰：“日间感君相访，然而妾止卜其夜，未卜其昼，故不敢奉见。数日之后，当得无间耳。”自是无夕而不会。经旬之后，白昼亦见，生遂携归所寓安焉。已而生下第东归，美人愿随之去。生问：“翘翘何以不从？”曰：“妾既奉侍君子，旧宅无人，留其看守耳。”生与之同回乡里，见亲识，绐之曰：“娶于杭郡之良家。”众见其举止温柔，言词慧利，信且悦之。美人处生之室，奉长上以礼，待婢仆以恩，左右邻里，俱得其欢心。且又勤于治家，洁于守己，虽中门之外，未尝轻出。众咸贺生得内助。
荏苒三岁，当丁巳年之初秋，生又治装赴浙省乡试，行有日矣。美人请于生曰：“临安，妾乡也。从君至此，已阅三秋。今愿得偕行，以顾视翘翘。”生许诺，遂赁舟同载，直抵钱塘，僦屋以居。至之明日，适值七月之望，美人谓生曰：“三年前曾于此夕与君相会，今适当其期，欲与君同赴聚景，再续旧游可乎？”生如其言，载酒而往。至晚，月上东垣，莲开南浦，露柳烟篁，动摇堤岸，宛然昔时之景。行至园前，则翘翘迎拜于路首曰：“娘子陪侍郎君，遨游城郭，首尾三年，已极人间之欢，独不记念旧居乎？”三人入园，至西轩而坐。美人忽垂泪而告生曰：“感君不弃，侍奉房帷，未遂深欢，又当永别。”生曰：“何故？”对曰：“妾本幽阴之质，久践阳明之世，甚非所宜。特以与君有夙世之缘，故冒犯条律以相从耳。今而缘尽，自当奉辞。”生惊问曰：“然则何时？”对曰：“止在今夕耳。”生凄惶不忍。美人曰：“妾非不欲终事君子，永奉欢娱。然而程命有限，不可违越。若更迟留，须当获戾，非止有损于妾，亦将不利于君。岂不见越娘之事乎？”生意稍悟，然亦悲伤感怆，彻宵不寐。及山寺钟鸣，水村鸡唱，急起与生为别，解所御玉指环系于生之衣带，曰：“异日见此，无忘旧情。”遂分袂而去，然犹频频回顾，良久始灭。生大恸而返。
翌日，具肴醴，焚镪楮于墓下，作文以吊之曰：
惟灵生而淑美，出类超群。禀奇姿于仙圣，钟秀气于乾坤。粲然如花之丽，粹然如玉之温。达则天上之金屋，穷则路左之荒坟。托松揪而共处，对狐兔之群奔。落花流水，断雨残云。中原多事，故国无君。抚光阴之过隙，视日月之奔轮。然而精灵不泯，性识长存。不必仗少翁之奇术，自能返倩女之芳魂。玉匣骖鸾之扇，金泥簇蝶之裙。声泠泠兮环珮，香霭霭兮兰荪。方欲同欢以偕老，奈何既合而复分！步洛妃凌波之袜，赴王母瑶池之樽。即之而无所睹，扣之而不复闻。怅后会之莫续，伤前事之谁论！锁杨柳春风之院，闭梨花夜雨之门。恩情断兮天漠漠，哀怨结兮云昏昏。音容杳而靡接，心绪乱而纷纭。谨含哀而奉吊，庶有感于斯文！呜呼哀哉，尚飨！
从此遂绝矣。生独居旅邸，如丧配耦。试期既迫，亦无心入院，惆怅而归。亲党问其故，始具述之。众咸叹异。生后终身不娶，入雁荡山采药，遂不复还。