在古老的天水之地，有一位名叫赵源的书生。他早年父母双亡，孤身一人，尚未娶妻。延祐年间，赵源怀着对知识的渴望，踏上了游学之路，来到了繁华的钱塘。他在西湖葛岭之上租了一处居所，而此处旁边便是昔日宋贾秋壑的旧宅。
赵源独自居住在此，常常感到寂寞无聊。每当夕阳西下，他便会在门外徘徊，欣赏着西湖的美景。这一日，他如往常一样在门外踱步，忽然瞧见一位女子从东边缓缓走来。那女子身着绿衣，梳着双鬟，看上去大约十五六岁的模样。她虽未施浓妆艳抹，却有着过人的姿色。赵源的目光被她牢牢吸引，一时间竟无法移开。只见那女子肌肤如雪，眉如远黛，眼眸犹如清澈的湖水，闪烁着灵动的光芒。她的身姿轻盈，如同春日里的柳枝，摇曳生姿。赵源心中暗暗惊叹，世间竟有如此美丽的女子。
次日，赵源出门，竟又见到了这位女子。此后，这样的情景屡屡出现，每到日暮时分，女子便会来到此处。赵源心中好奇，便戏谑地问道：“你家住在哪里呀？为何每到傍晚就来到这里呢？”女子微微一笑，向他施了一礼，说道：“我家与你为邻，你自己却不识得罢了。”赵源试着挑逗她，女子欣然应允。于是，赵源便邀请女子留宿，两人相处得十分亲昵。次日清晨，女子辞去，到了夜晚又会再来。如此这般，过了一个多月，他们之间的情爱愈发深厚。
赵源多次询问女子的姓氏和住址，女子却总是说：“你只要得到一位美妇就好了，何必非要知道那么多呢？”赵源不停地追问，女子无奈地说道：“我常常穿着绿衣，你就叫我绿衣人吧。”始终不肯告诉他自己的住址所在。赵源心想，她或许是大户人家的妾室，夜晚偷偷跑出来与自己私会，又怕事迹败露，所以不肯透露身份。他对此深信不疑，对女子的宠爱也愈发深厚。
一天晚上，赵源喝了些酒，戏指着女子的衣服说道：“此真可谓‘绿兮衣兮，绿衣黄裳者也。”女子听了，脸上露出羞愧之色，接连几晚都没有再来。等她再次出现时，赵源追问缘由，女子神色黯然地说：“你这样对待我，难道不觉得过分吗？我其实并非当今世上之人，也不会给你带来灾祸，这一切都是冥冥之中的定数，我们前世的缘分未尽罢了。”赵源大惊，忙问道：“这究竟是怎么回事呢？”
女子缓缓说道：“我本是宋秋壑平章的侍女。原本是临安的良家女子，小时候擅长下棋。十五岁那年，以棋童的身份入侍秋壑。每当秋壑朝回，在半闲堂宴坐之时，必定会召我去陪他下棋，对我十分宠爱。那时，你是他家的仆人，负责煎茶。每次你送茶进来，都能来到后堂。那时你年少英俊，容貌出众，我见了你，心中十分爱慕，曾偷偷地用绣罗钱箧送给你。你也用玳瑁脂盒回赠我。我们彼此虽都有意，奈何府中内外严密，始终无法找到机会在一起。后来，我们的事情被同辈察觉，他们在秋壑面前进谗言，于是我们一同被赐死在西湖断桥之下。如今你已转世为人，而我却还在鬼籍之中，这难道不是命运的捉弄吗？”说完，女子呜咽哭泣起来。赵源听了，心中也十分动容。过了许久，他说道：“如果真是这样，那我们乃是再世的因缘，应当更加亲爱，以弥补前世的遗憾。”
从此，女子便留宿在赵源的住处，不再离去。赵源原本不善下棋，女子便教他下棋，将自己的棋艺尽数传授给他。凡是平日里以棋艺著称的人，都不是赵源的对手。女子常常说起秋壑的旧事，那些她亲眼所见的事情，说得十分详细。她曾说，有一天秋壑倚楼闲望，众姬妾都在一旁侍候。恰逢两个身着乌巾素服的人，乘着小船从湖面上登上岸来。一个姬妾说道：“好美的两位少年！”秋壑说：“你愿意侍奉他们吗？我可以让人去下聘礼。”姬妾笑着没有说话。过了一会儿，秋壑让人捧来一个盒子，把众姬妾都叫到面前说：“刚才为某姬下了聘礼。”打开盒子一看，里面竟然是那个姬妾的头颅，众姬妾都吓得浑身战栗，纷纷退下。又有一次，秋壑贩卖了几百艘盐船的盐到都市中售卖。太学里有人作诗道：
昨夜江头涌碧波，满船都载相公鹾；
虽然要作调羹用，未必调羹用许多！
秋壑听到这首诗后，便将作诗的士人关进监狱，以诽谤罪论处。秋壑还曾在浙西推行公田法，百姓深受其苦，有人在路边题诗道：
襄阳累岁困孤城，豢养湖山不出征。
不识咽喉形势地，公田枉自害苍生。
秋壑看到这首诗后，派人将题诗的人抓捕起来，远远地流放了。秋壑还曾斋云水千人，人数已经够了，最后来了一个道士，衣衫褴褛，来到门前请求施舍斋饭。主持的人因为人数已经够了，不肯让他进去，道士坚持不肯离去，没办法只好在门侧施舍给他。斋饭完毕，道士将钵倒扣在桌上离去，众人用力去举，却怎么也举不起来。禀报给秋壑后，秋壑亲自去举，钵下面却有两句诗：“得好休时便好休，收花结子在漳州。”秋壑这才知道是真仙降临，却始终不明白“漳州”的意思。唉！谁能想到后来会有漳州木绵庵之祸呢。
又有一次，有个船夫将船停泊在苏堤边，当时正是盛夏，船夫躺在船尾，整夜无法入睡。他看见三个身高不足一尺的人聚集在沙滩边，一个人说：“张公来了，怎么办呢？”一个人说：“贾平章不是仁善之人，肯定不会饶恕我们！”一个人说：“我也就算了，你们等着看他的败落吧！”说完，三人一起哭着跳进了水中。第二天，渔夫张公捕获了一只鳖，直径有二尺多，献给了秋壑的府第。不到三年，祸事就发生了。看来万物也能先知，命运是无法逃脱的。赵源说：“我今日与你相遇，难道不是命运的安排吗？”女子说：“这确实是真的。”
赵源问道：“你的精气，能长久地存于世间吗？”女子说：“缘分尽了就会散去。”赵源又问：“那是什么时候呢？”女子说：“三年而已。”赵源一开始并不相信。
三年之期将至，女子卧病不起。赵源为她请医生，女子却不愿意，说：“以前我就已经和你说过了，我们的因缘之契，夫妇之情，到此为止了。”她用手握住赵源的手臂，与他诀别道：“我以幽阴之质，得以侍奉君子，承蒙你不嫌弃，与我相处了这么久。过去因为一念之私，我们都陷入了不测之祸，然而海枯石烂，此恨难消，地老天荒，此情不泯！如今有幸能续前生之好，践行往世之盟，三年时间，我的心愿已足，请让我就此离去，不要再挂念我了！”说完，女子面向墙壁躺下，无论赵源怎么呼唤，都不再回应。赵源悲痛欲绝，为她准备了棺木，入殓安葬。将要下葬的时候，赵源觉得棺材很轻，打开一看，里面只有女子的衣衾、钗珥。于是，他在北山之麓虚葬了女子。赵源感念女子的深情，从此不再娶妻，投身灵隐寺出家为僧，终其一生。
