天水的赵源，父母早亡，也没有娶妻。元仁宗延祐年间，赵源孤身到钱塘一带求学，寓居在西湖边的葛岭之上，旁边就是前朝宰相贾似道的旧宅。
赵源独居无聊，所以每到晚上便倚着门框观赏夜景，或到门口散步。
这一天，赵源看到从东边匆匆走过一个女子，穿着绿衣服，梳着双髻，十五六岁的样子，虽没有浓妆艳抹，却如清水芙蓉，别有一番风情。赵源越看越喜欢，盯着她看了很久。
次日，赵源从中午就坐在门口等待，扯着脖子眼巴巴地朝东张望，到傍晚时，终于又见到了那个女子的身影。这样一连有好几次，每天一到晚上，这女子就姗姗而来。
终于有一天赵源鼓起勇气问女子道：“你家住在哪里，为何天天晚上到这里来？”
女子含笑作拜答道：“我家与郎君您是邻居，只是郎君自己不认识罢了。”
赵源试着挑逗她，没想到女子竟慨然应允。当天晚上就留下来与赵源一起过夜。两人鱼水相得，亲昵无间。
第二天早晨，女子告辞而去，但到了晚上就又来了。就这样来来去去，过了一个多月，两人彼此感情更为深厚。
有一天，赵源问起她的姓名、住址，那女子说道：“郎君只要得到一个美妇就够了，何必一定要知道我的姓名、住址呢？”
赵源一直追问，女子只好说：“我常穿绿衣服，你就叫我‘绿衣人’吧！”却始终不肯透露姓名及住址所在。
赵源以为她是大户人家的侍妾，夜晚出来与人幽会，或许恐怕事情败露，所以不肯说出姓名、住址。赵源相信了这个推断，也不再怀疑，对她更是疼爱。
一天晚上，赵源喝醉了酒，开玩笑地指着她的绿衣说：“这真如《诗经）所言，‘绿兮衣兮，绿衣黄裳’啊”
女子听后，面露愧色，接着好几个晚上都没有再来。
等她再来，赵源问她缘故。女子说：“我本想与您白头偕老，不料你却把我当婢妾看待，让人感到羞愧不安，所以我好几天不敢侍奉在你身边。但是郎君既然已经知道我的底细，我就不再隐瞒，请让我详细地告诉你吧。其实，我与郎君是老相识咯，如今如果不是被深情感动，我不可能来到这里。”
赵源问她缘故，女子凄凉地说道：“说出来你能不为难我吗？我其实不是世间的人，也不是要施祸于你的，是命中注定应当如此，只因我与你过去的姻缘未尽。”
赵源大惊道：“请你详细地告诉我。”
女子说：我本是宋朝丞相贾似道的侍女，家居临安，出身良家。因自幼善下围棋，十五岁时便以棋童的身分进贾府侍候贾似道下棋。每当贾似道退朝归来，安闲自在地坐在半闲堂，必定叫我去陪他下棋，我很受他的宠爱。那时，你是贾家的仆人，专管煎茶。我因为主人献茶，有机会到了后堂。郎君当时年轻，长得又俊美，我见到你后十分爱慕，曾把丝绣钱包乘人不备时扔给你，你也用玳瑁做的胭脂盒回赠我。我们彼此虽然都有情有意，但内外防范甚严，不能满足心愿。后来，我们的行为被其他仆人察觉，他们便向贾似道进谗言，于是，我和你都被赐死于西湖断桥之下。如今，你已再世为人，而我仍在阴间作鬼，这难道不是命吗？”
说完，女子呜咽着流下了眼泪。赵源也为此伤感动容。
过了很久，赵源说道：“这样说来，我们乃是再世姻缘，应当好好珍惜才是。”从此，女子就留在赵源的住处住下，不再离去了。
赵源平素不善下棋，，女子就教他下棋，把奥妙都传给了他，没多久，那些平日以能下棋著称的人，都不是他的对手了。
女子闲来无事，便常与赵源聊些往事。每次说到贾似道的旧事，凡是她所亲眼看到的，总是讲得很详细。
她曾说：一天，贾丞相倚楼闲望，婢妾们都在旁边侍候。这时，恰好有两位头裹乌巾，身穿白衫的年轻人，乘小船由湖登岸。一婢妾看见那两位少年，情不自禁地夸赞道：“这两个年轻人可真漂亮啊！”贾丞相回过头来，看了看她问道：“你想嫁给他们吗？要是愿意，让他们交彩礼把你娶去。”婢妾笑了笑，没说话。过了不久，贾丞相让人捧来一个盒子，又把婢妾们叫到跟前，说：“这是刚才为某侍妾下的聘礼。”打开盒子来看，原来是那个侍妾的头，姬妾们都胆战心惊地退下了。
贾似道又曾斋供一千名道士，数量已经够了，又有一个道士，衣衫破烂不堪，到门前求斋食。主管施斋的人因其所施数目已够，不肯让他进门，但这道士执意不肯离去，不得已，施斋的人就在大门口给了他点东西吃。道士吃完斋食，把钵盖在桌上就走了。大家都用力想把那个钵拿起来，但钵却纹丝不动。仆人向贾似道禀告，贾似道亲自来把钵拿起，才发现钵下有两句诗道：“得好休时便好休，收花结子在漳州。”他这才知道是真仙降临却没有认出来，但始终不理解漳州这一句话的含义。可叹啊，谁知道以后会有在漳州木棉庵被郑虎臣杀死的灾难呢！
此外，曾经有一个船家把船停泊在苏堤，当时正是盛夏酷暑，他躺在船尾，整夜睡不着。忽然，看见三位身长不过一尺的小人聚集在沙滩上。一位说：“张公到了，怎么办？”另一位说：“贾似道不是个仁义的人，决不会饶恕我们。”最后一位小人说：“我已经这样了，你们会看到贾似道完蛋的。”说着，三位小人哭着跳进了水里。第二天，渔夫张公捕到一条直径三尺多宽的大鳖。把它送到了贾府。果然不出三年，贾似道就大祸临头。大概动物也有先见之明，只是命运气数不可逃避而已。
赵源道：：我今天与你相遇，大概也是命该如此吧！”
女子说：“的确是这样！”
赵源道：“你的精气能够长留于人世吗？”女子道：“气数尽了就会散失。”赵源问：“那么会在什么时候呢？”女子回答：“三年而已。”而赵源却不相信。
到了三年的期限，女子卧病不起。赵源为她请医求药，她拒绝说：“从前我已和你说过，婚姻之契，夫妇之情，到此全终结了，别再费心了。”
随即拉着赵源的手臂，与他诀别道：“我以阴间之体，得以侍奉郎君，承蒙你不嫌弃我，与我相伴这么长时间。前世因为一念私情，我们都陷入无法预测的灾祸中。但是即使海枯石烂，这份感情也难以消除；即使地老天荒，这份感情也不会泯灭！现在有幸能继续前生的缘分，履行往世的盟约，这三年对于我来说，已经够满足的了。请你允许我从此辞别而去，别再以我为念！”说完，女子面壁而卧，任赵源怎样呼唤，也没有声息。
赵源十分悲伤，为她买棺装殓。要安葬时，抬棺者都觉得奇怪，这棺柩怎么这么轻。打开一看，棺材里仅存衣被首饰，女子的尸体已不知去了何方。
于是只好把她的衣冠葬在北山脚下。赵源感念绿衣女的真情，终身不再续娶，后到灵隐寺出家为僧，坐化而终。以此了结了余生。
