在潘汉年的心里，一直有一块心病。为此，潘汉年付出了很大的代价。
直到多年后，潘汉年在向好友唐瑜提起那件事情时，依然感到十分后悔，后悔没有把握住那次难得的机会！
1963年2月13日，潘汉年走出秦城监狱。随后，潘汉年被转移到了北京市南郊大兴县境内的团河农场生活。
团河农场，是公安部的劳改农场。此时，潘汉年虽然走出了监狱，但他的身份依然是“刑释管制分子”。因此，公安部安排他住进了一所小楼房里。
此时，潘汉年虽然还没有完全自由，但却见到了他日思夜想的妻子董慧，和爱妻生活到了一起。对此，董慧和潘汉年都比较满意。毕竟，相比于过去，他们已经可以在一起团聚了。
不久后，潘汉年便给他的小妹潘玉琴写了一封信。在这封信里，潘汉年写道：
“我于一月前蒙政府宽大，提前释放出狱，现同慧嫂一起在休养。我的身体很好，甚至较八年前还健康一些。这是由于党、政方面执行‘挽救失足，改造教育’、革命人道主义的结果。今后，我当从头做起，老老实实地为人民服务，将余年报答国家、人民对我的宽大。”
那段时间，潘汉年虽然没有完全恢复自由，却也可以在小范围内走动了。对此，董慧的心里也很高兴。那时候，董慧也经常外出买菜，给丈夫潘汉年吃些好的，以此来宽慰丈夫的心情。
这年夏天，董慧在东安市场的北门口偶然遇到了她和潘汉年的好朋友唐瑜。
由于已经好长时间不见了，唐瑜和董慧多说了一会儿话。得知潘汉年在农场劳动时，唐瑜便向董慧和潘汉年发出邀请，让他们到自己家里做客。关于做客时的情景，唐瑜再后来说：
“星期天，潘和阿董来了，带来了阿董去上海整理抄家剩余物资，顺便取来的两瓶陈酒和几条自己钓的鲜鱼。我把它们放到水盆中去，每条鱼都吐出几片茶叶。我们有很多话要说，但却相对许久无言，终于从鲫鱼与茶叶开始，潘说，在鲫鱼口中塞几片茶叶，可以多活两三个小时……”
由于大家都是多年的好朋友，潘汉年便和唐瑜主动说起了当年的一件往事，并表示对此感到十分后悔。
潘汉年对唐瑜说的这件事情，发生在1945年。那时候，潘汉年被中共中央指派为中国共产党第七次全国代表大会的代表，来到延安，准备参加会议。
然而，由于种种原因，七大并没有如期举行。那段时间，潘汉年被安排在杨家岭，和许多中央领导人住在一起，他的妻子董慧也被分配了工作。
在延安的日子里，董慧的心情很好，但潘汉年却显得心事重重，坐立不安。一天，潘汉年主动前往毛主席那里看望。潘汉年走进毛主席办公室的时候，毛主席正在批阅文件。
看到潘汉年进来，毛主席立即停下了手中正在批阅的文件，面露笑容地从座位上站起来，与潘汉年握手问好。
随后，毛主席又从旁边的书架上拿了一瓶酒，给潘汉年倒了一杯，递到潘汉年的手里。紧接着，极少饮酒的毛主席又给自己倒了一杯，高兴地向潘汉年祝贺了他工作的胜利。
在交谈的时候，毛主席一再强调，中央对潘汉年是信任的，对他的工作是了解和肯定的，并叮嘱他不要受流言蜚语的影响，继续好好工作。
看见毛主席和党中央对他如此信任，潘汉年担心被毛主席责备，硬是把几次提到嗓子眼的话，强行咽了回去，错失了向毛主席和党中央袒露心迹的机会。
这便是潘汉年在1963年对唐瑜所说的十分后悔的事情。
关于这件事情，唐瑜在后来回忆说，潘汉年直率地告诉他，是自己的小资产阶级爱面子和个人英雄主义使他痛失了这样一次坦露心迹的机会，他深深感到后悔。
潘汉年想要对毛主席说的，就是他与汪精卫见面的事。
1942年，为了策反李士群，潘汉年决定亲自与他见面。
那天，看到潘汉年来到自己的家里，李士群得意地说：“过去当共产党时，常说要夺取政权，我现在已经夺得政权了。而你呢，现在在新四军担任什么呢？”
李士群之所以这样说，是因为他过去也是共产党员，只不过他的政治信仰不够坚定，在被捕后不久便叛变了。叛变后，李士群从国民党那里得到了一些利益。后来，李士群又投靠了日本人，成为了汪伪政府的得力干将，是汪伪政权中位高权重的人。
很快，李士群也感觉到了自己说这话的不妥。毕竟，叛变是一件可耻的事情。
于是，在潘汉年没有说话的情况下，李士群便主动转移了话题，说：“以后有什么需要我帮助的，我一定尽力帮助，我也希望你们能对我多帮助。”
听了李士群的话，潘汉年说：“我们欢迎你的这一态度。”
11月，潘汉年再次约见李士群，却被告知李士群不在上海，而是前往了苏州。然而，潘汉年到达苏州后，又被告知李士群去了南京。
虽然潘汉年感到有些奇怪，但为了接触李士群，还是决定前往南京，与李士群见面。
在南京见面后，李士群突然向潘汉年提出，汪精卫要接见他。见潘汉年犹豫，李士群连忙说：“汪先生目前心情不好，他打算搞议会政治，听说你来了，很高兴，他想和你谈一谈。”
此时，潘汉年才意识到，李士群和他兜了这么大的圈子，就是想让他去见汪精卫。汪精卫是最大的汉奸头子，贸然与之见面，很可能会惹来一身骚。然而，他想要和组织上请示，却已经来不及了。
于是，在经过激烈的思想斗争后，潘汉年经过权衡利弊，最终决定闯一闯这个龙潭虎穴，便答应了下来。
当天，潘汉年便来到了汪精卫公馆。
见面时，汪精卫对潘汉年说：“我认识你们的毛泽东先生。过去我是主张联共的，以后发生误会了。你们和蒋介石联合是没有什么搞头的。蒋是独裁的，我是搞民主的。我要搞议会政治，成立联合政府，吸收各党派参加，也请共产党参加。”
听了汪精卫的话，潘汉年说：“共产党是不会来参加你的议会政治的，来的也是假的，上海的共产党不会代表延安来参加的。但，我可以把汪先生的话转达给延安。 我认为，延安方面是不会退出重庆的参政会来南京参加你们的议会的。”
汪精卫说：“现在是个好机会。我们合作起来可以异途同归，希望共产党不要同蒋介石搞在一起。只有同我们合作，才能救中国。你回去联络一下。以后的联系仍找李士群。”
潘汉年说：“新四军的发展是肯定的。如果将来你感到与日本人合作有困难，要另找出路时，新四军不会对你过不去，会给你一个转身的余地。”
这次见面，潘汉年和汪精卫之间并没有达成什么实质的协议，而是说了一些堂而皇之的话。因此，潘汉年决定不向组织上专门进行汇报。
然而，汪精卫的身份毕竟太特殊了。这件事情也便成为了潘汉年的一块心病。
1944年冬，在前往延安路上，潘汉年是想过向毛主席汇报这件事情的，这便是他在延安显得心事重重的原因。
然而，在见到毛主席的时候，潘汉年最终没有吐口。原因就是他对好友唐瑜所说的“是自己的小资产阶级爱面子和个人英雄主义”。
由于心中压着这件事情，潘汉年总是提心吊胆的。直到1955年，潘汉年才向上海市长陈毅进行了汇报，并交给了陈毅一份检讨材料，让陈毅将这件事汇报给毛主席和党中央。
听了陈毅的汇报后，毛主席十分震惊，当即作出批示：此人从此不能信用。
随后，毛主席又作出了立即逮捕审查潘汉年的决定。很快，潘汉年便被关进了功德林监狱，后又转到秦城监狱。直到1963年2月，潘汉年才获得了假释。
此时，潘汉年在监狱，已经被关押和审查了近8年。
