1937年8月，淞沪会战正在进行，李克农离开上海，赴南京担任八路军驻南京办事处处长，办事处的领导及工作人员有叶剑英、童小鹏等人。

一天，李克农应到五台山参观高射炮阵地，回去时在路边碰上一个戴草帽的老汉，将一个小小纸团丢在地上，李克农捡起纸团一看，上写：“日本特务要刺杀白总长，务请转告他切切不可大意！”纸条上说的“白总长”，是国民党国防部参谋总长白崇禧。李克农一时想不起这个老汉是谁，但情况紧急，来不及多想，他派手下的情报员刘纪夫与白崇禧的机要秘书谢和赓（中共地下党员）秘密会面，将情报转告了白崇禧。

白崇禧得知日本特务要害他，加强了防范措施。9月19日晚，日本特务动手了。他们侦察得知白崇禧住在清凉山，事先破坏了广州路至清凉山一线的路灯，七八个特务到了清凉山，与白崇禧的警卫们发生枪战，双方都有伤亡。此前白崇禧已离开清凉山住到了净觉寺，日本特务扑了空。第二天白崇禧知道此事后，说要特别感谢李克农。李克农救了白崇禧一命，这为后来周恩来开口请他同意中共在桂林设立办事处打下了感情基础。

李克农担任八路军驻南京办事处处长期间，还营救了不少被关押在国民党监狱的中共干部。当时国民党不承认关了很多共产党“政治犯”，准备将这些共产党秘密处决。李克农依据国共签订的协议，据理力争，要求国民党向中共移交“政治犯”。9月26日，原福州市委书记陶铸和其他六位同志被“八办”人员从南京中央监狱接回。至当年11月，在他们的努力下，“八办”共营救出1000多名共产党人和进步人士。