张维翰出身旧社会中产家庭，他早年曾在北平求学，因为平时勤奋、上进，所以成绩一直很出色。1925年，轰轰烈烈的大革命爆发，张维翰深受感召，毅然投身学潮运动，通过游行、集会等方式声援广州国民政府，抨击军阀、帝国主义势力。

1930年，北平的局势发生了翻天覆地的变化，国民党反动派完全占据了主导权，开始大搞“白色恐怖”，肆意残杀左翼分子和进步人士，张维翰的处境十分危险，为求自保，他只得离开北平，返回山东老家暂时蛰伏。

1931年，日军强行侵占东三省，而国府竟毫无作为，一再摆出绥靖的态度，张维翰为此怒不可遏，他当即开始四处游走，通过自己的无与伦比的口才与组织力，迅速笼络了一大批积极抗日分子，成立了一个名为“德育同学会”的左翼组织，与此同时，张维翰还积极和冯玉祥、张学良联系，以争取政治上的支持。

1937年抗战爆发后，日寇由河北南下山东，一路长驱直入，迅速占领了德州、青岛等城市，而负责山东防务的韩复榘为了保存实力，竟主动带着麾下部队撤走，将齐鲁大地拱手让与敌人。有人劝张维翰也撤出山东，暂时前往河南避难，等到日后形势好转再重新打回来，但张维翰却拒绝了这种软弱的建议，他是个血性的中国男儿，绝不后退半步！

1937年底，张维翰联合两百余名共产党员、共青团员在鲁西北建立了一块敌后革命根据地，统辖两县四区。山东的有志青年闻讯后，纷纷赶来投奔张维翰，张维翰顺势将这些人编组为“抗日游击军”，并在山东省委的领导下开展一系列革命斗争，打击日伪军。至1938年，“抗日游击军”已经扩张为四个支队、八个团，共计一万余众，势力不可小觑。而在1938年下旬的“反顽斗争”中，张维翰更是通过高超的指挥水平，率部接连击退伪军和国民党军的进犯，有力的巩固了鲁西北根据地。

1939年，张维翰奉上级党委命令，将“抗日游击军”改编为八路军鲁西北纵队，他本人出任纵队司令。1943年，张将军被调离前线指战员岗位，转往延安中央党校学习。解放战争爆发后，他前往冀南军区担任军政干部，任期内他在地方党组织的协助下，一面与国民党军斗争，一面尽全力支援华北军区解放军与华东解放军。建国后，他出任邯郸军分区司令，1955年被授予大校军衔。

张将军平素喜好体育运动，尤其擅长短跑，他曾经在军运会上拿过奖牌，因此在50年代末，中央军委便委派他到军事体育学校担任高干，负责为国家培养运动健儿。1966年动荡爆发，张将军很快便受到冲击，居心叵测者一再“翻旧账”，捏造证据污蔑他是“国民党特务”。

原来，早先在1942年，山东国民党军曾给张维翰写过一封信，劝他脱离红色阵营，加入国民党阵营。张维翰断然拒绝了这一无理要求，他坚决表示自己这辈子都是共产党的人，绝对不会改弦易帜！可居心叵测者却罔顾事实，不断给张将军“泼脏水”，最终张革去职务，下放到基层劳动改造，一直到1977年方才获得平反。次年，张将军因为身体原因离休，晚年他致力于做两件事，其一便是给其他受了冤枉的同志写证明材料，帮对方恢复名誉；其二便是撰写回忆录，讲述自己在鲁西北奋斗的艰苦岁月。

1979年，张将军被查出患上了重病，他自知时日无多，于是更加辛勤的伏案写作，每天都要忙到深夜。有一次，他在写作时旧疾复发，腹部剧痛难忍，可他并没有向秘书求助，而是咬紧牙关与病魔对抗，以超人的意志继续提笔写作。最终，经过三年的努力，张将军终于完成了回忆录，他人生的最后一桩愿望也由此了却，当年10月，张将军病重去世，时年七十三岁。党中央随后为他召开了隆重的追悼会，粟裕、许世友等上百位开国将军亲自到场为他吊唁。

张维翰的妻子范树瑜也是一位革命志士，她十七岁参加八路军，曾长期在冠县从事游击活动，1943年跟随丈夫前往延安学习，随后参加了“整风运动”。建国后，范树瑜大部分时间都在病休、疗养，动荡中她受到了不小的冲击，在狱中服刑七年时间，受尽了委屈和波折，1977年出狱后，她转往福州定居、生活，最终在此度过了余生。