1964年年底，中华人民共和国铁道部部长滕代远正式向大连机车车辆厂下达了研制第二代国产大功率内燃机车的任务。1965年年初，大连机车车辆厂、大连热力机车研究所、大同机车车辆厂、铁道科学研究院等机构联合组成新中速柴油机设计组，开展新一代大功率中速柴油机的研制。
1965年7月，新任铁道部部长吕正操在青岛下令成立内燃机车会战指挥小组，并批准下达了新一代16V240ZJ型大功率中速柴油机的设计任务书，新柴油机的技术指标为16缸四冲程4000马力涡轮增压柴油机，额定功率不低于3600马力。
1966年年初，大连机车车辆厂试制成功一台双缸500马力的柴油机样机，经过试验其最高输出功率达到520马力，超过设计要求，也证明16缸的柴油机达到4000马力的预期目标是可行的。
1966年6月，16V240ZJ型大功率柴油机首台样机完成试制，但随之而来的文化大革命严重影响了柴油机后续的调试和验收工作，受“造反派”“夺权”和“批斗”的干扰，16V240ZJ型柴油机的测试工作断断续续，但在技术人员的努力下，调试和验收工作在1966年年底之前完成。
政治运动也波及到了配套的牵引电机组的试制工作，但负责牵引电机试制的湘潭电机厂的技术人员们依然顶住了干扰，在1967年将牵引电机组试制成功并完成了测试（包括3000千伏安三相交流同步牵引发电机、410千瓦牵引电动机、80千瓦起动发电机、45千伏安三相交流同步励磁发电机）。
1969年年初，机车的试制工作正式在大连机车车辆厂开始，要抢在9月底之前完成试制，向中华人民共和国成立二十周年的国庆献礼。1969年9月26日，第一台新一代国产大功率内燃机车试制成功并出厂，被铁道部正式命名为东风4型内燃机车，车号2001（相较于日后量产型的东风4型内燃机车，东风4-2001号车的外观显然有极大的区别，不能说没有一点相似点吧，也只能说一点相似点也没有）。
东风4-2001号车在出厂后随即在沈大线大连至大石桥区间段进行单机跑车测试和牵引测试。单机测试还看不出什么问题，但一旦挂上15节旅客列车车厢进行牵引测试时，这台为“国庆献礼”而草率上马、主要零部件都没有经过必要的考核的机车立即“露出原型”，在牵引测试中柴油机和牵引电机因为各种原因故障频发，由于大量设备没有达到设计要求，因此当天的牵引试验被毫不客气的打了“不及格”——整台机车的性能和质量完全不过关！
被“打脸”打得“火辣辣”的大连机车车辆厂痛定思痛，针对东风4-2001号车在牵引测试中出现的问题联合田心电力机车工厂、株洲电力机车研究所、永济电机厂、大连热力机车研究所等单位开始对牵引电机机组和柴油机进行全面改进。此时谁都没想到，这个过程将持续十多年的时间。
鉴于东风4型内燃机车迟迟不能定型，而当时国内对大功率内燃机车的需求缺口较大，铁道部被迫动用宝贵的外汇向法国阿尔斯通公司进口了50台ND4型内燃机车配属给北京铁路局丰台机务段以解燃眉之急。
1971年至1974年，大连机车车辆厂又生产了四台16V240ZJ型柴油机的样机，连同1966年试制的第一台16V240ZJ型样机一起总计进行了2400小时的台架测试，基本解决了东风4-2001号车在牵引测试时暴露出的柴油机功率不足、燃烧不良、排气温度高、机油稀释和柴油机振动等几大关键问题。
与此同时，为解决东风4-2001号车在牵引测试中牵引电机组暴露出来的问题，田心电力机车工厂、永济电机厂、株洲电力机车研究所、大连热力机车研究所等单位于1970年组成联合设计组，对牵引电机组的设计进行改进，并在1971年由田心电力机车厂完成了ZQDR-410型牵引电动机和TQFR-3000型牵引发电机的试制，但测试工作一直持续到1973年基本解决大部分问题。
1972年，经过改进的16V240ZJ型柴油机和牵引电机组被装回到东风4-2001号车中，改换了涂装后交给北京铁路局北京内燃机务段进行运用考核。
在总结东风4-2001号车从1969年试制成功后暴露出来的问题，大连机车车辆厂对原有的设计图纸进行了大幅度的修改和优化，于1973年4日试制成功了第二台东风4型内燃机车——东风4-2002号车。
相比东风4-2001号车，东风4-2002号车从车体外观上有了较大的变化，线条显得更加简练，除了车头灯的位置还有所区别外，其余的特征已经和后来的量产型东风4型内燃机车没有任何不同（东风4-2002号车的车头灯是竖着安装，而量产型东风4的车头灯是横着安装）。1973年5月，东风4-2002号车也一并交付给北京内燃机务段进行运用试验。
两台原型车在京原铁路北京至灵丘间进行了牵引性能试验，并与同期从联邦德国引进的NY6、NY7型内燃机车进行对比试验，然后又在京包线南口至康庄间进行了八达岭大坡道上停车再起动试验，以及在京广铁路完成旅客列车牵引试验。在运用过程中，两台机车在牵引旅客列车时的表现虽然远远不如NY6和NY7型内燃机车，但也算基本合格。于是，东风4-2001号和东风4-2002号车就留用于北京内燃机务段，用于京山线上牵引旅客列车所用。1974年年底，东风4-2001号和东风4-2002号车通过了十万公里的运行考核，总算达到了“上路”的“及格线”。
虽然东风4-2001号和东风4-2002号车的表现远远还算不算出色，但作为继东风型内燃机车后中国国产的第二代电传动内燃机车，这两台机车在无意间拉开了一个全新的“东风时代”。
东风4-2002号内燃机车性能数据
轮式：0-6-6-0
轴式：CO-CO
轨距：1.435米
轮径：1.05米
轴重：23吨
轴距：15.6米
通过最小曲线半径：145米
机车长度：21.1米（车钩中心距）
机车宽度：3.309米
机车高度：4.725米
整备重量：138吨
柴油机型号：16V240ZL型
标定功率：3600马力
传动方式：ZQDR-410型牵引电动机+TQFR-3000型牵引发电机
燃油储备量：7500公斤
储水量：1200公斤
储砂量：800公斤
最高速度：120公里/小时
持续速度：26.3公里/小时
牵引力：351千牛（起动）、257千牛（持续）
制动方式：空气制动
