南昌起义时，陈毅不是党的领导层，也不知道起义之事。隐蔽的身份是武汉中央军事政治学校，也就是黄埔军校武汉分校党委书记，公开的身份是校政治部准尉文书，8月2日接到的命令是“东征讨蒋”，归张发奎指挥。所带的学生军，到九江就被张发奎给缴械了。身份已暴露，只好带特务连长肖劲逃脱，紧追快赶，几经周折，八月半才在江西抚州追上起义军，前委书记周恩来分配他到号称“铁团”的25师73团去当指导员，并笑对他说，“派你干的工作太小了，你不要嫌小。”陈毅很爽朗：“什么小不小哩！你叫我当连指导员我也干，只要拿武器我就干。”
一个重要的节点，9月19日广东大埔县三河垻分兵。主力奔赴潮汕，朱德留守，负责阻击掩护。手头的部队有自己的第9军，说是一个军，只是军官教导团三个连五百人的空架子，主要还是叶挺的第11军周士弟任师长的25师73团、75团与74团1个连，共约3000余人。
陈毅也在其中，他与朱德不陌生，相识在一年前的四川杨森军中，李大钊派他去改造杨森部队，恰遇朱德以广州国民政府和国民党中央代表的身份来做统战工作。25岁的陈毅与不惑之年的朱德，从相识到协作，组织过抗议英国制造的万县惨案和参加刘伯承主导的泸顺起义。
这时，起义军主力在潮汕地区遭到失败，留在三河坝的部队血战三天，完成任务，准备与主力汇合，便转移到饶平，但得知主力已失败，收拢了从潮汕撤来的数百人，其中就有毛泽覃、粟裕。各建制的合起来还有两干五六百人。
三河垻
本来是殿后的配角，现在到成了主角，且危机四伏。10月7日，朱德在广东饶平茂芝圩的全德学校主持召开军事会议。20多名师团干部，有人提出分散，有人提出散伙，朱德坚决反对：“留得青山在，不怕没柴烧。主力失败了，但革命没有完，南昌起义的革命种子，我们一定要保存下来。”并力排众议，作出“隐蔽北上，穿山西进，直奔湘南”的军事决策。陈毅坚决表态：“我陈毅虽然没有多大的本事，但愿竭尽全力辅助朱军长，把我们这支队伍带出绝境，革命到底！”
在向粤赣湘边界转进中，既有敌军尾追，又有土匪和豪绅民团袭扰，大仗小仗不断，减员日多，组织混乱，思想更混乱。不少人对革命悲观动摇。他配合朱德给士兵讲革命道理，展望光明前景，以坚定的革命精神和顽强斗志，影响了队伍。
这时，有实权的中高级军官差不多都陆续走了，有的是去找上级党组织汇报请示，有的是不辞而别，有的叛变重回老蒋和军阀阵营，开小差的不少，开大差也有，有的带一个班、一个排，甚至带一连，公开的私下的，自寻出路去了。队伍愈走愈少，10月下旬到达江西安远县天心圩时，只剩下七八百人，师级的全走光了，团级的只有陈毅和74团参谋长王尔琢，部队面临瓦解的危险。
王尔琢
危急关头，朱德决定进行思想整顿。10月22日在安远天心圩小河边的沙滩上，召开了排以上干部大会。首先宣布，今后这支队伍就由他和陈毅同志来领导。他大义凛然地说：“愿意继续革命的跟我走，不愿革命的可以回家，不勉强。”精辟地剖析当时政治形势，以俄国革命为例，指出俄国在1905年革命失败后，经过艰苦的斗争，最终在1917年取得了革命的成功。陈毅奋起响应：“在胜利发展的情况下，做英雄是容易的，在失败退却的局面下，做英雄就困难得多了。只有经过失败考验的英雄，才是真正的英雄。我们要做失败时的英雄。”引导大家看清中国革命的前途，不要为当前的失败而丧失信心。
安远
在部队开进信丰时，一路上，破坏群众纪律，敲诈勒索、抢劫财物的事件时有发生。进城后，不少坏分子在酒楼大吃大喝，有的人甚至进入当铺，拿出手榴弹威胁老板要钱花，影响很坏。
面对这种严重情况，陈毅和朱德商议，当即立断，让号兵吹紧急集合号，叫传令兵传达发生敌情转移出发的命令，拉起队伍一口气跑出县城外约十多公里的一个山坳的平地上才停下来，举行全体军人大会。陈毅说：“我们共产党领导的革命武装，有着铁一般的纪律，因为有了铁一般的纪律，才能取得革命的胜利。”会上宣布了革命纪律，并对三个破坏团结、煽动逃跑、抢劫勒索、严重损害军誉的最坏分子，当场执行严肃的革命纪律，大涨了革命的正气，刹住了破坏纪律的歪风。
到了大庾地区，朱德、陈毅、王尔琢召开了整编会议，对部队进行了一次全面的整编整顿。
朱德将部队整编为一个团，七个步兵连，一个机炮连，一个特务连，总共九个连，朱德任团长，陈毅任党代表，王尔琢任参谋长。暂称“国民革命军第五纵队”。使其成为一支组织精干、指挥灵活、便于调整发展的战斗部队。
陈毅主持整顿党团组织，对部队中的党员、团员重新进行登记，调整了党团组织；在基层设立了党支部；发展了一批优秀士兵入党，改变了过去绝大多数党员都是干部的状况；分配部分党团员到基层，改变部队基层一般没有党团员的状况，同时选派部分优秀党员到连队担任指导员，其中就有粟裕。经过调整，起义军每10人中就有了1名党员，实现了党团员从上到下的全覆盖，使部队置于党的绝对领导之下。
部队开到上堡休整期间，朱德和陈毅，针对起义军一路上被动挨打的情形，认真反思，开始认识到城市站不住脚，要走农民运动与武装斗争相结合的道路，发动更多的群众跟国民党反动派干，部队必须是党和人民的武装。决定加强部队的政治教育和军事训练。
朱德负责军事训练，重点在战略从城市转到农村，战术从正规战转向游击战，提出新战术，从打大仗转变为打小仗，从打硬仗转变为“有把握的仗就打，没有把握的仗就不打，不打就‘游’”，把一线式战斗队形改为“人”字式战斗队形。训练实战化，赶跑了土匪何其郎部，收缴了地主民团武装，整顿了关卡，解决了部队的给养。
陈毅负责政治教育，主要是整顿思想、整顿纪律。强调部队“要听从命令、服从指挥，不能侵犯群众利益，募捐款和缴获物资要全部上交归公”，“不准没收商人物品，只有没收委员会才能没收和处理财物”等规定。各班排都要帮助群众劳动，“向群众宣讲共产党是为穷人谋利益的，是为穷人打天下的，穷人多，革命一定胜利等革命道理”。用标语、传单、文明戏等方式，组织发动群众，团结起来，打倒欺压百姓的地主豪绅，打倒国民党反动派。
通过加强党对军队的全面领导，开始了从旧式军队向新型人民军队的转变，为接下来的斗争打下了基础。朱德豪迈的说：“部队走向统一团结了，纪律性加强了，战斗力也提高了……我们的同志个个像只老虎，我们的队伍经过千锤百炼，现在已经成为一支坚不可摧的钢铁部队”。
上堡
两个月后，朱德、陈毅率领八百革命火种，再举义旗，发动湘南暴动，走向井冈山，会师毛泽东，创造出另一个崭新的局面。
