1952年7月，彭德怀以军委副主席的身份兼任总参谋长，开始主持军委日常工作。彭德怀上任后，提出了要向苏军学习的观点，这年12月，他在全军各大区参谋长和政治部主任联席会议上说：
永远不要骄傲自满，一定要将苏联的一切先进经验都学到手，改变我军的落后状态，建设我军为世界上第二支最优良的现代化的军队，以利于在将来有把握地战胜帝国主义军队的侵略。
彭德怀
在彭德怀的推动下，中苏经过协商，决定在我军的总参谋部设总军事顾问，在各军种、兵种、大军区分别设首席军事顾问，这些军事顾问均由苏联派出，他们的任期一般为一至两年，个别短则几个月，长则四五年。
虽然苏联军事顾问的话语权很大，但在“怎样学”的问题上，彭德怀并不盲目地听取他们的意见，德国人李德在中央苏区瞎指挥造成的恶果，他始终记忆犹新。彭德怀经常叮嘱身边的同志，在运用苏军经验解决我军实际问题时，不要机械搬运，特别不允许“上纲上线”。
1952年10月15日，彭德怀第一次主持军委例会，他把部队训练时间的分配确定为：军事训练占60%，政治教育占20%，文化教育占20％。事后有苏联顾问提意见，说文化教育时间占的太多，没有必要，彭德怀耐心地解释说：
旧中国文化教育落后，文盲多，战士入伍以后才能学文化，学了文化才能掌握军事技术，将来复员回家，也便于参加社会主义建设。苏联和一些发达的国家，征来的新兵不仅多数人有文化，有的还会开汽车、拖拉机。中国现在则相反，是军队把战士培训成司机或坦克手，然后复员到地方上才能开汽车和拖拉机。这是中国的实际。
毛泽东和彭德怀
最终苏联顾问被说服了，全军各部队严格按照彭德怀的意见落实训练时间，文化教育的占用时间都达到了20%。
1953年初，彭德怀主持军委例会讨论国防工程建筑问题，有业务部门依据苏联顾问的意见，称为了国防保密，要求把内伶仃岛上的居民全部迁走。彭德怀一听就火了，当即批评说：“迁移居民一定要慎重，要积极动员。岛上的居民，有证明的留下，重大嫌疑的迁走，但这是极少数。内伶仃的居民全部迁走，要不得，这是单纯军事观点！”
不过在听取苏联顾问意见时，彭德怀也出现过失误。1953年上半年，苏联顾问反复向彭德怀建议，解放军可以学习苏军实行“一长制”，即部队取消政治委员，实行单一首长制。彭德怀觉得这一提议可行，他便在一次军委例会上提出：军队团以上的政治部可以不设政治部主任一职，其职务由该级政治委员兼任，以便抽出一批政治工作干部培养为军事指挥员。
彭德怀投票
1953年5月，彭德怀更是在同苏联顾问的一次谈话时说：“准备10年之后实行‘一长制’。”这年5月颁布的《内务条令》，已将政治教导员和政治指导员排除在营、连首长之外。
彭德怀的话传达到部队后，引发了许多问题：一些单位出现了军事训练和军事演习计划不要党委过问，下达命令不要政治委员署名，军事演习没有政治工作人员位置等情况；有的以为实行正规化就可以削弱或取消政治工作，把军队正规化与必要的民主对立起来，把严格教育、严格管理与说服教育对立起来，把部队进驻营房、开展正规训练与拥政爱民、积极参加地方群众工作对立起来……
这些问题很快引起了总政治部主任罗荣桓的注意，他专门向彭德怀提出了自己的看法：“现在有些同志认为政治工作制度过时了，政治委员作用不大了，要学习苏联，搞‘一长制’。如果那样做，从井冈山时期就搞起来的政治工作传统不就丢掉了吗？”
罗荣桓
彭德怀认为罗荣桓的话很有道理，他改变了原来准备实行“一长制”的主张，在以后的几年里，他对“一长制”的思想作过不止一次的批判。
