新中国成立初期，最高军事领导机构为中央人民政府人民革命军事委员会（简称中革军委，也称中央军委）。1949年10月19日，中央人民政府委员会举行第三次会议，决定组成人民革命军事委员会，为最高军事领导机构，毛泽东为主席，朱德、刘少奇、周恩来、彭德怀、程潜为副主席，委员贺龙、刘伯承、陈毅、林彪、徐向前、叶剑英、聂荣臻、高岗、粟裕、张云逸、邓小平、李先念、饶漱石、邓子恢、习仲勋、罗瑞卿、萨镇冰、张治中、傅作义、蔡廷楷、龙云、刘斐。
鉴于中共中央军事委员会主要成员都进入中革军委，中共中央军委主席、副主席分别担任中革军委主席、副主席，中革军委已代行中共中央军委职责，中共中央军委即行停止工作。
中央人民政府主席毛泽东签署的“任命毛泽东为中央人民政府人民革命军事委员会主席”的任命通知书
中央人民政府人民革命军事委员会印
中央人民政府人民革命军事委员会的日常工作由周恩来主持，由总参谋部、总政治部、总后勤部和总情报部主要负责人组成的联席会议办理。联席会议由代总参谋长聂荣臻主持。从1952年7月起，中央人民政府人民革命军事委员会日常工作由从朝鲜回国的彭德怀主持。同年10月，建立军委例会，由总参谋部、总政治部、总后勤部、总干部部的主要负责人参加。
1949年10月20日，毛泽东等同出席中央人民政府人民革命军事委员会第一次会议的部分委员合影
1953年12月7日至1954年1月26日，中央军委在北京召开了全国军事系统党的高级干部会议。会议总结了新中国成立四年来军事工作的经验，提出了军队建设的目标和要求。这次会议之后，全军进行了一系列军事建设。其中，1954年9月，国防领导体制进行了重大调整。
全国军事系统党的高级干部会议合影
1954年9月20日，根据第一届全国人民代表大会第一次会议通过并公布的《中华人民共和国宪法》规定，对国防领导体制进行了调整，取消了中央人民政府人民革命军事委员会；在国家体制中设立国防委员会，同时在国务院中设立国防部；撤销中国人民解放军总司令的设置。国家主席毛泽东为国防委员会主席，彭德怀任国防部长。
1954年9月20日，第一届全国人民代表大会第一次会议通过《中华人民共和国宪法》
1954年9月28日，在北京召开第一届全国人民代表大会第一次会议决定，根据毛泽东提名，通过中华人民共和国国防委员会副主席和委员人选的决定，朱德、彭德怀、林彪、刘伯承、贺龙、陈毅、邓小平、罗荣桓、徐向前、聂荣臻、叶剑英、程潜、张治中、傅作义、龙云等15人任国防委员会副主席，于学忠等81人为委员。
1954年10月18日参加国防委员会第一次全体会议的全体委员，第一排为主席、副主席
新成立的国防委员会规格非常高，国家主席毛泽东、刘少奇先后任国防委员会主席，原中央人民政府人民革命军事委员会主要成员均为国防委员会副主席、委员。但是，国防委员会是咨询性质的机构，不是全国武装力量的领导机关（1975年国防委员会撤销）。
为加强中国共产党对中国人民解放军的领导，9月28日成立国防委员会当天，中共中央政治局作出《关于成立党的军事委员会的决议》，认为，必须同过去一样，在中央政治局和书记处之下成立中共中央军事委员会，领导中国人民解放军和其他武装力量。中央政治局、书记处和军事委员会有关军事工作的决定，可用军事委员会（简称军委）的名义由内部系统下达，其须公开发布的命令和指示，则用国务院或国防部的名义下达。决定成立新的中共中央军委，由毛泽东、朱德、彭德怀、林彪、刘伯承、贺龙、陈毅、邓小平、罗荣桓、徐向前、聂荣臻、叶剑英等12人组成，毛泽东任主席，不设副主席（1959年后增设副主席），彭德怀主持军委日常工作。
同年9月30日，决定黄克诚（副总参谋长、总后勤部部长兼政委）任中央军委秘书长，肖向荣（军委办公厅主任）任副秘书长，在中央军委领导下，负责协调各总部的工作，处理中央军委的日常工作。
国防部隶属于国务院，是国务院管理国防建设事业的工作部门。国防部的工作，实际上在中央军委直接领导下进行，一切需要由政府负责的工作则由国务院作出决定。具体工作由中国人民解放军各总部和国防部办公厅分别处理。历届国防部的职权范围有所不同。
根据中华人民共和国宪法规定，国防部部长由全国人民代表大会根据国务院总理提名或根据中共中央的建议决定。国防部副部长由国务院或中央军委根据中共中央决定任命。
第一届全国人民代表大会第一次会议于1954年9月28日根据国务院总理周恩来的提名，决定彭德怀为国务院副总理兼任国防部部长。同年11月1日，国务院任命黄克诚、谭政、肖劲光、王树声、肖克、李达、廖汉生7人为国防部副部长。
1954年10月1日国庆五周年阅兵式，新任国防部长彭德怀检阅受阅部队
新的中共中央军委成立后，最高军事领导机关由隶属全国政权系统改为隶属中共中央系统。人民解放军各总部、各军种兵种、各军区、各直属院校受中央军委直接领导。根据1954年10月9日军委办公厅通知：经中央书记处批准，中国人民解放军各统率机关原冠以“中央人民政府人民革命军事委员会”，现冠以“中国人民解放军”，如：“中国人民解放军总参谋部”。
这次调整，奠定了我国国防领导体制几十年的基本格局。
