他是红军中的著名将领，作战英勇，深受毛泽东的喜爱。建国后，毛泽东看中他的大公无私和忠心耿耿，任命他为第一任公安部长。毛泽东逝世后，他亲任毛主席纪念堂管委会主任。表现了对毛泽东的无限深情。
1949年6月的一天，毛泽东约罗瑞卿去谈话，当面点将要他去即将成立的公安部主持工作。这样，罗瑞卿正式离开了战斗了二十来年的人民军队，担任起中华人民共和国第一任公安部长。此后他在公安、政法战线工作了整整十年。
建国伊始，公安机关面临的任务十分艰巨。大陆残存的反革命分子活动十分猖狂，杀人、放火、投毒的案件时有发生，镇压反革命分子成为人民的迫切要求。
在这种情况下，公安部向党中央和毛泽东写了报告，主张在时机成熟的前提下，对土匪、恶霸、特务、反动党团骨干、反动会道门头子等五个方面的残余反革命分子实行坚决的镇压，杀一批、关一批、管一批。毛泽东当即批准说：“赞成你们的意见。但要发动群众，依靠群众，要大张旗鼓，不要搞孤立主义、神秘主义。”
这次“镇反”运动有力打击了少数作恶多端的反革命分子，使新生政权得到巩固，给全社会增加了安全感。自从担任公安部长之后，罗瑞卿便一直直接在毛泽东的领导下工作。这种特殊的身份使他对毛泽东有了近距离观察的可能，他对毛泽东鲜明的个性，明察秋毫的能力以及深邃的智者风度敬慕不已。
党和毛泽东也看中了罗瑞卿不仅有才干，而且任劳任怨，以及对工作几乎狂热的精神，看中了他对革命事业的忠诚，对他十分信任。由于他身材较高，毛泽东便一直亲切地称呼他为“罗长子”。
在罗瑞卿主持公安工作的十年间，由于及时有力地打击了反革命分子和刑事犯罪分子的破坏活动，加强了同各种治安灾害事故的斗争，加上有力的治安管理工作，使我们国家在很长一段时间内出现了前所未有的良好治安秩序和社会风气，赢得了全国人民和国际友人的称赞。公安部还以其良好的工作作风和出色的工作效率，多次受到毛泽东的表扬。
罗瑞卿十年的公安工作生涯中还有一项十分重要的内容，那就是保卫中央领导同志，特别是毛泽东的安全。罗瑞卿为此倾注了大量的心血，花费了巨大的精力。毛泽东每次外出巡视和到公开场合活动，罗瑞卿都亲自部署安全警卫工作，亲临现场检查，做到万无一失。
1958年6月，毛泽东从外地打电报给中央，说要去长江三峡游泳。罗瑞卿当即带领一些水性好的同志去长江三峡侦察水情。他们从宜昌到重庆，再由重庆到宜昌沿途反复侦察、试水，因礁石太多，地势险要，引起水流湍急，并有很多又大又深的漩涡，罗瑞卿要人绘了图，注明水情确实不能游泳。毛泽东对罗瑞卿的工作非常满意，并接受了他的意见。
1959年，罗瑞卿被任命为国务院副总理，兼任中国人民解放军总参谋长、中央军委秘书长等职。此后，他把不断提高军队的战斗力作为他这个总参谋长的主要任务。并以其特有的热情成功地组织实施了轰动一时的“大比武”。
1964年7月15日、16日，毛泽东等党和国家的领导人检阅了北京、济南部队的军事表演。毛泽东对每项精彩的表演都予以鼓掌，他在观看表演时对罗瑞卿说：“北京、济南部队的表演很好，要在全军普及。"
16日下午，毛泽东在新落成的十三陵水库看完水面军事表演后，还兴致勃勃地在水库里游泳。罗瑞卿及妻子郝治平双双随毛泽东游到湖心的小岛上。毛泽东笑哈哈地问：“你们俩个谁游得好些?"罗瑞卿也笑答道：“她游得好，我比不上她。”毛泽东也许并不知道，罗瑞卿从小不习水性。只是做了公安部长以后，知道毛泽东酷爱游泳，为了方便保卫工作，才在年近五十的时候学会了游泳。
“文革”期间，罗瑞卿因受迫害，双腿致残。林彪死后两年，他才被从牢里放出来。刚出狱，他便要司机把车开到天安门广场。当他看到城楼上的毛泽东巨幅画像时，便让司机把车停下来，并对妻子郝治平说：“我想下去，给毛主席敬个礼。”当时，广场上人和车都很多，罗瑞卿的腿又很不方便，在郝治平的极力劝阻下，他才没有坚持下去。当车缓缓通过天安门广场时，罗瑞卿默默将右手举起，深情的向毛主席像敬礼，一直到望不见了，才把手放下来，眼里还噙着晶莹的泪花。
1976年9月9日，毛泽东去世。罗瑞卿不顾种种障碍，急如星火地从外地赶回北京。在向毛泽东的遗体告别时，他坚持让儿子搀扶着，用他那刚刚能够站立的双腿走过毛泽东的身边，泣不成声。9月18日，百万人在天安门广场为毛泽东开追悼大会。罗瑞卿竟和所有的人一样站了一个多小时，而且像孩子一样失声痛哭。
1977年，罗瑞卿恢复工作后，担任了军委秘书长一职。在日理万机的情况下，他还要求兼任毛主席纪念堂管理委员会主任一职。在过去的半个多世纪里，无论出现什么样的风风雨雨，他对毛泽东的信任和爱戴从未发生过动摇。
1978年7月，罗瑞卿到联邦德国治疗腿疾。8月3日，因突发心肌梗死不幸逝世，时年72岁。
