在六十年代的两弹一星建设上，有不少杰出的领导者，他们大多数非科班出身，但对发展国防尖端科技为之努力、奋斗，但也有少数科班出身的干部，如刘西尧。

对于刘西尧很多人不熟悉，参加革命之前曾经在武汉大学物理系学习，抗战爆发后投笔从戎，一直在鄂皖边区负责地方工作。

新中国成立后，从省委秘书长调去筹备二汽，为工业发展做出贡献。1958年，他被调任北京工作，担任国家技术委员会副主任，使得他有机会在科学技术，特别是国防尖端科技方面做事。后来国家科学技术委员会成立，他改任国家科技副主任。

当时的他想搞工业，感觉科学技术领域很宽泛，怕自己不着边际，但上级坚持，他也表示服从。当时，主要负责分管材料和计量、标准工作。

1959年，苏联单方面撕毁两国签订的国防新技术协定，拒绝提供核武器援助，并在1960年撤回专家。聂老总提出研制国防尖端新技术所需的新型原材料，并将国家科委一局改为新材料局，他作为副主任分管材料局，从此也跨入国防科研领域。

苏联撤走专家后，我们原子弹、导弹的研制没有停止，几位老帅表示不管多大困难都要把它搞出来，没有这吓人的东西，人家就看不起我们。

1960年，为便于协调国防科研和有关部门的矛盾，他兼任国防科委副主任，主要负责搞好国防科委和国防工办的关系，这两个单位分别是聂帅和贺帅主管。

1961年，聂帅派他与张爱萍到二机部作调研，了解我国能否自力更生制造出原子弹，什么时候可以爆炸。他去参加，也是张爱萍提出的，张爱萍对这方面一开始也不懂，他知道刘西尧是武汉大学物理系毕业，基本知识应该是比他了解的。

他俩一行去了湖南看矿山，看看铀矿，到西北看看铀浓缩厂。经过一个雨夜的调查研究，得出结论，经过二机部和有关方面几年努力，核工业建设和原子弹的研制有较大发展，如果技术攻关，安排好配套件的研制、供应，两三年内，最迟在194年实行爆炸。

在此期间，他还参与编制发展国防尖端技术的补充规划，为便于解决国防科研与国防工业在日常工作中经常发生的矛盾，张爱萍和刘西尧都兼任国防工办副主任。

此时的刘西尧一身兼任任职，分别是国家科技副主任、国防科委副主任、国防工办副主任。

当时二机部二把手刘伟建议派一位有能力的干部到二机部担任第一副部长，加强二机部领导工作。上级考虑到原子弹的工作，决定派刘西尧到二机部工作。聂帅问他抓原子弹，是去二机部好，还是留在国防科委好。他说还是去二机部直接抓好。于是，上级免去他国家科技副主任、国防科委副主任、国防工办副主任三个兼职，任命他为二机部副部长。

在此后工作中，他一直二机部工作，到1975年还被任命为部长。但在1977年，他就调离，去担任教育部部长，对恢复高考做出很大贡献。但在教育部工作到1978年后辞职，1979年去四川工作几年退居二线。