1905年1月，尼米兹开始了自己的军旅生涯。此后他辗转多地，担任过炮艇指挥官、驱逐舰舰长、工程师、技术专家、海军教员、巡洋舰舰长、潜艇和驱逐舰分舰队司令以及海军航海局助理。日本偷袭珍珠港时，他正担任海军航海局局长。
战前的30多年中，他的职业生涯经历了几次转折点。因指挥的驱逐舰搁浅，他从指挥岗位转到了技术岗位；因在发动机领域技术出众，险些被企业高薪挖走；因得到罗比森的赏识得以转回指挥岗位，并步入高级指挥官行列。
1941年初，美太平洋舰队基地迁移至珍珠港，赏识他的罗斯福原本想让他出任舰队司令，但尼米兹担心自己资历不足而婉言谢绝，这也让他“幸运”地躲过了一场灾难。
尼米兹服役的第一艘军舰是“俄亥俄”号战列舰。它建于1898年，排水量1.2万吨，装有4门12英寸火炮，以及16门6英寸火炮，最大航速17节。舰长洛根上校对这位“委派军官”很欣赏，尼米兹虽然不满20岁，但显得少年老成。洛根曾让他担任过船艇官和舰面助理军官，尼米兹都表现得很好。在第二季度考察评语中，洛根写道：学员尼米兹是一个优秀的军官，我很高兴把他推荐给学术委员会，请给予最优先的考虑。
1905年5月，美国海军亚洲舰队开启远东之行，“俄亥俄”号战列舰作为旗舰跟随舰队出航。此时日俄战争正处于最关键时刻，日本海军联合舰队司令东乡平巴郎在当月晚些时候与俄国第2太平洋舰队在对马海峡进行了一场海上决战，结果大获全胜。美国亚洲舰队的这次出航，就是要向对手炫耀实力。
对马海战结束后，日本为庆祝胜利，在御花园举行露天晚会，出于礼貌日方向停泊在东江湾的“俄亥俄”号美军军官发出邀请。美方高级官员对赴宴不感兴趣，就委派包括尼米兹在内的6名青年军官代表出席。
6名低阶军官去得有些晚，只能在出口找到几个位置坐下来。作为宴会的主角，东乡平八郎已经淹没在从俄国人那里缴获的香槟酒中，自然不会注意到他们。宴会快结束时，东乡正准备离席。尼米兹怂恿同行的几个人去给东乡敬酒，于是大家起身迎向东乡。
这是一个冒失的行为，对方也许会感到不快，但东乡看到几个年轻的美国同行很高兴，他与众人一一握手并用英语与他们交谈了一会儿，然后才礼貌地离开。
这件事给尼米兹留下了深刻印象，并一生崇拜这位日本海军元帅。东乡一定没有想到，就是眼前的这位“委派军官”，在几十年后消灭了他和伊东祐亨等人一手缔造的日本联合舰队。
其实尼米兹在海军军官学校做学员时，就一直把日本作为潜在敌人来研究，并把太平洋当做模拟战场。当时日本在太平洋的海军实力首屈一指，所以尼米兹认为美日之间的战争不可避免，正是因为这种“未雨绸缪”，他才会在战争爆发时，从容指挥太平洋舰队击败对手。
1907年1月，尼米兹通过两年的考察期，如愿晋升为海军少尉，不久之后出任“帕奈”号炮艇艇长。此外尼米兹还负责菲律宾棉兰老岛一处狭小港口的守备任务，并指挥着一个由22名海军陆战队组成的守备队。
7月，因美国在日俄战争结束后的谈判中偏袒俄国，导致美日关系紧张，双方在海上剑拔弩张。美国总统西奥多·罗斯福下令大西洋舰队调往太平洋，同时命令亚洲舰队加强戒备。驻守在菲律宾甲米地基地的司令官哈里斯少将交给尼米兹一个临时任务，命令他在48小时内把即将退出现役的“迪凯特”号驱逐舰开到60海里外的船坞去。
尼米兹就这样“幸运”地当上了一艘驱逐舰的指挥官，但是当他看到“迪凯特”号时则大失所望。“迪凯特”号其实是一艘比较新的船，建于1898年，是美国重振海军时第一批蒸汽动力舰船。不过这艘战舰已经被弃用，一些重要设施丢失了，剩下的几乎是一个空壳。尼米兹的具体任务是弄到水、煤和装备，然后恢复这艘船的动力系统，并把它开到船坞去。
他在担任“帕奈”号艇长时，结识了几个后勤部门的军官，这些人帮助他用最快的速度把所需物资运到了船上。尼米兹和船员们则一刻不停地安装、维修舰上设备，终于让一个锅炉冒出了烟。尼米兹命令“倒船”，结果船却向前开，这才发现传令钟装反了。就这样他们一边维修随时出现的故障，一边驾驶船驶向目标，其间他们没有海图，还遭遇了一场大雨。不管怎样，尼米兹还是按时完成了哈里斯少将交代的任务。
当上驱逐舰舰长的尼米兹很是风光了一阵。当年晚些时候，西奥多·罗斯福的私人代表塔夫脱到访马尼拉，“迪凯特”号全程负责护送。尼米兹给这位未来的美国总统提供了细心周到的服务，并给他讲了很多关于得克萨斯的故事，据说塔夫脱因此迷上了得克萨斯，并在1909年在那里购置了一套房产。
善于交际的尼米兹也得到了其他高官的赏识，塔夫脱走后，美国驻苏禄群岛的总督罗杰斯上校索性把“迪凯特”号作为自己的旗舰。
1908年7月，尼米兹奉命指挥“迪凯特”号返回马尼拉湾。当船驶入马尼拉湾南部的八打雁港时，由于没有计算好船的方位，也没有停下来观察潮水涨落，结果造成搁浅事故。尼米兹几次尝试着把船倒回去都没有成功。于是在那个漆黑的夜晚，他索性找来一张行军床，放在甲板上舒舒服服地睡到天亮。第二天黎明，一艘路过的汽艇把“迪凯特”号拖出了浅滩。
这件事本可以就此结束，但尼米兹还是如实地将情况汇报上司。根据海军管理，一旦有报告就必须调查，必要时还要给予当事人处分。不久之后尼米兹出庭受审。鉴于他能够主动交代问题，并且是初犯，以及船上缺少海图等客观因素，法庭最终决定从轻处罚，以“疏于职守”的罪责对他当众警告，并解除他“迪凯特”号舰长的职务。
“搁浅事件”对尼米兹的军旅生涯造成了影响，也严重挫伤了尼米兹的情绪。从那以后，那没有再出现违规记录，至于是没有还是发生了没有上报就不得而知了。
1909年1月，他被调到潜艇第1支队任职，而且是从指挥岗位调到了技术岗位。当时潜艇还没显现出作为进攻性武器的作用，按照尼米兹的话说那是一个“非驴非马的东西”。潜艇上的工作很辛苦，没有额外补贴，也不是一个获得晋升的良好阶梯，所以接到调令的尼米兹非常失望。他曾多次提出申请，希望调到战列舰上服役，都没有获得准许。
也许是从小受到祖父的影响——既然无法改变那就在力所能及的范围里全力以赴。他开始刻苦钻研潜艇技术，在发现汽油发动机存在排泄毒气和易于爆炸的问题后，他提出在潜艇上改用柴油发动机的主张，并经过试验获得了成功。渐渐地他在海军内已经成为公认的柴油发动机专家。
1913年5月，美国海军委派尼米兹赴德国学习柴油发动机技术，此时他已经从少尉直接晋升为上尉，并在不久前迎娶了妻子凯瑟琳。回国后，尼米兹调到纽约海军船厂，任务是督造两台2600马力的柴油发动机，并将它们安装在“莫米”号油船上。其间他的长女“小凯瑟琳”出生，一年后长子“小切斯特”出生。
当时美国市场对柴油发动机的需求量极大，尼米兹作为公认的海军柴油机专家也引起了制造商们的注意。1915年的一天，一家柴油机制造商的代表走进他的办公室，表示愿意以2.5万美元的年薪聘请他，并且与他签订一份5年的长期合同。当时尼米兹的月薪是240美元，另有40美元的交通费，很显然对方拿出了足够的诚意。但尼米兹拒绝了，他只是告诉对方，自己不打算离开海军。对方以为他在讨价还价，表示待遇还可谈，尼米兹还是拒绝了。
“莫米”号即将完工时，尼米兹接待了一批参观团。为了不让手上沾上油渍，尼米兹在演示时戴了一副白手套。有个人提出了一个问题“如何知道排气装置是干净的”？尼米兹一边讲解，一边将手指伸进了正在运转的机器，结果两个齿轮夹住了手套，接着就卷进去一根手指，幸好他的手指上戴着海军军官学校颁发的毕业戒指，卡柱了齿轮，他才将手抽了出来。
尼米兹被送进了医院，一位年轻的水兵拾起掉在地上的血手套，里面竟掉出来一节被轧断的手指。
断指并不是尼米兹在工作中遇到的第一次伤害，早在实习期间，他在舰上觉得耳朵不舒服，由于没有医疗条件，舰长用没有消毒的油壶把硼酸灌进他的耳朵里。这种土办法引发了感染，导致尼米兹患有轻微耳聋，而且再也无法治愈。还有一次他在工作时被倒塌的台架砸伤，虽然没有骨折，但他的背部在多年后也会时常作痛。
1916年，“莫米”号油船下水服役，尼米兹担任迪杰少校的副手，担任“莫米”号副船长和总工程师。次年4月美国对德宣战，“莫米”号奉命跟随第8驱逐舰分舰队赴大西洋参战，负责给驱逐舰补充油料。
利用船只靠岸检修的间隙，尼米兹等人仔细研究了舰队所属的6艘驱逐舰设计图纸，并在全军首次制定了一套海上加油的计划。舰队出海后遇到了狂风巨浪，“莫米”号将计划加油时的航速从10节降低为5节，并在一天内给所有驱逐舰加满了油。第8驱逐舰分舰队因此没有在海上停留，仅用10天的时间就赶到指定位置，并立即投入反潜巡逻战斗。至当年7月，“莫米”号累计完成34艘美军驱逐舰的途中加油任务，证明尼米兹提出的“海上加油”方法切实可行。
1918年8月，尼米兹晋升少校军衔，调离“莫米”号改任大西洋舰队潜艇部队司令罗比森上校的技术副官。二人因工作结下了终生友谊。正是在罗比森的推荐下，尼米兹于1919年初临时出任“南卡罗莱纳”号战列舰副舰长，得以回到水面战斗舰船的指挥岗位，往返欧美运送美军士兵回国。
1920年6月，海军部委派尼米兹赴珍珠港，负责建造海军潜艇基地。后来这座基地逐渐扩大为美国太平洋舰队的母港。多年后尼米兹重返珍珠港时，他的办公室就是自己当年建造的。
1922年，尼米兹中校调往母校——美国海军军官学校任教和进修。虽然这让他离开了军事岗位，但他很清楚，这是美军军官迈向高级职务的重要一步。
尼米兹回到海军学院时，担任院长的是西姆斯少将，此人曾担任过战列舰舰长，而后在军中以提倡发展航空母舰著称。发展航母最早是由英国人提出的，一战时英国海军与德国海军爆发日德兰海战。此战英国人在战术上输给了德军，战后英军总结出的最大教训是指挥官缺乏准确的战场情报。
英国人认为应该在舰船上配备飞机，以便在海上执行任务时，可以搜集到更广泛海域的情报。美国人跟随英国的步伐，把一艘运煤船改装成了小型航母，1922年“兰利”号入列服役。
空军的亨利·米切尔是另一位实践者，他将从德国人那里缴获的“东弗里兰斯”号战列舰作为靶舰，用7架轰炸机编队对其实施轰炸试验。这艘战列舰被6枚2000磅的炸弹击中，很快就倾覆海中。
尽管米切尔的试验引发了巨大争议，但西姆斯少将断定战列舰已经过时了，它的攻击半径与航母舰载机无法相比，后者可以在敌方军舰看不到的位置，甚至是几百海里之外发动攻击。
西姆斯的观点并没有赢得一致支持，仅仅在海军军事学院内部，也有很多人坚持传统观点，认为战列舰仍然是“海战皇后”，其强大的威力不会被任何新奇和外壳脆弱的舰只取代，比如航空母舰。好在海军没有像陆军那样自我了断，1927年，原本计划退出现役的“列克星敦”号和“萨托拉加”号巡洋将改装成航空母舰，正式入列服役。
尼米兹在20年代初的理论交锋中没有留下印记，但从他的研究成果上看，显然已经接纳了西姆斯的观点。他将重心放在了对舰队编队的改革上，呼吁将航母编入战列舰编队，但他的初衷并不是发挥航母舰载机的攻击作用，而是像英国人考虑的那样，扩大舰队的搜索范围，防止敌方来袭。
他还呼吁弃用传统的海上编队队形。在日德兰海战中，英军将24艘主力战列舰分成6路纵队，担任护卫的巡洋舰和驱逐舰则组成多个长方形队形环伺其中。这种队形在突遇强敌时很难在短时间内改为战斗队形，这也是英军在日德兰海战遭受重大损失的原因之一。
为此尼米兹和同事麦克福尔提出环形编队方案，即把巡洋舰和驱逐舰围绕主力战舰（战列舰）组成若干个环形编队，这种方式既可以集中火力，也便于主力战舰展开。反对声音很快指出了环形编队的缺陷——护卫舰需要经常更换航向，还要变换航速，在通信条件仍然落后的情况下难以保持编队队形。
尼米兹并不气馁，在海军军官学校毕业又接受过飞行训练的福雷斯特·谢尔曼少校提出以航母为中心组建海上编队后，他继续主张以航母为核心的环形编队队形方案。尽管当时美国海军革新的步伐依旧缓慢，但西姆斯、米切尔、麦克福尔、谢尔曼以及尼米兹对新技术、新理论的尝试为二战美国海军迅速形成“以航母为核心”的编队模式奠定了基础。
1925年，罗比森被任命海军最高指挥官——美国舰队总司令。他将尼米兹重新召回，担任自己的副官、助理参谋长和战术官。
1929年，在罗比森的提携下，尼米兹出任驻圣地亚哥的第20潜艇支队司令。
1933年，尼米兹迎来了一次重要的任命，担任“奥古斯塔”号重巡洋舰舰长。作为亚洲舰队的旗舰，能够担任该舰舰长的人在之后都有显赫地位，第一任舰长理查森后来升任美国舰队总司令，第二任舰长则是二战期间担任大西洋舰队司令的英格索尔。尼米兹则是这艘战舰的第三任舰长。
当尼米兹接手“奥古斯塔”号时，舰上的情况并不令其满意。舰船刚刚经过两个月的大修，舰员缺编，舰上的清洁状况也很差，原有的设备生了锈，新更换的管道则沾满了油手印。尼米兹毫不客气地撤换了一批军官，然后从军内重新选拔人才。为了锻炼这些新手，他会分配给每个人更多的职责，并鼓励部下将权力下放。他鄙视那些代替下属完成工作的军官，认为“事必躬亲”的指挥官无法集中精力思考更重要的工作。
一次他发现一名中尉正代替手下掌舵，于是面露不快地对旁人说：“我最讨厌的是一个中级军官只会掌舵，那应该是少尉的工作。”
还有一次他发现一名少尉在开船进港时，一时慌乱忘记减速，结果不得不把船倒回去。尼米兹从头到尾一言不发，等船停稳后问那名少尉：“你知道错在哪了吗？”后者涨红着脸说自己开得太快了。尼米兹点点头，没有追究。
还有一次，一名少尉在晚上为了炫耀自己学过吹号，代替号兵亲自吹响了归营号和熄灯号。尼米兹得知此事后亲自召见了他，然后命令他在接下来的一个月训练出一批好的号手，并提醒他不要影响其他人休息，授课的地点只能在舰尾或机房。
尼米兹是在向部下传达一种理念——专心做事。
正是在尼米兹的带动下，“奥古斯塔”号的精神面貌焕然一新。在1934年“奥古斯塔”号参加的所有竞赛中，他们都取得了第一名的成绩。当尼米兹在1935年卸任舰长时，舰员们自发地组织了一次送别会，这让尼米兹上校感动得热泪盈眶。
1938年6月，尼米兹晋升少将军衔。他的职务依旧调动频繁，先后出任第2巡洋舰分舰队司令，第1战列舰支队司令等职。1939年8月，他调回华盛顿出任航海局局长。
1939年德国入侵波兰，揭开二战欧洲战场的序幕。航海局的任务是招募新兵、组织培训，然后把人员分配到各部队。这项工作与战争没有直接关联，却与政府高层甚至是白宫保持着密切联系。罗斯福总统很赏识尼米兹，二人的行事风格相近，都愿意放权，把工作交给下面的人去干。自己则腾出精力思考更重要的问题。
1941年初，罗斯福在办公室召见尼米兹，希望他出任太平洋舰队司令一职。这个职务仅次于海军作战部长，前任司令查瑞生海军上将因反对将舰队移驻珍珠港，已经被罗斯福停职。尼米兹冷静地考虑了这项任命，论资历现役海军将领中有超过50名将军比他更资深，如果接受总统的任命，他将来一定树敌颇多，反而不利于自己的发展，所以他婉言谢绝了罗斯福的好意。
罗斯福并没有勉强，而是选择尼米兹的同窗好友金梅尔出任舰队司令，并临时晋升他为上将军衔。
尼米兹作为航海局局长，对局势发展了解得并不及时。他不知道美日自1941年初就开始了漫长的谈判。1941年12月7日，尼米兹正在家中与家人共度周末。吃过午餐后，他躺在皮椅上，安静地收听着广播里播放的古典音乐。旋律突然停止，传来播音员惊慌失措的声音：美国在夏威夷的海军基地遭到日本袭击……
