书接上文，且说张作霖在1902年的时候成功被清朝政府招安，当上了新民府的巡警前路游击马队帮办，按照现在的话说就是新民府的地方巡警营的副营长。这个部队属于清廷的老式部队，而且是地方保安团性质的部队，本来没多大前途，毕竟此时袁世凯已经开始小站练兵多年，后来的北洋军阀也都靠着袁世凯练出的北洋六镇支撑底气。

但是，事在人为，有本事的人即便靠着一支老式旧军队也能起家。

1902年张作霖被招安后当的是副营长，对于张作霖来说从地方保安公司一下子成为副营级军官，这得算是骤获高位，但28岁的张作霖却没有志得意满，也没有飘起来，而是积极表现自己。利用自己过去的经历和人脉关系，张作霖在被招安后开始积极的剿匪工作，战果也是收到肯定的。

1903年，因为剿匪工作得力，新民府向清政府上奏“新民府收抚各队中，打仗奋勇纪律严明以张作霖为最，拟密饬张接充陈树森营管带呈”。从此时起，张作霖这个名字进入国家机关，同时张作霖也正式成为寻经营的营长。到了该年7月，张作霖的巡警营又与巡辅营合并巡防马步游击队，合并后仍由张作霖担任营长，合并后该营人员为485人，张作霖也因此成为新民府的地方军头。

1904年，日俄战争在中国东北爆发，两国军队在中国土地上肆意交战，虽然此事听起来颇为气愤，但国弱被人欺，谁也没办法。相比于东洋人，张作霖更看好近在咫尺的沙俄，所以在日俄战争初期，张作霖接受了沙俄的资助，主动帮助沙俄对付日本人。但沙俄不太行，打了一段时间反而让日本占了上风。此时日本得空开始收拾那些亲沙俄的中国人，张作霖就是其中一个，张作霖直接被日本人抓住，差点就死在日本人手里。但日本人抓他的目的不是为了杀他，而是希望他能调转枪口帮助日本人，毕竟在东北日本人还是需要中国人的，尤其是有威望有部队有实力的中国人。所以，在日本人的威逼利诱下，张作霖不论是出于被迫，还是未来前景考虑，张作霖还是投到了日本人一方，从此和日本开始了长达20多年的合作。

日俄战争结束后，考虑地方治安问题，以及日俄在东北展现的实力，新民府的马队营被允许扩编，张作霖麾下由1个营扩编为3个营，人员在千人左右，张作霖实力大涨，已经可以成为团长。

1906年，张作霖一边训练部队，一边走关系，因而和盛京将军赵尔巽拉上关系，后赵尔巽以其带兵有方，再次扩编张作霖部队，从三营扩编至五营，张作霖顺理成章当上统带（团长），此时张作霖32岁。

到了1907年，东三省的长官又换人了，此时由徐世昌担任东三省总督，徐世昌到东北后首先就对东北的土匪很感兴趣，尤其是有个辽西巨匪杜立三，杀人害命、无恶不作，手段狠辣至极，徐世昌听闻张作霖和绿林道有瓜葛，就将剿灭杜立三的任务交给了张作霖，一方面是对张作霖的考验，一方面也是断了张作霖和土匪的联系。而张作霖和杜立三也确实有些关联，毕竟都是当地的名人，而且张作霖以前还当过一阵子的土匪，和各方的胡子都混了个脸熟。虽然在有些评书或者演绎故事里提到张作霖和杜立三是拜把子兄弟，又将此事形容的惊心动魄的，但其实张作霖和杜立三也算不上亲近，关系也不近。而且杜立三的年纪其实比张作霖还要小五岁，但作为巨匪，杜立三的在胡子中的名声却极大，手下也有五六百的人马。虽然张作霖手人马更多，但杜立三有山头地利优势，且手下都是悍不畏死的亡命徒，即便强攻能胜，损失也必定不小。于是张作霖和自己的弟兄一商量，既然强攻不行，那就诱杀。张作霖通过个人关系找到杜立三的叔父，以东三省总督徐世昌打算招安杜立三为诱饵，将杜立三引出老巢。杜立三虽然也担心这是陷阱，但只要想想以前在自己面前连腰都直不起来的张作霖现在当了正规军，手下还有两三千人人马就也心存侥幸，毕竟能当官谁还去当土匪啊。再三思量后，杜立三还是决定冒险前去，虽然先后安排了几道保险措施，还安排了接应的人员，但张作霖准备的颇为周密，先后好吃好喝的招待杜立三等人，在他们戒备最松懈的时候突然发难，一举将杜立三和其亲信处死，从此辽西巨匪杜立三成为往事。

由于在处理杜立三一事上的出色表现，徐世昌对张作霖非常满意，随即将张作霖擢升为奉天巡防营前路统领，也就是我们现在常说的旅长，这个职务就很高了，而且此时开始张作霖正式成为东北地区的高级将领之一，同时张作霖所部与奉天挂钩，为日后奉系军阀的形成开始铺垫。

这一年张作霖33岁，任职奉天巡防营前路统领，旅长级别，手下五营兵马，大约2500人左右。