谢尔盖·列昂尼多维奇·马尔科夫于1878年7月7日出生在俄罗斯圣彼得堡的一个军官家庭，是一位信奉东正教的莫斯科世袭贵族。
他的父亲是一名炮兵指挥官，参加了中亚战役。母亲叫做维拉·叶夫根涅夫娜·阿拉尔，她除了马尔科夫之外，还生育有列昂尼德 、鲍里斯和叶夫根尼三个孩子。
1895年，马尔可夫以优异的成绩从莫斯科第一军学员毕业，并于8月26日转学到康斯坦丁诺夫斯基炮兵学校。
1898年8月8日，在近卫军第2炮兵旅晋升近卫少尉并放学。
由于对军事科学感兴趣，1901年马尔科夫决定进入尼古拉耶夫总参谋部学院学习。
同年10月，通过双重竞争考试，进入学院少年班。
学习期间，马尔可夫得以于1902年8月8日晋升为中尉。 后又于1904年5月31日晋升为上尉军衔。
学院毕业后，马尔科夫志愿参加日俄战争满洲前线。
1904年7月，他开始在辽阳市军事交通部长办公室的满洲第二军服役。
8月7日，受军需总长调遣；
8月8日，通过军事地形部，接受辽阳至盛京方向、盛京至西平盖高地的道路和地形侦察任务。
8月16日至19日，马尔科夫参加了寿山铺村附近和“99高地”的战斗。
8月22日起，马尔科夫率领一批军官对俄军从盛京到特林的撤退路线进行路线侦察。
1904年9月至12月，马尔科夫担任满洲军东部支队司令部总参谋长。
10月3日，在诺夫哥罗德山上的一场战斗中，他的兄弟第86威尔曼斯特兰德团少尉列昂尼德·马尔科夫受伤。10天后，在医院抢救失败。
12月6日，由于东部支队司令部解散，马尔科夫被任命为西伯利亚第1军团司令部。
期间，他奉命参加了1905年1月12日至16日的三德铺战役和1905年2月至3月的奉天战役。
1905年6月11日，马尔科夫调任总参谋部，任命为司令部高级副官。
从1904年夏天到1905年2月，马尔可夫因服兵役而被授予五枚勋章。
1905年10月20日，马尔科夫调任华沙军区。期间，他通过了芬兰军团近卫队第4连连长的军事资格。
1907年1月，马尔科夫担任第16步兵师司令部高级副官。
1907年6月至1908年1月，马尔科夫担任华沙军区司令部高级副官助理。
1908年6月至1911年10月，马尔可夫担任总参谋部军需部首席文员助理。
1909年3月29日晋升中校。
1910年5月3日至8月3日，马尔可夫前往德国出差，目的是提高自己的德语知识水平。同时，还在这次出差期间，执行了一项秘密任务，拍摄德国索恩要塞的改良堡垒。
从1908年起，马尔可夫便在巴甫洛夫斯克军事学校和米哈伊洛夫斯基炮兵学校教授战术、军事地理和俄罗斯军事历史。
他与格奥尔基·吉塞尔上校一起合作写了教科书《俄罗斯军事地理》。
第一次世界大战爆发后，马尔科夫被调到现役部队，并被任命为西南方面军总部军需部情报处处长。
1914年9月22日起，马尔科夫担任军需部部长；
10月22日起，担任第19步兵师参谋长；
1915年2月18日，他被授予二级圣安妮剑勋章。
1914年12月7日，马尔科夫接受了安东·邓尼金少将指挥下的第4步兵旅参谋长职务。从这一时期起，马尔科夫和邓尼金之间开始了积极的合作和友谊，并在1917年邓尼金指挥俄罗斯帝国陆军前线（马尔科夫始终担任他的参谋长）和志愿军（其中马尔科夫是在拉夫·科尔尼洛夫死后邓尼金接任军队指挥后最先对邓尼金表示信任的人之一）。 1915年1月15日，他被授予三级圣弗拉基米尔勋章。
1915年2月14日，在邓尼金的许可下，马尔科夫个人提出请求，临时指挥尼古拉·尼古拉耶维奇元帅大公的第13步兵团，与第4旅联合作战。
1915年7月，因特沃里尼亚附近的战斗，马尔科夫被授予四级圣乔治勋章。
他率领他的团在朱拉温、戈雷尼亚、普热梅希尔、卢茨克、恰托雷斯克等战役中取得了胜利。
1915年8月，他被授予圣乔治纹章。
1915年10月5日，马尔科夫被确认为团长，并于同年12月晋升为少将。
1916年春，马尔科夫率领的团准备参加即将到来的西南方面军攻势。
在最高统帅部的坚持下，由于总参谋部人员不足，重新任命他为第4师参谋长。
1916年4月底，马尔科夫将该团的指挥权移交给彼得·内佩宁上校。
1916年4月20日，由于前线大型部队缺乏总参谋部军官担任领导职务，马尔科夫被任命为高加索哥萨克第二师参谋长，并在随后调往高加索阵线。
1916年秋天，马尔科夫被召集到尼古拉耶夫总参谋部学院，为第一批速成课程讲授一般战术。他对于离开前线并不满意，并提出重返岗位的请愿书。
因为马尔科夫认为在学院里都是一些无稽之谈，是枯燥的理论。只有在前线，在战壕里，那才是真正的学校。
1917年1月1日起， 马尔科夫担任第10集团军司令弗拉基米尔·戈尔巴托夫斯基将军的上将。
二月初，他在彼得格勒出差，在二月革命前夕离开。
3月10日，马尔科夫接到命令，经明斯克前往布良斯克镇压该市的士兵驻军；他在一场骚乱中被捕，其间差点被动用私刑。
3月底，马尔科夫当选为第10集团军司令部官兵委员会成员，一直参加到4月中旬，并以演讲者身份前往各部队，为继续战争的人员进行竞选活动。
3月至4月，马尔科夫被任命为最高统帅司令部第二军需将军，并在那里与3月底被任命为最高统帅部参谋长的邓尼金再次会面。
自4月28日起，马尔科夫担任步兵第10师师长，之后调往司令部，任命为最高统帅下的第二军需将军。
从6月10日起，马尔科夫担任西方面军代理参谋长。
从8月4日起，马尔科夫担任西南方面军的代理参谋长，由方面军司令邓尼金将军领导1917年5月，马尔科夫晋升为中将。
当时，在军队当中有很多人都对二月革命之后所建立的临时政府不满，想要建立军事独裁政府，很多军事组织也由此相继成立。
同时，军方建立军事独裁政府的愿望，也得到一些民间人士的支持。
在这样的背景下，身为俄罗斯陆军步兵最高统帅的科尔尼洛夫在八月份，于莫斯科所举行的国务会议中，明确表示了自己的政治观点，并在随后发表了一场精彩的政治演讲。
科尔尼洛夫将军主张在全国范围内改组克伦斯基内阁，更换政府首脑，任命最高统帅，由军方来建立单人独裁政府等等。
对此，马尔可夫积极支持了科尔尼洛夫的讲话，并因此于1917年9月11日被前线政委尼古拉·乔丹斯基下令解除职务，并与西南方面军其他将领一起被捕。
马尔科夫被关押在别尔季切夫监狱的2号牢房。
10月9日，马尔科夫与其他将军一起被送往比霍夫监狱，其间又再一次差点收到私刑。
在监狱里，马尔科夫通过组织蛙跳游戏来娱乐自己和其他被捕的将军。
临时政府垮台后，新的布尔什维克政府暂时忘记了那些被逮捕在比霍夫监狱的将军。
1917年11月19日，最高统帅杜霍宁得知少尉率领的布尔什维克军队的火车即将驶近。克雷连科向莫吉廖夫发出了威胁，后者威胁要杀死他们，并根据丘尼欣上尉的命令，盖有高级调查委员会的印章，并伪造了委员会成员、军事调查员冯·劳帕奇和乌克兰人的签名，释放了这些将军。
马尔科夫伪装成另一位前比霍夫囚犯、军需将军伊万·罗曼诺夫斯基，乘火车前往顿河。在哈尔科夫车站，马尔科夫会见了邓尼金，当时，他也以波兰平民的身份前往顿河。
马尔科夫是最早加入志愿军的人之一，并积极参与志愿军的创建。
马尔科夫的任务包括紧急组建部队并使其进入战备状态。
1917年12月24日，马尔科夫被任命为志愿军司令员，同年1月接受志愿军第1师参谋长职务。
在布尔什维克对顿河畔罗斯托夫进行为期两个月的攻势期间，他领导了巴泰斯基方面军，与海军陆战队连一起组织了通往该城市的道路的防御。
在志愿军第一次库班战役开始当天，也就是1918年2月9日，马尔科夫在扎列奇纳亚，从那里沿着顿河左岸到达奥尔金斯卡亚村，他指挥了联合军官团，该团由亚历山大·博罗夫斯基将军的三个军官营、一个水兵分队和一个学生营组成。
马尔科夫率领的部队于1918年2月21日在列赞卡村附近的战斗中立下汗马功劳（这是志愿军在战役中的第一次胜利），随后又在3月1日别列赞斯卡亚村附近的战斗中立下了汗马功劳。
1918年3月15日，马尔科夫在新德米特列夫斯卡亚车站附近的恶劣天气条件下进行了过渡，并在战斗中成功占领了该村庄，使得志愿军与库班军的联合成为可能。
3月22日，马尔可夫担任志愿军步兵第1旅旅长。
在进攻叶卡捷琳诺达尔期间，马尔科夫的部队处于后卫和预备队，因此他们被编队投入战斗。
3月29日，马尔科夫接到科尔尼洛夫的命令，“夺取马炮兵营，然后沿北郊推进，侧翼占领黑海站的敌军部队”。
敌军的马炮军营很快被马尔科夫的部队占领，他的部队在那里盘踞，准备发起新的攻势。
在与科尔尼洛夫的最后一次部队指挥官会议上，马尔科夫因疲劳而睡着了，接到进攻命令后，他回到团里说：谁有干净的内衣，穿上它，我们就会攻击叶卡捷琳诺达尔，但我们不会不夺取这座城市。
1918年3月31日，科尔尼洛夫将军去世，马尔科夫取消了对这座城市的进一步进攻。接着便向志愿军新任司令邓尼金屈服，决定从叶卡捷琳娜达尔撤军。
在遭受巨大损失的军队中，马尔科夫指挥了独立步兵第1旅。
1918年4月2日至3日晚，马尔科夫在梅德韦多夫斯卡娅村附近的战斗中表现尤为出色。
当时，马尔科夫将军的有力行动使从叶卡捷琳诺达尔撤退的志愿军残部免遭彻底失败。
由于马尔科夫的个人功绩，志愿军得以占领梅德韦多夫卡火车站和梅德韦多夫卡娅村，俘获并摧毁一辆布尔什维克装甲列车，迫使第二辆撤退，夺取了大量的物资。缴获弹药筒、炮弹，突围并逃脱多次优势苏军的追击。
梅德韦多夫斯卡亚站的战斗使志愿军残部避免了彻底失败。
因为在第一次库班战役中，马尔科夫将军的发挥是如此的出色，使得在当时的志愿军队伍中，有不少将其美誉为“白衣骑士”“科尔尼洛夫将军的剑”“战神”。
4月下旬，马尔科夫旅对索西库车站进行了突袭，为军队补充武器弹药，同时也瘫痪了布尔什维克部队的行动。该旅缴获了3列火车和70挺机枪。
4月30日，随着这次行动的结束，志愿军第一次库班战役结束；
5月1日，马尔科夫的旅随着后军官团转移到顿河畔罗斯托夫。
在战斗间隙，马尔科夫报告了顿河畔罗斯托夫和新切尔卡斯克的政治局势和第一次库班战役的结果，看望了伤员，并为他的部队进一步的军事行动做好了准备。
6月初起，马尔科夫被任命为志愿军第1步兵师师长，下辖军官团、第1库班步枪团、炮兵连、工兵队和马尔科夫领导的普通队。
1918年6月9日起，马尔科夫担任步兵第1师师长，与志愿军第2集团军、骑兵第1师和顿河部队一起，出发参加第二次库班战役。 6月12日，马尔科夫率领部队逼近察里津 －托尔戈瓦亚铁路线，在沙布利耶夫卡车站附近的波波夫农场遭到布尔什维克的强烈抵抗。
志愿军的战斗进展困难，但到中午马尔科夫的部队占领了农场，布尔什维克开始从沙布利耶夫卡撤退。
马尔科夫下令派出数百名步兵和一支爆破队占领车站，破坏维利科尼亚热斯卡亚车站方向的铁轨，他本人则与图嫩贝格上校和蒂马诺夫斯基上校一起转移到空旷的地方，在折叠枕木上建立了一个观察哨车站附近。
这时，布尔什维克装甲列车向观察哨开火，一枚手榴弹在马尔科夫附近爆炸，导致他头部和左肩受致命伤。
马尔科夫被从火下救了出来，安置在附近的一所房子里，于6月13日凌晨四点去世。
凌晨五点，马尔科夫的尸体在第一工程连仪仗队的陪同下，被送往托尔戈瓦亚车站，前往邓尼金指挥部所在地。
邓尼金曾经表示，自己在马尔可夫去世后度过了一段艰难的时期，他在花圈上写道：“生与死都是为了祖国的幸福。”
收到马尔可夫去世的消息后，第一军官团立即根据邓尼金的命令更名为第一军官马尔可夫团 ——俄罗斯南部白军的四个“有色”军团之一。
马尔科夫被埋葬在新切尔卡斯克升天大教堂的军事公墓中。
