在中国近代史军阀中，四川军阀完全是独树一帜，他们内部都想扩大自己的地盘，互相攻打杨森作为四川军阀中特别的一位，无比贪恋美色。当时四川流传着这样一首歌谣，“采花将军，名叫杨森。妻妾成群，全是美人。”杨森以妻妾成群，儿女众多而出名。据目前公开资料显示，杨森妻妾有12人，儿女43人。

杨森的大太太张氏是四川本地人，也是名门之后，这位太太温柔贤良很有大妇风范。其实一开始杨森也不是风流成性的人，他一直认为张氏是他唯一的妻子，可惜张氏结婚没几年就身患绝症，年龄仅20岁出头，失去爱妻后杨森开始了他的风流人生。

在杨森不断升职的同时，他的后宫团规模也是逐渐壮大。发妻张氏去世后，父母就给他安排了另一位妻子，谭正德。，但是并不受杨森宠爱，谭正德的人生大部分都是自己在老家度过的，根本没见过杨森几面。因为要带兵打仗，杨森也很少回老家，他在外面强抢民女、娶妻纳妾也是风流快活。

后来杨森被黄毓成俘虏，杨森并没有像其他俘虏一样惶恐不安，他毫不畏惧，胆识过人。于是就被黄毓成留下在司令部当副官。也就是在这里，杨森结识了自己的第三位夫人刘谷芳。

刘谷芳的父亲刘柱卿是当时负责建造别墅的一个小头目。他见杨森一表人才，军人气息浓厚，便有意将自己的女儿嫁给他。可刘谷芳也没有享福多久，便在抗战时感染肺病去世。后来的杨森也没闲着，继续寻花问柳。

第4位田衡秋，是四川阆中当地一位大户人家的千金，家里很有钱，也上过学，有文化，长相自然没说的。杨森驻军阆中时，骑着高头大马，看到迎面而来的田衡秋，色心大发。之后，杨森下马一路尾随田衡秋一路来到田家，记住了田家的住处，并趁热打铁，找人前来提亲。当时，杨森在军中职务并不高，还是一个好几婚的男人，田家一口回绝，但杨森并没有放弃，软硬兼施，弄得田家不得安宁，最终很无奈地将田衡秋嫁给了杨森。

第5位萧邦琼，萧邦琼的父亲是杨森的秘书，在女儿很小的时候就带女儿在身边。有一次，杨森举办宴会，萧父带女儿参加。结果，杨森见到萧邦琼两眼放光彩，摸着萧邦琼的头一个劲儿地赞叹：“真漂亮啊……几年不见，长这么大了……”萧父心知肚明，没几天就将女儿嫁给了杨森。据说，与田衡秋相比，萧邦琼更会揣摩杨森的心思，也更有女人味儿，但这正是这位让杨森心欢得难以了得的女人，却在1931年因乘船溺水身亡了

这个大色鬼又有了第六个妾室，名叫陈顺荣，她原本是三姨太刘谷芳的贴身侍女，被杨森看中强行占有。陈顺荣是最不受宠的一任，杨森都没把她当人看，动不动就对她拳打脚踢，还用马鞭抽打。陈顺荣因此精神受了刺激，得了精神病，后被杨森用铁链拴着送回了老家乡下，最终在重庆病死。杨森这个糟老头子坏得很，后来又把自己的养女纳为妾室。

第8位汪德芳，是成都人。父亲和萧邦琼的父亲一样，曾是杨森的秘书。女儿长大了，光彩照人，但汪父的身边却团聚了一批小人，经这帮小人的强行说合，汪父被迫将女儿嫁与了杨森。当时，汪德芳只有15岁，和第7位曾桂枝、第9位蔡文娜一样，婚后，汪德芳被杨森送到上海等地学习。虽然学成之后，汪德芳回到了成都，却与杨森的关系形同冰炭，靠自身的实力成为了社会名流，最终大胆地与杨森分手，连与杨森所生小孩也改姓汪 。

第10位郑文如，也是被“送”来的。本是工厂里一位普通女工，但因与杨森手下一位医官有亲戚，改变了自己的命运。医官听说杨森要纳妾，立即想到郑文如，通过做郑文如父母的工作，将郑文如精心打扮后送到了杨森面前。杨森很高兴，提拔了医官，年仅17岁的郑文如从此被杨森带在身边，形影不离。然而，后来的情况很不幸，郑文如因为得肺病，容貌大变，被杨森弃之一旁。1949年，郑文如留在了重庆，再嫁给一名普通工人。

14岁的胡洁玉为第十一妾。后来杨森还在晚年时把胡洁玉带到大陆对岸侍奉，在杨森86岁时，胡洁玉为他产下一女。

杨森90岁高龄时，还以招募女秘书为理由，将17岁的女学生张灵凤娶进门，成为杨府第“十二钗”。更不可思议的是，张灵凤不到一年，张灵凤居然为杨森生下最后一个女儿，一时传为奇谈。1977年5月15日，杨森以93岁高龄在台湾去世。

1977年，杨森在台北结束了他的一生，享年93岁。根据粗略的统计，杨森这一生正式的姨太太有12位，但是其他没有名份的更是数不胜数。杨森打过袁世凯，打过洋人，打过日本人，这一辈子也足够传奇。