1946年，贵阳召开运动会，杨森在主席台看一个女学生对着他笑，问：“你父亲是谁。”女学生说杨森就是他父亲，台上台下笑声一片，杨森尴尬不已。 在四川军阀中，杨森以妻妾成群，儿女众多而出名。1945年初，杨森被委任为国民党贵州省主席，不久后，他到重庆去向蒋介石述职。得知杨森要回重庆，他的妻妾儿女们都前来迎接，杨森见一个孩子长得乖巧，抱起来问：“你是哪个夫人生的？叫什么？” 一旁陪杨森回来的参谋长尴尬的说：“杨主席，这是我的儿子。” 原来，参谋长的太太得知丈夫跟着杨森回重庆，便带着儿子也前来迎接。儿女众多的杨森，不能把每个人都记清楚，所以认错了儿子。此事很快传开，杨森在重庆期间，老蒋和他见面时，还以此事调侃。 杨森有名分的妻妾有十二个，但显然远不止这个数，他从军数十年，在各地辗转驻军，期间和不少女子做了“露水夫妻”，这些女子的在杨森走后，大都改嫁他人。 有一次，老蒋路过成都时，杨森尽地主之谊，在宅子设宴。老蒋到了杨宅后，发现有不少的女子往来经过，忍不住问：“这都是你的夫人？” 杨森说：“有些是，有些不是，不过大部分都是。” 老蒋听后愕然，转而又忍不住发笑。 被杨森先后以“明媒正娶”形式纳入杨府，有正式名分的妻妾共有十二人，刘文辉、刘湘等四川军阀将她们戏称为杨森的“十二金钗”。 第一任夫人张氏，是杨森尚未发迹时娶的，张氏为人温顺善良，和杨森感情很好。在杨森考入四川陆军速成学堂后不久，张氏突然病死。杨森后来担任川军二十军军长后，将张氏的弟弟召来担任军需的肥缺，此后也多有照顾。 二夫人谭氏，是杨森从陆军速成学堂毕业后迎娶的，这门婚事，是杨父张罗的，杨森婚后和谭氏感情一般，在陆续娶了别的姨太太后，将谭氏冷落。谭氏长期独居在大宅院，晚年郁郁而终。 1913年，杨森在滇军将领黄毓成部任职，黄毓成在昆明建别墅，让杨森负责监督施工。工头刘柱卿，见杨森谈吐不凡，认为日后必有成就，便将女儿刘谷芳嫁给杨森。杨森发迹后，刘柱卿替他经营产业，往返各地，获利甚巨。三夫人刘谷芳并不得杨森宠爱，后患病而死。 四夫人田衡秋，是杨森抢娶来到。田衡秋的父亲是阆中有名的大户人家，杨森驻军阆中时，一天在街道上遇见了漂亮的田衡秋，魂不守舍，当即带人去田家求亲。田父以女儿已有婚姻拒绝，杨森不依不饶，频繁上门骚扰。惹不起的田父，只得将女儿嫁给杨森，也因此气得大病卧床，不久后死去。 田衡秋家境殷实，有见识，嫁给杨森后，因她精明能干，杨森让她负责理财持家。1949年，杨森在逃往台湾前，先让田衡秋带着家财先走，可见信任程度。田衡秋后来去香港探亲时，突发疾病卧床不起，这时的杨森显得很是冷酷，基本是不闻不问，田衡秋卧床二十多年后死去，期间的治病花销靠的都是在美国的女儿定期汇款。 五夫人萧邦琼，是杨森一个秘书的女儿，在一次宴会上，萧邦琼跟着父亲参加，被杨森看上。萧邦琼嫁给杨森后，颇受宠爱，不过她也是个不幸的人，在一次坐船渡河时发生覆船，溺水而亡。 六夫人陈顺容，最不受杨森喜爱，她本是杨府的丫头，杨森在一次醉酒后将她侮辱，遂纳为妾。陈顺容为人木讷，长相也普通，杨森脾气上来对她非打即骂。在折磨之下，陈顺容的精神出现了问题，被杨森派人送去乡下居住，回乡不久后就病死了。 七夫人曾桂枝是个悲情的女子，她本是杨森的养女，长大后被杨森霸占。曾桂枝后来在上海读书时，与陈姓同学相恋。杨森得知后，将两人骗来后，让手下带去郊外枪杀。 八夫人汪德芳，她在十五岁时，被杨森看上抢娶。汪德芳长大后，去上海求学，她对杨森的所为所为非常痛恨，两人关系很差，连所生的孩子都姓汪。 九夫人蔡文娜也是个苦命的人，她是泸县女子中学的校花，被杨森看上后强娶。蔡文娜后来在读大学时，和同学吕某相恋，结果落得了和曾桂枝一样的结局，惨遭枪杀，吕某在得知蔡文娜被杀后，逃往国外，躲过被杀。 杨森在枪杀蔡文娜后，他手下的医官，将亲戚郑文如介绍给杨森。杨森见郑文如长相漂亮，很是满意。在迎娶十夫人郑文如后，杨森将这个医官提拔为军医处长。郑文如嫁给杨森后不久，得了一场大病，病愈后容貌枯槁，杨森对她变得极为冷淡。四川解放时，郑文如选择留下，后来嫁给了一个纱厂的工人。 杨森卸任贵州省主席回到成都后，有一天杨府的一个仆人的女儿胡洁玉借宿，结果被杨森看到，强行要娶。仆人带着女儿跑回广安老家，但杨森不依不饶，无奈之下，仆人只得将女儿嫁给杨森，当了十一夫人。 1972年，年近90的杨森，以招募女秘书为由，娶了当时年仅17岁的台湾新竹女子张灵凤。婚后一年，十二夫人张灵凤生下一女，这让那些不看好老迈的杨森再娶的人，惊愕不已。 不少国民党军政人员，对杨森娶了“十二金钗”，艳羡不已，只是这种“艳羡”的背后，有着曾桂枝、蔡文娜惨死，其他夫人备受摧残的血淋淋真相。（图片：杨森在第九战区时，和薛岳的合影）
