公元前55年初，萧望之被由御史大夫之位转为太子太傅，他的御史大夫之位由黄霸继任。

公元前55年末，邴吉病逝，黄霸接替邴吉任丞相，杜延年接替黄霸任御史大夫。

在汉宣帝的雄才大略与众大臣的尽心竭力之下，汉朝的国势迅速恢复，汉武帝时代的亏空被完全补上，边境也十分稳定，汉宣帝治下的汉王朝比汉武帝时期要稳定强盛许多。

然而，汉宣帝在晚年也差点犯了错误——立嗣的错误。

汉宣帝有5个儿子，太子刘奭，次子刘钦，三子刘嚣，四子刘宇，五子刘竟。

被封为太子的刘奭和汉武帝的太子刘据一样，按照治国理念接受儒家教育，也和汉武帝的太子刘据一样，被养成了儒雅柔仁的书生气质。

汉宣帝看在眼里，也和汉武帝一样对太子越来越失望，逐渐产生了换太子的想法。

公元前64年的一天，太子刘奭忽然闯入汉宣帝的后宫，对汉宣帝大量启用法家人士提出意见，说启用法家人士只会加重刑罚，会造成人心恐惧，社会混乱，要求汉宣帝裁撤法家官员，多用儒家官员。

汉宣帝训斥太子刘奭说，汉家自有汉家的制度，霸道（法家思想）与王道（儒家思想）并行，若纯以儒家德教思想治国，才是乱国之道。

太子刘奭走后，汉宣帝感叹说，乱我家者，太子也！

自那天之后，汉宣帝越发的不喜欢太子刘奭了，将全部的爱投向了二儿子，汉宣帝宠妃张婕妤所生刘钦。

张婕妤是自许娘娘死后，汉宣帝最宠爱的妃子。

刘钦从小聪明好学，知书达理，而且还十分乖巧，很会讨好汉宣帝。

太子刘奭之所以没有被废，要多多的感谢克夫皇后王皇后。

当汉宣帝把换太子的想法说与王皇后听后，王皇后给汉宣帝上了两个时辰的历史课，将历史上曾经发生过的换立太子而引发混乱的故事给汉宣帝讲了个遍。

汉宣帝越听越觉得脊背发凉，越听越觉得如果他真的换立了太子，大汉江山就要毁在自己手里了。

课上完了，汉宣帝彻底放弃了换立太子的想法。

虽然没有将刘钦立为太子，但是汉宣帝还是很宠爱他的。

公元前63年，汉宣帝封刘钦为淮阳王。

因为汉宣帝曾经有意无意的在刘钦面前提过改立他为太子的想法，汉宣帝怕刘钦较真产生反意，于是派韦玄出任淮阳国相国，负责教育与辅佐刘钦。

汉宣帝这步棋下的非常好，在韦玄的教育下，刘钦并没有像之前那些诸侯王一样造反争王位，而是努力的治理淮阳，将淮阳治理的井井有条。

刘奭做了皇帝之后，招刘钦回京做了丞相，传为一段难得的皇家兄弟和睦的佳话。

公元前51年2月，汉宣帝将呼韩邪单于重新封为匈奴单于，统领其带领归顺汉王朝的原匈奴领土，王城定于光禄城。

郅支单于听说后，继续率众向北方退却。

至此，匈奴领土上出现了两个匈奴王庭，呼韩邪单于统领的南匈奴和郅支单于统领的北单于。