在功勋大臣之中，左丞相，太师，韩国王，位列功臣之首，在被册封为“太师”的时候，李善长就以年纪大了为由，主动请缨，退出了朝堂。朱元璋曾与刘伯温商议，让他接替李善长的位置。
其实朱元璋首先想到的就是山西阳曲的中书右相杨宪，在成立之前，他一直在秘密前线工作，与刘伯温也有过交情。刘伯温曾对杨宪作过“有相才而无相器”的评语，就是说他并不能胜任此职。
紧接着，老朱又给了他一个新的选择：汪广洋，来自高邮。这名从1355年开始追随朱元璋的老人，在治理方面有着过人的才能。明军在山东取得胜利，朱元璋第一时间就派了汪广洋到那里去，让他去抚慰那些将士，也算是对他的赏识了。毕竟山东是明王朝北方的第一块踏脚石，一个处理不好，后果不堪设想。但在刘伯温眼中，汪广洋的胸襟比杨宪还要狭隘。
朱元璋见两人都不同意，便对刘伯温使了个眼色，然后点名：胡惟庸。胡惟庸自1355年开始跟随朱元璋，在当地任职很长时间。他不仅有着丰富的工作经历，而且有着极强的团结能力。不过，他和李善长是定远老乡，朱元璋之所以将他放在这里，就是为了制衡淮西的权势。
没想到刘伯温听到胡惟庸这个名字后，竟然勃然大怒，说出了一句极为难听的话：譬之驾，惧其偾辕也。这意味着什么？言下之意，就是胡惟庸想要造反。朱元璋对此非常不满，认为这是浙东派系刘伯温与淮西派系李善长的派系之战。所以他对刘伯温进行了一番考验。
其实刘伯温的年龄要比李善长大得多，虽然他很想当宰相，但也不会当着老朱的面说出这样的话来。最后，朱元璋根本不理会刘伯温的劝告，还是让杨宪当上了宰相。
但是，让所有人都没有料到的是，杨宪才做了一个多月的宰相，就被人推翻，他的死亡，在明朝的历史上留下了浓重的一笔。《太祖实录》中有一段话，刘伯温曾在其好友杨宪的背后说过：“太史令刘基并发其奸状及诸阴事。”后来，朱棣在靖难夺权的时候，还提到了杨宪对朱标的不尊重。朱标为宋濂之徒，宋濂为刘基之友，其真实情况令人心惊。
杨宪之死，让朱元璋认识到，如今朝廷内的派系之争，比他预想的还要激烈。洪武四年，李善长官复原职，汪广洋升为左丞相，胡惟庸升为右丞相。同年3月，伯刘基亦因政治原因而退休。
从这一点就能看出来，刘基被逼退之后，心中很是不爽。二来，他对朝廷的监控也很敏感。若是他能像现在这样小心翼翼，或许还能过上平静的生活，但一场“谈虎色变”，却让刘伯温落入了胡惟庸的手中。
“谈洋”是一片与福建相交的狭长之地。刘伯温欲占其地，而此处又有许多平民百姓，如何是好？诚恳伯禀告朝廷，说从方国珍在位之日起，便有叛逆之徒在此地兜售盐业，以保当地太平，所以才要派巡逻队前来，其实就是要将当地的居民驱逐出去。
但这些人都是硬骨头，死活不肯离开，地方官府也拿他们没有任何办法。刘伯温暴跳如雷，这时他再也不认为自己是一个老实人了，便派大儿子刘琏前往南京，向皇上请示。朱元璋只听从刘伯温一方的意见，便下令刑部将这些地方的官吏押到南京审问。
恐怕刘伯温都忘记了，如今的宰相是胡维庸了吧？以一个贵族的身份，竟然要和一个平民争夺土地，胡丞相恐怕会目瞪口呆。胡惟庸将刘基的失误禀告给了朱元璋，说刘基犯了一个大错，那就是上书要经过中书省，而他的大儿子却被送到了皇帝面前。二经考察，刘基认为这是谈洋的坟地带有“王气”，他要葬在这里，于是就编造一个理由，将普通民众驱逐出去。朱元璋生平最痛恨与民相争，但因刘基的功劳，所以仅以减其岁俸以示惩罚。而刘伯温在得到这个消息的时候，也是第一时间赶到了南京赔礼道歉，然后在京城呆了很久。
