洪武三年（1370年），朱元璋大封功臣。授命為他開國翊運守正文臣、資善大夫、上護軍。按運籌帷幄的功績，劉伯溫理當入公，但最初封公的六人為李善長、徐達、常茂、李文忠、馮勝和鄧愈。李善長被封為韓國公，明代開國第一功臣，年俸4000石。而劉伯溫的爵位僅為誠意伯，年俸只有240石。
明朝立國後，劉伯溫仍提出不少治國之策：如御史的檢舉彈劾；勸朱元璋，國威已立，應當稍微採用寬大政策來治理天下。但即帝位後的朱元璋，心態開始發生變化，"非我族類，其心必異"，功臣們一個個被誅殺或者革職。劉伯溫為保全自己採取三項措施：主動辭官告老還鄉，不管政事；讓兒子留京為官，當作人質；退隱後保持異常低調的生活。
但即便如此，也難免禍事憑空來臨。劉伯溫曾因為"談洋"是浙、閩地界的小地方，走私鹽販往往聚集在此，多出亂民，建議在青田設立談洋巡檢司，遭到政敵胡惟庸的誣陷。胡惟庸對朱元璋說：談洋這個地方有王氣，劉伯溫想佔來作自己的墓地，百姓不同意，他便請求設立巡檢司來驅趕百姓。這一番誣陷擊中朱元璋的要害，嚇得年邁的劉伯溫從家鄉星夜兼程來到南京，從此留居於此，再也不敢回家。
洪武八年（1375年），劉伯溫仍然和所有在京官員一樣，參加元旦的早朝，隨後在奉天殿做了一首《乙卯歲早朝》，這雖屬於歌功頒德的應酬文字，但詩中仍可以看見劉伯溫的心情。正月下旬，劉伯溫感染了風寒，朱元璋派胡惟庸帶了御醫去探望。御醫開了藥方，他照單抓藥回來煎服用，覺得肚子裡好像有一些不平整的石塊擠壓在一起，讓他十分痛苦。二月中，劉伯溫抱病覲見朱元璋，婉轉的向他稟告了胡惟庸帶了御醫去探望，服食御醫所開的藥之後更加不適的情形。朱元璋聽了，只是說了一些要他寬心養病的話，更知此事不妙。三月下旬，病情越來越重，已經無法自由活動的劉伯溫，由劉璉陪伴，在朱元璋的特遣人員的護送下，自京師動身返鄉。回家後，拒絕親人和鄉里為他找來的一切藥石，只是儘可能的維持正常的飲食。
劉伯溫自知來日無多，找來兩個兒子交代後事，並讓劉璉從書房拿來一本天文書，對他說："我死後你要立刻將這本書呈給皇上，從此以後不要讓我們劉家的子孫學習這門學問。" 四月十六劉伯溫卒於故里，享年六十五歲。六月，葬於鄉中夏中之原。關於劉伯溫的死因，後來胡惟庸案發後，醫生供認是胡惟庸授意他毒死劉伯溫的，有人推測，胡惟庸是得到朱元璋的授意才下此毒手。
武宗正德八年（1513年），朝廷贈他為太師，謚號文成。世宗嘉靖十年（1531年），因刑部郎中李瑜的建言，朝廷再度討論劉伯溫的功績，並決議劉伯溫應該和徐達等開國功臣一樣，配享太廟。
劉伯溫奇人奇事
1、密室的奧秘
據《三崗識略》所述，明朝皇宮大內有一密室，相傳是劉伯溫所設，鎖衛很嚴，世代相傳：不遇大變不開。二百年後，李自成兵圍北京城，攻城很急，崇禎皇帝親啟那座密室，裡面有一書櫃，中藏三副圖畫。第一副圖繪文武官員幾十人，披髮亂行，問內臣，回答說："難道是說官員多參與亂法嗎？"第二副圖繪兵將多倒戈棄甲，百姓負荷奔走，說："難道是說軍民都反叛了嗎？"再展開第三副圖，畫中人和自己酷似，穿白背心，光著右腳，散發掛在樹下，內臣不敢答，崇禎皇帝勃然色變。幾天後城破，崇禎皇帝吊死在景山上，和畫中所繪一摸一樣。
2、《燒餅歌》
一天，明太祖呆在內殿，正在吃燒餅。剛吃了一口，內監忽報國師劉伯溫來見。太祖用碗將燒餅蓋住後，將劉伯溫召進內殿。禮畢，太祖問道："先生深明數理，可知碗中是何物件？" 劉伯溫掐指算了算，應道："半似日兮半似月，曾被金龍咬一缺，此食物也。"打開碗，果然如其所說。朱元璋一邊吃燒餅，一邊讓劉伯溫預卜朱家天下的氣數如何，君臣一問一答，便形成了《燒餅歌》的內容。《燒餅歌》中預言了從明太祖朱元璋開始，到以後的許多大事：燕王篡位、土木之變、宦官亂政、明朝滅亡崇禎死、清軍入關、漢人剃髮、康乾盛世、滿清末朝等，這些預言無不被歷史所驗證。
3、劉伯溫碑文
1915 年乙卯年，山西地裂現出劉伯溫碑文，兩篇五言律詩，共148句。另有550年前由貢顯和收藏的劉伯溫《推碑圖》，共三卷。這兩部預言，都清楚的預言了從清末至現在，中國社會將面臨的大事。更是警示了到末法末劫時期，人類道德敗壞的程度，人類所面臨的劫難，彌勒下世救度眾生的事，以及眾生對此事的不同態度所得的不同結果：而時彌勒佛言："善哉！善哉！善男子信女子，我佛之傳三字三法，乃佛三寶，還有長生兩玉，並三十六件佛寶，一步到位，不求口虛，只求真心真踐。必得見玄妙，永續長生，必得正果，轉凡成聖，永離苦海。不信吾法語言，遭十種惡業，朝病暮死。聞三寶必生誹謗者，人身不得，萬劫難復人道。"
