1360年，朱元璋攻克金华，征召刘伯温来南京。刘伯温为朱元璋献上《时务十八策》，朱元璋大喜，当即将刘伯温奉为座上宾，并特意修建礼贤馆给他居住。

当时朱元璋已经有了自己的创业班底，唯有李善长文有徐达、常遇春，他们都是淮西人，而刘伯温却是浙东人。

在讲究同乡情谊的古代，刘伯温一个外来者在朱元璋的军中并不受欢迎。尤其是朱元璋的大管家李善长心胸狭隘，对于身怀大才的刘伯温非常记恨。这也注定了刘伯温日后的悲剧命运。

针对天下乱局，刘伯温建议朱元璋先攻打陈友谅，再去对付张士诚。在陈友谅大举进攻应天时，刘伯温出奇计，帮助朱元璋以少胜多，不仅大败陈友谅，还让徐达反推回了陈友谅的首府江州，江西全境归降。朱元璋称赞刘伯温是“吾之子房”。

刘伯温深得朱元璋信任，仪表堂堂，身材魁梧，能看天象风水，还会预测天气。朱元璋平日有什么事都会找他商量，朱元璋扫灭群雄，北定中原都是采用了他的策略。

1367年，刘伯温在元朝立法的基础上修成《戊申大统历》，这就是明朝的标准立法《大统历》。明朝建立以后，刘伯温被任命为御史中丞兼太史令，后受封为诚意伯。

与此同时，他与李善长等淮西勋贵的矛盾也愈发激烈。有一次刘伯温查到一个叫李彬的人犯罪，此人正巧是李善长的亲戚，李善长要求他予以通融，但是刘伯温还是上报给了朱元璋。李善长由此对他更加记恨。

当时李善长正准备辞去丞相，朱元璋问刘伯温谁合适。刘伯温认为杨宪、汪广洋、郭英等人皆不可用，就想让他当丞相。

刘伯温连忙以身体不好来推辞，朱元璋表面不说，但是心中对刘伯温也开始不满。恰逢天大旱，朱元璋问刘伯温怎么办？

一向神机妙算的刘伯温就给朱元璋出了一个主意，朱元璋照做以后发现还是不下雨，由此迁怒于他，把他赶回老家留职查看。

临走前还和朱元璋建议不要建都凤阳，元朝不可轻视，后来这两件事都被他说中了，朱元璋觉得还用得着刘伯温，就又把他叫回了南京。

李善长退休后，朱元璋让胡惟庸和汪广洋进入中书省。这两人在朱元璋面前诋毁刘伯温，朱元璋就再次下旨让刘伯温回乡。

这次刘伯温在家乡复习了三年，整日在深山中闭门读书，韬光养晦，想让皇帝放下心来。然而他千算万算，却还是没料到胡惟庸无中生有的捏造出了一个罪名，说有块地有王气被刘伯温强占了，意思就是说他图谋不轨。