省丞相胡廷瑞以保留部队为条件前来议降，朱元璋从刘基劝，接受胡的条件。胡降，其他守将见此纷纷前来纳款，整个江西很快并入朱元璋的版图。至正二十三年(1363年)四月，陈友谅乘朱元璋北上解小明王韩林儿安丰被围之际，从武昌率军倾城而出，围攻洪都；想守回这一重镇。守将朱文正力拒抵抗，两军相持多日。七月，朱元璋率大军南下，与陈友谅决战于鄱阳湖上。刘基日夜侍随朱元璋左右，参与军机。两军鏖战，血染湖水，双方死伤惨重，最后在湖面上相持不下。这时刘基向朱元璋献计，建议派重兵扼守鄱阳湖四周出口之处，以困陈友谅。不久，陈友谅率残军突围。想从小港汊口处逃窜，结果被朱元璋军扼住。陈友谅战死，余军大溃。消灭陈友谅势力以后，朱元璋马不停蹄，立即又挥戈东进，征伐张士诚。至正二十七年(1367年)九月，攻占平江(今江苏苏州市)，张士诚走投无路，自缢身死。自此长江中下游地区尽归朱元璋所有。朱元璋对刘基说：“先生是我创立江山的第一等功臣。”
刘基还有许多出其不意的战术，每遇战事往往以奇计制胜。在打江州时，他见江州城墙沿江而筑，又很低矮，便授意在战舰上建造云梯天桥。夜间驶到城墙脚下，将天桥架在城墙上，士兵缘梯而上，顺利破城。至正二十三年(1363年)他奔母丧从处州返金陵，途经严州(今浙江建德县)，正适张士诚部来犯，严州守将李文忠要出兵迎击，刘基劝阻说，不出三日，敌人会自己退走，到时出兵追击，可获大胜。李文忠听从了刘基的劝说。第三天黎明，敌军果退，李文忠出击，大胜而归。
刘基的运筹帷幄、神机妙算不仅使同僚下属钦佩不已，也博得了朱元璋的信任与尊敬。朱元璋将他比作汉代谋臣张良、尊称他“老先生”而不呼其名，经常和他一起商量军政大事，有时遇有重大决策，仅召他一人进密室相议，一谈便是半日。朱元璋有时对他几乎到了依赖的程度。刘基母亲故世，他想告假回乡奔丧，朱元璋舍不得他离开，婉言挽留而不准假。后来勉强准了，还不时写信到青田乡
