淮海战役的失利，军事上使蒋介石在南线的精锐主力损失殆尽，尤其是嫡系部队中的骨干，黄维的第12兵团和邱清泉的第2兵团全军覆没，其中还包括被称为“五大主力”的第5军和第18军。（五大主力其他三支部队分别是1947年5月在孟良崮被歼的整编第74师、1948年10月在辽沈战役中被歼的新1军和新6军）从而也就失去了蒋介石赖以支持战争的中坚力量。淮河以北完全被解放，淮南大部也为解放军所控制，江北只剩一个重要城市安庆在国军控制下，解放军已直逼长江，下一步攻击矛头直指蒋介石统治的核心地区——江浙沪地区。
就全国战局而言，辽沈、淮海战役后国民党军五大战略集团中，最强大的战略集团徐州集团和东北集团已不复存在，华北集团也危在旦夕，尚存的华中、西安两集团，在解放军不断打击下，也受到很大削弱，而新组建的京沪杭汤恩伯集团，实力很弱，这三个集团已构不成主力集团。黄河以北绝大部分已是解放区，黄河以南到长江以北，基本是解放区，国民党只得凭借长江天险占据江南半壁，但随着精锐主力的丧失，也已缺乏足够的兵力来组织起有效的防御。
国民党政治上的危机随着军事上的失败，进一步加剧，派系间的权利争斗，趋于白热化。白崇禧利用国民党政权极为不利的形势，于1948年12月25日提出“和平解决”的主张，并随即得到湖北、湖南、河南等省参议会的支持。在此形势下，蒋介石于1949年元旦发表新年文告，提出与中共和平谈判。然而此时，要和要战的主动权已不在国民党手中了。行政院院长孙科未经蒋介石批准，就率行政院迁往广州，宣布迁政府于广州，并表示反对与中共谈判，号召继续与中共进行战争，企图在外国势力支持下，经营华南。在国民党统治中心的南京、上海，已是人心浮动，惶惑不安。各轮船公司奉命在南京、上海集中船只，以供国民党政府紧急征用。各级政府官员，争相逃往香港、台湾。故宫博物院文物也开始撤离南京迁往台湾。
在此之前，1945年抗日战争胜利，北平收复，国民党政府再度接收故宫博物院，三处南迁文物复集中于重庆，于1947年运回南京。淮海战役的失利，迫使国民政府加紧从南京撤走重要文物。自1948年底至1949年初，南京国民党政府从南京库房中挑选出2,972箱文物运往台湾，后于台北市士林外双溪建立新馆，公开对外展出。余下的大批文物，在1949年以后陆续运回北京故宫博物院一万余箱，但至今还有2,176箱仍封存于南京库房，委托南京博物院代管。国民党中央党部仅剩十余人，立法院80%的立法委员逃离了南京。就连美国驻华军事顾问团也忙于撤退人员及家属。李宗仁回忆到：徐蚌会战已近尾声时，中共全盘胜利已成定局，京沪震动，人心惶惶，国内外许多民意机关，甚至统兵作战的高级将领，都认为前途无望。
四面楚歌的蒋介石，在这样局面下，只得采取以退为进的策略。经过精心策划和部署，于1949年1月21日，宣布下野引退，将总统之职交由副总统李宗仁代理，自己回到家乡浙江奉化溪口，在幕后遥控指挥。
对于淮海战役，国民党军统帅部在战后检讨中，不得不承认：国军遭受之失败，影响全局，最为重大，尤其是华东地区。由于国军在徐蚌决战中，主力兵团全部被歼，致使国军再无力与共军主力决战。美国驻华军事顾问团团长巴达维将军在给美国陆军部的报告中说：由于国民党政府在长江以北的失败所造成的耻辱，纵令时间容许，国民党政府是否能在华南取得必要的支持，动员这一地区的人力，以重建其军队，实属极端令人怀疑。国民党的完全失败，已是不可避免。美国驻华大使司徒雷登则认为：蒋介石的军事力量实际上是崩溃了。桂系一时间倍感扬眉吐气，甚至想大干一场。
淮海战役的意义就如毛泽东在战役结束后的第四天，即1949年1月14日发表的关于时局的声明中所说：“现在，人民解放军无论在数量上士气上和装备上均优于国民党反动派政府的残余军事力量。至此，中国人民才开始吐了一口气。现在情况很明显，只要解放军向残余的国民党军再作若干次重大攻击，国民党统治即将土崩瓦解，归于消亡”。
淮海战役的胜利，使长江中下游以北的广大地区获得解放，为解放军渡江作战奠定了基础。
