白崇禧不听李宗仁的劝告，自以为“对蒋还有用”，在兵败后乘飞机去了台北，不曾想这一去就再也出不来了。
白崇禧来台后彻底失去了往日的威风，与他积怨甚深的在台湖北籍人趁机找他算账。在一次设计委员会会议上，湖北籍“国大代表”对白崇禧提出弹劾案，在白崇禧逼蒋下野上大作文章。提案对白崇禧提出两点弹劾：
一是白崇禧在军费方面，吞没黄金7万多两；吞没汉口库存白银370多万两；二是白崇禧在军事责任方面，拥兵不救援徐州，不遵从统帅调兵命令，拥兵自卫。弹劾提案要求“追究责任，以明是非，振纪纲而知复兴。”
失去兵权的白崇禧恐惧，慌忙对自己进行辩护。不过，由于李宗仁的关系，所以蒋暂时还没有借此清算白崇禧的意图，在蒋的授意下，身为会议的陈诚为白崇禧开脱说：“华中的事，各委员所提的不是事实，有出入，你们要知道真相来问我。”此事后不了了之。
不过对白崇禧的监视是一直进行的。有一次，蒋不知从哪里得到情报，说白崇禧企图发展客家组织，再造势力。蒋岂容白崇禧东山再起，他迅速召见毛人凤，要立即查办。毛人凤得令后积极筹划暗杀行动。他先是收买了白崇禧的一名贴身副官。
不久，这位副官提供消息称：白崇禧要去花莲县寿丰山打猎。毛人凤当即派特务勘查现场环境，勘查者发现，有两条通往狩猎区的路，一条是只能步行登山的羊肠小道，一条是可乘人力轨道车登山的路。特务判断，年事已高的白崇禧只能以车代步，不可能走羊肠小道。于是，他们算准时间，将轨道车必经路上的一座木桥桥墩螺丝一一松开，特务们躲在远处树丛中静等白崇禧猎后下山。傍晚时分，从高山背后出现两辆轨道车，陪同白崇禧一同打猎的寿丰乡乡长林意双父子乘车在前，白崇禧和副官乘车在后。
当林意双所乘的轨道车行至桥面时，只听一声惨叫，车人一同坠入50米深的谷底。白崇禧和两名副官眼见前车有失，急刹车已来不及，身旁的副官用力将白崇禧推下去，白崇禧躲过一劫，但是另一名副官和林氏父子则坠落谷底。从此，白崇禧小心谨慎，不问政事。
情报局在白崇禧公馆对面专门设了个派出所，对他的一举一动进行严密监视。有一次，白崇禧跟一班朋友在一家咖啡店喝咖啡，临走时白崇禧将另外两桌客人的帐也付了，朋友们对此感到莫名其妙。白崇禧解释说：我看出他们是监视我的人，这个客我应该请。后来这件事传开来，那些不速之客承认那么多桌人中，确实只有这两桌是有监视任务的。白
还有一次，蒋经国派遣特工人员将白崇禧和薛岳两人的家进行了彻底搜查，连地板都被挖开检查了一番。当时白崇禧很生气，立即打电话责问蒋经国。蒋经国回答说：“健公，这并不是我的意思，你不信，打电话去问好了。”白崇禧又打电话问蒋，蒋回答说：“我知道这件事，不仅对你们俩人如此，人人都应该这样来一次。”其实，除了白崇禧和薛岳，别人却无此“待遇”。
1962年12月4日，白崇禧的妻子马佩璋病逝，他于逆境中痛失老伴，心灵所受的创伤不可言喻。后来，特务们得知白崇禧常去名医赖少魂家买补药，他们便给赖少魂挂了一个电话，对赖说蒋“”要你多“照顾照顾”白将军，不管什么病，都得下重剂量。赖少魂哪敢不从。几个月后，白崇禧从药中得到补益，有返老还青春之错感，就和照顾他的护士张小姐热恋起来。
1966年12月1日，张小姐又宿于白宅。第二天，副官见白崇禧还不起床，在室外连喊数声不见回音，破门而入一看，张小姐早已离去，白崇禧已气绝身亡。副官在给他穿衣服时，摇头叹息：“如今真是死在马上风了，先生成天喝药酒补阳，早知他身子会受不了的。”
白崇禧毕竟是影响力很大的人物，人一死也自然没有威胁了，所以在葬礼上倒是极尽哀荣，蒋亲往白府吊唁，何应钦、孙科、陈立夫、顾祝同等200余人组成治丧委员会，并对白崇禧颁发了褒扬令，倒也算是风光。