1938年4月5日，张国焘趁着祭拜黄帝陵的机会，上了蒋鼎文的车，自此消失无踪。张国焘这样级别的叛逃，在中国共产党历史上尚属首次，因此蒋介石十分高兴，立刻让戴笠保护他。

为了赢得蒋介石的信任，张国焘明白自己需要先“投名状”。他告诉戴笠，八路军129师原本就是红四方面军的部队，自己曾是其指挥官，他能够利用自己对这些部队的影响力，策反他们。张国焘还特别指出了几位忠诚的部下，称这些人很可能会响应自己的号召，建议戴笠重点关注这些人。

戴笠信以为真，派了五名特工前往八路军129师驻地进行策反。然而，出乎所有人意料，刚进入129师防区的两名特工就露出了马脚被捕。剩下的三名特工成功进入了驻地，并找到了张国焘提到的那些“忠诚的部下”。然而，结果却是那几名部下不仅毫不留情地把这三名特工抓了，还狠狠斥责了张国焘。

这件事充分暴露了张国焘作为“军阀”的本质。早在鄂豫皖苏区，他便自封为“土皇帝”，将红四方面军当做自己的私人武装。即便叛逃后，他依然固执地认为这些部下对他忠心耿耿，只要他发出号召，他们便会跟随他。而他却完全没有意识到，共产党员是对党忠诚的，而不是对某个人的忠诚。他的这种天真和自大，最终导致了失败。

这次失败让张国焘在军统的地位急剧下降，大家开始意识到，虽然他曾在共产党内部有过很高的地位，但叛逃后的他，已经失去了很大的利用价值。即便如此，张国焘并未放弃，他还向戴笠提出，想在延安建立一个“策反站”，进行长期的策反工作，坚信总会有些人会投奔过来。

尽管戴笠对他已经感到失望，但张国焘毕竟是蒋介石非常重视的人，如果没有取得任何成果，蒋介石不仅会怀疑张国焘，也会怀疑戴笠的能力，认为是他没能发挥张国焘的作用。因此，戴笠决定给张国焘一次机会，同意了他的建议。

然而，结果再次打了张国焘的脸。这个“策反站”花费了不少资金，也投入了不少人力，却始终没有产生任何实际成果。偶尔有几个人投奔，但大多数是一些无所事事的混混，而没有任何真正有价值的人前来。戴笠彻底失去了耐心，他觉得如果继续听张国焘的，自己和军统的资源都会被浪费掉，便将张国焘的工作完全取消，严厉斥责了他。

就这样，张国焘结束了在军统的工作，但很快中统向他抛出了橄榄枝。当时，中统局局长朱家骅曾在北京大学当过教师，对张国焘这位北大的风云人物有所了解。得知他在军统毫无作为后，特地邀请他加入中统，并给了他一个“对共斗争设计委员会设计委员”的职务，虽然职务不高，但级别却达到了中将。

然而，张国焘在中统的日子依旧不顺，原因和在军统时类似。中统给了他高待遇，但他始终没能带来任何实际成果。时间一长，即便是最初的朋友也开始对他疏远，最终他又离开了中统。张国焘如同一条失去家园的狗，谁也不愿意接纳他。

1949年，随着国民党大势已去，张国焘知道自己再也不可能回归共产党，只得跟随国民党去了台湾。然而，国民党对他来说始终是“外人”，更是“叛徒”，没有人给予他尊重。他只好再度前往香港，靠为美国人写文章来维持生计。

在香港期间，张国焘曾考虑过返回内地，并向中央托人求情。中央表示，只要他公开承认过去的错误，愿意回归，中央会安排适当的工作。但经过一番深思熟虑，张国焘还是放弃了这个机会。

最终，张国焘移居加拿大，并于1979年12月3日，在加拿大的一家养老院里冻死，享年82岁。