公元前101年，汉武帝在西域设立了使者校尉一职，这是“西域都护”这一职务的前身，目的是管理西域各地的事务。武帝指派数百名骑兵和数千名民夫前往轮台和渠犁进行屯田，以便为往来的汉使提供补给。之后，这一职务被更名为屯田校尉，扜弥国太子赖丹被任命为此职。

轮台是李广利曾经征伐并消灭的地方，与龟兹同为吐火罗人的国家，且轮台是龟兹的附属国。汉朝在这里设置屯田使者，引发了龟兹人的强烈不满。渠犁则是一个塞人国家，原本由吐火罗三大势力——龟兹、焉耆和楼兰主导，而这些势力计划逐步吞并由塞人建立的尉犁、渠犁和山国。然而，汉朝的崛起彻底打破了这一局面，导致吐火罗的扩张计划泡汤。

赖丹，原是扜弥国的太子。李广利在第二次征伐大宛时经过昆仑山北麓的扜弥国，得知赖丹作为人质被留在了龟兹。由于扜弥国与龟兹之间有一片塔克拉玛干沙漠，只有在丰水期通过于阗河才能往来，但即便如此，扜弥国仍然极度惧怕龟兹。李广利依靠征服大宛的威势，派人威胁龟兹，要求释放赖丹并送至长安。随后，赖丹被任命为屯田校尉，这一任命正是采用了“以夷制夷”的策略。

赖丹本来是作为龟兹的人质，但他却意外地转身成为了汉朝的高官，身居重要职务，指挥屯田并修筑亭障。龟兹王对此感到极大的愤怒与羞辱，心中积怨已久。赖丹的职责不仅是监督屯田，还要负责沿线地区的亭障建设，为商旅提供休息站。

公元前96年，匈奴的狐鹿姑单于继位后，立即在西域展开了积极的布局。匈奴任命其两子为左右日逐王，负责西域的军事事务，并且设立了僮仆都尉，专门与汉朝的使者校尉相对抗。匈奴的影响力逐渐扩展，乌孙等国家成为了最大的受害者。与此同时，匈奴还派遣兵力进入乌孙境内，加强了对西域各国的控制。

在这些西域国家中，蒲类国是匈奴控制的最前线之一，隶属于乌孙系。更向西，匈奴在博格达山北麓的月氏和乌孙国家间展开了扩张，扶持多个部落，其中包括从河西走廊掳获的单桓部落，作为向乌孙方向扩张的桥头堡。即使这些部落人口不多，但却在战争中发挥了关键的侦察与哨兵作用。

车师位于吐鲁番盆地，是吐火罗人势力的核心，尽管距离匈奴最远，但依然被迫向匈奴称臣并送王子为质。与焉耆相距不远的秦海地区，焉耆国家强大，拥有三万多人口和超过六千骑兵，正筹谋灭掉周边的中原部落，进一步扩展势力。匈奴对龟兹、焉耆态度较为温和，主要采取笼络策略，而对楼兰则表现得更为强硬。楼兰王在这种背景下只能选择在匈奴和汉朝之间摇摆，派遣次子作为质子。

武帝得知楼兰王派次子为质后，非常不满，立刻派遣军正任文前往楼兰问责。楼兰王在面对武帝的强烈反应时，表示愿意通过让国家归附河西走廊来获得庇护。然而，匈奴的干涉使得这项计划无法实现，最终导致了楼兰和汉朝的关系进一步紧张。

公元前96年，匈奴的狐鹿姑单于即位后，在西域积极布局，开始对汉朝实施更为直接的挑战。与此同时，汉朝内部的权力斗争也在激烈进行。李广利在北伐战争中表现出色，掌握了大量兵力，这让卫霍集团产生了不安，并开始针对李广利的亲信赵弟进行打压。

赵弟曾是李广利征伐大宛时的重要助手，曾因杀死郁成王而被封为侯爵，后升任太常。由于卫霍集团的干涉，赵弟被以“审讯不实”罪名削爵免职，这一事件进一步加剧了李广利与卫霍集团之间的矛盾。

在这场权力斗争中，门阀集团也不甘示弱，发起了对公孙敖的攻击。公孙敖在一次误把李陵与李绪混淆的事件中犯错，导致武帝愤怒下令将李陵全家杀害，公孙敖也因此被剥夺了军职，最终免为庶人。

到了公元前95年，卫霍集团继续对李广利施压，甚至影响到楼兰王子。李广利的威名在西域如日中天，但内政上的纷争却使得汉朝在西域的影响力逐渐下降。楼兰王子在汉朝被囚禁，且因犯错遭受宫刑，这一举动深深触动了楼兰和西域诸国的神经，进一步加剧了西域的不安定局势。