天祚帝在西夏期间仍心神不定，他知道女真人是不会放过自己的。果然，不久金国便派遣使臣入夏，向李乾顺提出：如天祚帝逃入夏境，应将其擒捕送给金国。夏国如果能以事辽之礼来事金国，那么，金国则可将原辽国西北一带的土地割让给夏国。李乾顺见辽国灭亡已成定局，为了保全夏国，遂答应金国提出的条件。
耶律南仙将这个消息偷偷告诉了天祚帝，天祚帝害怕被李乾顺执送金国，于是迅速离开西夏。
天祚帝重回夹山大本营，惊讶地发现耶律大石也正在这里，而且队伍又壮大起来了，他很高兴。耶律大石是去年九月的一天夜里，趁金军不注意，带领七千人马逃出金营的。他们在夹山养精畜锐，以待时机。关于耶律大石曾被金军俘虏并给金军做向导一事，天祚帝似乎并不知晓。
不久，阴山鞑靼毛割石部也来到夹山投靠天祚帝。有了这两只队伍，天祚帝自谓得到天助，信心大增。宣和六年七月，他决定兵出夹山，收复燕云地区失地。
耶律大石头脑很清醒，他知道如果此时出击金军，无异于以卵击石。他对天祚帝说道：“自金人初陷长春、辽阳两路，则车驾不幸广平淀，而都中京。及陷上京，则都燕山。及陷中京，则都云中。及陷云中，则奔夹山。向以全师不谋战备，以至举国汉地全为金人所有。国势微弱至此，而力求战，非计也。当养兵待时而动，不可轻举。”
耶律大石这番话言简意赅，内涵丰富，既严厉批评了天祚帝过去一味逃跑的错误路线，又对天祚帝现在冒险出战的计划做出了否定，同时也提出了正确的战略方针即“养兵待时而动。”
可是，天祚帝“斥而不从”，一意孤行。耶律大石于是决定出走，独立开辟新天地。一天夜里，耶律大石杀死负责监视他的北枢密使萧乙薛与坡里括，率亲信部属铁骑二百连夜出营，踏上了漫漫西行之路。
耶律大石走后，天祚帝并没立即下山，他对驻守云中的金军元帅宗翰有些打怵，迟迟不敢出兵。直到宣和六年冬天，天祚帝听说宗翰回上京去了，云中由希尹代理元帅之职，他以为时机已成熟，遂率契丹与鞑靼军共五万人马出夹山，下渔阳岭，接连攻下天德军、东胜、云内、宁边等州，大军如入无人之境。
天祚帝这次出山南下，其真正目的并不是收复燕云失地，而是想趁机去投靠宋朝。他不仅带走了夹山的全部军马，而且还“并携其后妃、二子秦王赵王及宗属”。此外，他还携带着各种珍玩珠玉金银器皿等宝物五百多袋。很显然，这是天祚帝有计划的一次大搬家行动。
对于隐藏在夹山深处的天祚帝，宋朝一直在密切关注着。“童贯日夜为上谋，谓天祚在，必为后患。”童贯分析认为，“天祚心素侈，多慕中国”，现今他流离失所狼狈不堪，如果前去招纳，他一定愿意“来归”。如果天祚帝能来归，那么燕山地区自然就会稳定，因为这样便可“以绝其国人之望”。于是，宋徽宗决定暗中操作一下，让童贯物色合适人选去夹山“诱之”。从事后眼光来看，童贯与宋徽宗对当时北方形势的分析与判断的确严重失策，他们太过于看重天祚帝的影响力，而对于金人的威胁力却又看得过轻。
不久，童贯将一个番僧推荐给宋徽宗，宋徽宗令这个番僧持御笔绢书，秘密去夹山联络天祚帝。番僧来到夹山找到了天祚帝，天祚帝也给宋徽宗写了回信。刚开始时，这事很注意保密，随着往来次数增多，知道此事的人也越来越多。番僧“往来皆由云中，故金人尽知。”金人之所以对这个番僧不动声色，不进行抓捕，是因为他们也在利用这个机会，在等待着天祚帝离开夹山，“是以不顾也”。“金人每以力不能入阴夹山，恨其不出，出必得之。”
天祚帝后来给宋徽宗回信，答应来归大宋。宋徽宗于是“改书为诏，示欲臣之”，并向天祚帝保证，“归则待以兄之礼，位燕、越二王上，筑第千间，女乐三百人，礼待优渥”。天祚帝大喜，于是“约期相接”。宋徽宗遂让童贯落致仕，出任河东宣抚使，到太原“密迎之”。
这期间，因为宗翰一直驻扎在云中，天祚帝不敢出山。直到宣和六年冬天，“忽报国相归金国禀议，以兀室代云中元帅职”，天祚帝这才敢率众出山。
天祚帝并不知道，此时金军正张网以待。他率军刚过云中，忽然接到报告说，希尹“以大兵遮其归路”；之后又接到报告说，宗翰已回到云中，正派军前来追袭。天祚帝大惊，急令大军速向武州挺进。
当时，希尹将蔚州、应州、奉圣州与云中府的汉儿乡兵组成先头部队，追击天祚帝，而将一千余女真骑兵埋伏在天祚帝必经的山谷之间，以逸待劳。当天祚帝率军走到奄遏下水（今内蒙古凉城县西岱海）之西时，女真骑兵突然从鞑靼军背后杀出，鞑靼军顿时溃乱。一番交战之后，辽军死伤无数。有的被擒，有的投降，有的逃亡。天祚帝急忙往南而逃，希尹派娄室率五百骑兵，一路紧追不舍。天祚帝本打算直接去武州，南投宋朝。当他跑到武州附近时，有一个随行僧人劝他不要去大宋，这僧人说：“南朝弱，必不敢留，隐当为女真所索，等辱不可再辱，莫若径归女真，亦不失为王也”。
或许是天祚帝觉得这僧人言之有理，遂改变计划，又转向西逃，终于逃到了山金司。山金司在阴山，因为阴山产金，辽国在此置冶采炼，故名山金司，天祚帝来到后将其改为统军司。
宣和七年正月，党项小骨碌部族派人来山金司，请天祚帝“临其地”。小骨碌部族是党项一个很小的部族，分布在天德军和云中之间，以前一直臣属于辽国。天祚帝打算与小骨碌部族首领一起商量投靠西夏，遂急忙赶往天德军，计划从那里过沙漠。途中，忽然与金兵遭遇，天祚帝又狼狈而逃。