尽管宋高宗也迫切希望收复失地，但在此过程中一些只可意会、不可言传的隐忧却让他耿耿不寐，徘徊不前。

　　一方面，北伐一旦开始，必是集全国人力、物力、财力、军力孤注一掷，胜算多少，他心中没底;另一方面，南宋草创，根基未稳，一些战争中壮大的武夫势力日渐抬头，各自为政，纷纷自称张家军(张俊)、刘家军(刘光世)、韩家军(韩世忠)、岳家军(岳飞)等等。

　　远有老祖宗赵匡胤陈桥兵变的先例，后有他亲身经历的“苗刘兵变”，他对军阀、藩镇势力不断坐大简直惧如猛虎，只要有机会，必定快速剪除。

　　宋高宗自登基之日起，便一直在主战与主和之间犹豫不决，这从他任命宰相的人选中，也可看出端倪。当他倾向于北伐，主战的张浚任相;一旦因情况有变而犹豫，稍稍保守的赵鼎任相;如果他倾向于向金求和，主和的秦桧就出任宰相。所以，张浚的去留与升降，是与宋高宗的政策指向密切相关的。

　　最终推动宋高宗彻底主和这一“多米诺骨牌效应”的第一张骨牌，就是发生在绍兴七年(1137年)的“淮西兵变”。

　　在与伪齐对垒的过程中，由于兵骄日盛，张浚便与宋高宗商量整编军队，以免尾大不掉。在宋高宗的安排下，这年三月，张浚解去了刘光世的淮西军军权，将淮西军收为自己的都督府，以都督府参谋、兵部尚书吕祉去节制和统率。