建炎元年（1127年）九月，朝廷命令湖南抚谕官马伸持诏书去潭州把张邦昌赐死，并诛杀了王时雍。同时下诏书说，有敢妄议惑众阻止皇上巡幸的人，允许百姓上告定罪他，知道而不上告的，就要问斩处死。
这样，关于宋皇帝赵构南下逃跑避敌的事情，谁也不敢说话了。
李纲冒着杀头的危险，极论不可南下。他上奏说：“自古中兴开国之主，如果起于西北，就足以据有中原而占据东南；如果兴兵起于东南，就不能振兴中原而占据西北。这是因为天下精兵健马都在西北，一旦放弃中原地区，不仅仅金人会乘机占据中原内地；盗贼也将蜂起为乱，跨州连邑，占据中原地区。到那时陛下虽然想回到中原，已经不可得了，怎么可能带来军队去迎接两位皇帝回来呢？河南南阳是汉代光武帝刘秀的兴起之地，有高山峻岭可以控扼，有宽城平野可以屯兵；这个地方西邻关、陕，可以召徕将士；东达江、淮，可以运送谷粟；南通荆湖、巴蜀，可以获取财货；北距三都，可以调遣救援。希望圣上暂停讨论驻跸之事，现在就返回汴都，再没有比这更好的办法。今乘舟顺流而去东南，当然很是方便，但是恐怕一失中原，则东南不能保证平安无事；到那时即便想偏安退保一隅，也不可能了。况且圣上曾经降诏答应留在中原，人心悦服，怎么圣旨诏墨还没有干，就突然失大信于天下啊！”
宋皇帝赵构左右为难，只能采取折中手段，口头答应暂时去南阳停留。
然而，汪伯彦、黄潜善不愿善罢甘休。他们最担心的是如果二圣回来，宋帝赵构就当不成皇上了，那么他们也就失宠了，甚至有可能被杀头。因此他们又指使卫尉少卿卫肤敏上奏说：“汴都已经被战争蹂践，现在到处是残垣断壁，不能再居住在这里了。南阳地域不广，而又逼近河朔，金敌容易攻打进来。只有建康是古代多个朝代的帝都，外连江、淮，内控湖、海，是东南的战略要地。经过仔细观察时变，从长远考虑，圣上应当赶紧颁布严厉诏书，定下东幸日期。让后另外命令忠勇大臣总领六师军队，留守开封京邑；然后又在河北、山东诸道实行清野政策，做好防御事务。等到朝军势增强，国势大振之后，再御驾返还中都，这样天下就安定了。”
由于汪伯彦、黄潜善都主张皇帝去东南，士大夫们也觉得东南物产丰富，气候良好，偏居一隅，还能继续荣华富贵，因此纷纷随声附和。
为了打击抗战军民的信心，朝廷权贵经常性、反复性地宣扬金人何等兵强马壮、何等杀人如麻、何等残忍好战，不断通过各种形式，教育引导宋廷军民不要挑衅金人，要远离金人、尊重金人，不要侵犯金人的利益。甚至一些权贵把金人的形象刻画成神力古怪，专门吓唬小孩子。因此，随着宋皇帝赵构的统治时间越长，越是到了后面，这种情况宣传越多，以至于后来的许多宋军、宋民只要听说是金人来了，根本不用考虑，立即弃城而逃。甚至是只要看见金人在几十里之外顺水漂泊而来的或者是扔在货物上误捎而来的箭头，就吓得面无人色。许多州县往往是因为看见十多匹金人游击骑兵就赶紧投降了。
中书舍人刘珏也见风使舵，就上奏说：“当今最要紧的，是抓紧时间，抓住机会。自从金人北归，已经有一段时间了，陛下中兴，也有数月时间了。而圣上依然没有定下立足之地，攻战守备这些大政方针根本没有时间去考虑。微臣最近听说有大臣想让圣上留在南阳，南阳属于中原地区，虽然容易号召四方，但今日中原的陈、唐诸郡，新刳于乱，千乘万骑，后勤物资怎么保障呢！况且，骑兵是金人的长技，而他们不习惯水战。而金陵有天险依凭，前据大江，可以固守；东南财力富盛，完全可以对敌。”
王渊、韩世忠、高忠义、郑骧、曾谓等人，都是陕西人士，对关中了如指掌，情有独钟。因此他们也一致建议宋高宗迁都关中。他们一起上疏说：“长安四塞，天府之国，项羽把它让给了汉高祖，李密把它让给了唐太宗，成败灼然可见，希望陛下把关中作为驻跸之计。”宋帝赵构不听。
这时有人给李纲说：“外面传言纷纷，说皇上已经决定去东幸了。”李纲回答说：“天下大计，在此一举。国家生死存亡，这就是个分水岭，我现在就去阻止这件事情。”
李纲再次言辞激烈地给皇上说：“圣上已经答应去南阳，现在又反悔要去扬州。微臣所进机务，多数奏折没有得到答复，这肯定有挑拨离间君臣的人。”并且大谈君子、小人不可并立，应当用人不疑，疑人不用。宋帝赵构看他如此执迷不悟，这么不开窍，本来想发火。可是看他真的是对国家一片忠心，也就勉慰他几句话，把他打发了。
起初，李纲每有所论谏奏章，虽然他的话语很刚直，但是宋帝赵构还是都虚心容纳了。到这个时候，凡是李纲的奏章就留在中书省，也不见批复了。
果然，不久之后，朝廷就以李纲降职守尚书左仆射兼门下侍郎，黄潜善守尚书右仆射兼中书侍郎。李纲此时对朝廷的影响力大打折扣了。
为了进一步打击李纲在朝廷的威信，汪伯彦、黄潜善又指使其他人阻止李纲的各项政策落实情况。
李纲推荐的张所上奏朝廷，要求在北京大名府设置招抚司，等待把府治事务安排好以后再向北渡河。北京大名府留守张益谦，是黄潜善的党徒，他就上奏说如果在此设立招抚司扰民，盗贼就会越来越多。李纲说：“张所现在尚留在京师，张益谦怎么就知道张所的招抚司扰民呢？河北民众没有政府领导，就会聚而为盗，怎么会是因为设置招抚司就有盗贼呢？”朝廷根本不理会这些。
这时傅亮的军队整合起来才十来天，汪伯彦等人以为傅亮逗留不进，就以朝廷的名义命令留守宗泽节制李纲推荐的大臣傅亮，而且要求傅亮现在必须渡河。傅亮说：“现在黄河以外都属于金人占领范围，而突然使我以乌合之众渡河，不知何地可为家计，何处可以得粮？现在东西都还没有措置到位，就仓促渡河，恐怕要误了国家大事。”
李纲为傅亮辩护请求宽限几天，黄潜善等人不以为然。
李纲说：“招抚、经制，都是微臣所建明，而张所、傅亮，又是微臣所荐用。而今黄潜善、汪伯彦等人之所以打击他们，就是打击微臣，使臣不得安职。臣每次想到靖康时期大臣不和的教训，把每件事情都和黄潜善、汪伯彦商议而后施行。而现在他们两人用心如此，愿陛下虚心观察一下。”但是皇帝不听他解释，就解散了经制司，下诏书召傅亮赶赴朝廷。
李纲又说：“圣意必欲罢傅亮，就请以御笔把这件事交给黄潜善让他去施行，臣得乞身回归田里。”李纲退朝后，而傅亮就被罢免了，李纲就再次上疏求去。
皇上说：“卿所争的都是些细小事情，怎么就这样子呢？像傅亮这样的小人物，今天还不好找吗？”
李纲说：“人主之职在论相，宰相之职在荐贤。方今人才以将帅为急，恐怕这不是细小事情。傅亮谋略知勇，可为大将，今天还没有使用他，却突然罢免了他，古人用将，恐怕不会如此。方今人材以将帅为急，恐非小事。臣昨天商议迁幸之事，与黄潜善、汪伯彦有争议，他们现在为难臣，臣都接受了。然而臣为东南人，难道不愿陛下东下为更好吗？臣只是想着这次一旦离开中原，后患就会无穷了。愿陛下以宗社为心，以生灵为意，以二圣未还为念，不要以臣离去而改定议策。臣虽离去左右了，不敢一日忘陛下。”说完，哭泣着辞退了。
高忠义看见李纲受着如此大的委屈，就对李纲说：“相公已经仁至义尽了，把该说的话、该做的事已经做了，与忠、与义都尽心尽力了。现在虽然决定辞职退还，可是那些进谗言的人如果伤害你，怎么办呢？”
李纲说：“吾只知道尽心事君之道，如果得不到圣上认可，则保全进退之节，患祸不是我所担心的。”
在建炎元年（1127年）十月，宋帝赵构带领宗室、权贵和宫廷人马前往扬州居住。
此时，已经提拔为殿中侍御使的张浚看到第一次距离皇上这么近，得到了皇帝的赏识，又有宰相的资助，野心马上膨胀起来。
张浚也趁机弹劾李纲说：“李纲虽负才气，大有时望，群众基础好，有影响力。但是他以私意杀掉侍从宋齐愚，典刑不当，不可居于相位；李纲还有杜绝言路，独擅朝政，事之大小，随意必行，买马之扰，招军之暴，劝纳之虐，优立赏格，公吏为奸，擅易诏令，窃庇姻亲等十多件事，需要弹劾”。
宋帝赵构就让朱胜非起草诏书。朱胜非本来比较公正，但是黄潜善授意必须写严重一些。于是诏书斥责李纲说：“狂诞刚愎，谋谟弗效，既请括郡县之私马，又将竭东南之民财。以喜怒自分其贤愚，致赏罚弗当于功罪。出令允符于清议，屡抗执以邀留；用刑有拂于群情，必力祈于亲札，以至帖改已画之旨，巧蔽外姻之奸。兹遣防秋，实为渡河之扰，预颁告命，厚赐缗钱，赏逾百万之多，仅达京师而止，每敦促其速进，辄沮抑而不行，设心谓河，专制若此！”
到了十月下旬，遂罢纲为观文殿大学士、提举洞霄宫。李纲在相位总共只有七十五天。
愤懑的李纲写下了着名的《念奴娇·宪宗平淮西》：
晚唐姑息，有多少方镇，飞扬跋扈。淮蔡雄藩联四郡，千里公然旅拒。同恶相资，潜伤宰辅，谁敢分明语。媕婀群议，共云旄节应付。
于穆天子英明，不疑不贰处，登庸裴度。往督全师威令使，擒贼功名归诉。半夜衔枚，满城深雪，忽已亡悬瓠。明堂坐治，中兴高映千古。
大臣邓肃看到奸臣当道，就上奏为李纲鸣不平说：“人主之职在任相，陛下初登九五，召李纲于贬所，任以台衡宰相之职，待之并不是不专任；但是李纲虽然一身正气而谋术粗疏，谋化虽深而心机浅显。陛下曾经对微臣说：‘李纲真以身殉国者！’今天遽然罢免了他，责辞非常严厉。这是任免诏书，又不是论辩文章，也不是进谏奏疏，不知写诏书的遣辞造句者这样说的依据是什么？况且两河百姓，数月之间无所适从，就因为李纲措置一月，而兵民稍已安集。这些当初的伪楚之臣，纷然都在朝列。李纲先驱逐了张邦昌，而叛党罪行也得到正法。如今李纲却也被免职而去了，那这两件事究竟哪一个是正确的呢！”皇上很不高兴，邓肃很快也被贬职。
黄潜善、汪伯彦看到李纲离开了，就上奏朝廷，把李纲原来所推行的政策全部推翻了。他们先罢诸路买马，只有陕西诸州各买马一百匹；也不赞成劝勉百姓出财助国等等。这时，傅亮也以母病回同州去了，张所亦以罪贬斥了，招抚、经制司皆废弃了。
太学生陈东又三次上疏说宰执黄潜善、汪伯彦不可任，李纲不可去，且请皇上返还汴京；请求皇上治兵亲征，迎请二帝。陈东的言语切直，黄潜善等人准备想办法除掉他。
这时，抚州进士欧阳澈也上书弹劾这些掌权的宰相，其中说到了宫室燕乐之密事，黄潜善秘密启奏诛杀欧阳澈，并牵连陈东。这样，把他们两个都处死了。陈东开始并不认识李纲，只是因为国家安危才这样做的，现在四十二岁却被处死了，行路之人都为他感到冤枉而哭泣。
尚书右丞许翰也上奏说李纲忠义，舍弃李纲无以辅佐中兴。现在陈东被处死了，许翰就说：“吾与陈东一起支持李纲，陈东被杀戮在都市，而吾还在庙堂，可以吗？”于是就请求辞职而去。果然，朝廷把他免职，以资政殿大学士提举洞霄宫。
由于主战派的相继离去，金人很快就开始攻打京城开封东、西两侧，开始烧杀抢掠，残毁关辅。而中原盗贼也趁机蜂拥而起了。
事已至此，李纲才明白报国无门的郁闷了。他看到因为他的原因，许多仗义执言的人死的死、贬的贬、流放的流放、管制的管制，内心愧疚万分。这才想起了高忠义如此决绝不再从政的原因。
欲知后事如何，且听下回分解。