日军以接近4个师团兵力猛攻郑州地区，第27、85军承受着极大的压力。邙山头汉王城等要地在日军110师团、第62师团一部的猛攻之下防守很吃力。国军在郑州又顽强抵抗了两天，第1战区副司令汤恩伯担心第27、85军被包围，下令部队向荥阳、汜水方向、密县山区撤退，汤恩伯准备在汜水、登封一带利用山地地形优势挡住日军西进。
第27军趁夜退出郑州被日军发现，日军占领郑州，第27军留下一部断后，主力不断退往荥阳、汜水。预8师撤回荥阳，回归第27军。
防守邙山头的国军还在坚持，部署在汉王城高地的是预11师31团第1营。左依黄河天险，右与31团2营联系，后方则有友军第110师329团和预11师33团增援。日军用于正面进攻的是110师团步兵第163联队 ，调集的炮兵有第12军直辖炮兵和两个炮兵联队，航空兵三个战队。由于火力相差悬殊，预11师31团第1营苦苦坚持了多日，团长王鑫昌及所属第一营全军覆没。紧接着日军又攻占了摩旗顶，邙山头各置高点都被日军占领。第85军不得不撤退，留下了一部断后，主力南下密县西部山地，其军属炮兵营在冯尧和的带领下建制完整的撤了下来，12门大炮完整无缺。
第27军在荥阳抵抗了一天，掩护第85师顺利南下后，部队向西撤往汜水。日军占领荥阳后分兵三路，一路向汜水进攻，一路向密县进攻，一路回到平汉线上准备南下许昌。
进攻汜水的日军遭到了国军的顽强抵抗，第4集团军孙蔚如部在汜水、密县山区构筑防御工事，第27军的加入增强了国军的防御力量。国军与日军第110师团、第62师团各一部激战多日?，汜水陷落。但第4集团军、第27军在汜水河以西，虎牢关一带利用地形优势稳住了形势，中日两军在汜水河两岸东西对峙起来，日军不得寸进。
渡过黄河的日军也越来越多了，密县国军遭到了围攻。第85军第23师在密县进行顽强的抵抗，给予日军重大杀伤，日军还以为遇到了第85军主力。但战场实力对比悬殊太大，抵抗了7日后，第23师伤亡太大，不得不撤退与第85军主力会合，
密县失守以后，日军37师团225联队试图长驱直入，沿登密公路向登封攻击前进，一路攻占牛店、景店、卢店，并很快推进到登封前沿阵地中岳庙、新店、三官庙一线，企图乘势一举拿下登封，第225联队攻击13军第4师阵地，第4师凭借坚固阵地给予其重大杀伤，第225联队不敌撤退，遭遇了重大的挫折。第四师看到日军受挫，立即全线追击，北面山地的85军看到日军溃退，也趁机向南攻击，13军相继克复马鸣寺、卢店一线，日军则一路向密县溃退，形势稳定了下来。
日军暂停了向西攻击，全力沿平汉线南下。围绕许昌的一场大战即将展开。
5月初日军下达了攻击许昌的命令，此时第110师团驻扎在密县周边，从西面掩护郑州以南之平原地带。日军第62师团抢先攻击了许昌西南颍河沿岸地区，与新编第42军激战，激战2日新编第42师被击败，残部退往西面山区，第62师团切断了许昌守军通向西南山区的道路。日军第27师团则在许昌西北许庄至东北郭庄，构筑了阻击线。
日军37师团在2个炮兵联队布置在七里店附近，对中国守军阵地集中炮击。日军从西面发起了攻击，外围守军抵挡不住，被迫撤至西关的烟草公司一带，利用建筑物对日军进行了顽强抵抗，阻止了日军的前进，使战斗形成胶着状态。日军又从北面进攻，突进俎庄，攻向许昌北门。东门和南门日军在炮火的支援下攻击到了城门附近。
许昌城四面开战，城中第29师、第20师2个团，暂27师残部统一划归第29师师长吕公良指挥。第29师4个团才3000余人，真是一言难尽，第20师2个团2600余人，暂27师残部1500余人，总兵力6100余人。开战前吕公良写下家书：“打仗是军人的本分……当军人不打仗还有何用？”
吕公良参加过绥远抗战，打过南口，收复过百灵庙，参加晋中太谷战役、台儿庄战役、鄂北战役、赣北战役，如今又是豫中会战，吕公良1942年积功升任新编第二十九师师长。1943年夏天部队整训完毕，奉命担任中牟一带黄河河防。同年11月，新编第29师归属第28集团军暂编第15军建制。
吕公良是主动向第一战区副司令长官汤恩伯请缨抗战。为唤起民众抗日热情，吕公良以许昌城防司令名义，主持召开许昌各界人士参加的军民誓师大会。会后，处决了3名汉奸，以示抗日决心。
吕公良是这样说的，也是这样做的。他不顾危险亲临作战第一线，激励将士们勇敢杀敌。日军虽然重兵围攻，但一对拿许昌城也没有办法。日军的航空队来了，准备对许昌城进行轰炸。在这危急时刻，中美联合航空队也到了，双方就在许昌的上空进行激烈的空战。日军航空队不敌，被打下20多架飞机，灰溜溜的向北撤退了。中美联合航空队随后对日军部队及炮兵阵地展开了轰炸，虽然日军利用空战的这段时间进行疏散，实际上对日军造成的损害并不是很大，但对日军的心理威摄却很大，日军白天攻击都有些缩手缩脚。
许昌城官兵、百姓亲眼目睹了中美航空队与日军航空队的空战，我方航空队大获全胜，霎间军民士气大振。日军整顿好一段时间，分散布置了炮兵阵地。又组织攻击了二次许昌城，均被城中将士们击退，日军意识到在许昌城碰到硬骨头了。