横山勇也意识到国军在下一盘大棋，还判断出第9战区薛岳准备在衡阳地区复制三次长沙会战所用天炉战法，但他并没有太担心，虽然右路日军失败了，湘江以西日军没有站住脚，但左路有第3、27两个师团、中路有58、68、116师团、独立第17混成旅团，长沙还有第34、64师团。横山勇不认为国军有一次消灭日军两个师团的能力，况且长沙、衡阳、醴陵、安仁日军还可以相互配合。
7月11日第68师团在左，第116师团在右，对耒水以北何家山、耒水以西泉溪两处阵地发起总攻，此时衡阳湘江以东部分的防守薛岳下令交由戴海欧负责，防守何家山、泉溪的是第10军暂编第54师，这个师参与过常德会战，下辖160、161两个团，师长饶少伟，曾任第9战区司令长官部少将高参兼办公厅主任。饶少伟160团部置在何家山，泉溪部置了161团。何家山、泉溪洡水对岸戴海欧各部署了新3军1个团支援，两地还配属了新3军部分炮兵支援。
日军攻势非常猛，暂编第54师也不示弱，得到洡水对岸新3军炮兵的支持后，暂编第54师打得有声有色。衡阳机场留守的25架美军p40战机频繁升空支援暂54师，日军进攻部队受损颇大。日军航空队也飞临战场上空，但被美军航空队驱逐，保证了暂54师防守阵地不受日军航空队的骚扰。日军以大队或中队为单位对国军各阵地发起波浪冲锋，国军外围阵地下断沦陷，暂54师在有效射杀日军有生力量后有序后撤，这也是暂54师部置在何家山、泉溪阵地的目的。
暂54师师长饶少伟没有奢望自己一个师能挡住日军两个师团，只要能多杀一些鬼子就是胜利。暂54师的后方有新3军、暂2军支撑，将士们没有了后顾之忧，按照战前部署全力阻击日军。战斗从白天一直打到了黑夜，何家山、泉溪仍牢牢掌握在暂54师手中。第68、116师团也急眼了，没有因为夜幕降临而停止战斗，反而是加强了进攻，后半夜两地暂54师被压缩到洡水岸边区域。戴海欧见损耗日军目的已达到，命令暂54师逐步从何家山、泉溪撤回洡水对南（西）岸。
至12日拂晓，何家山暂54师160团大部已撤回，日军第116师团试图控制洡水上的粤汉铁路桥梁，一个大队的日军紧追最后一批撤退的160团后卫部队上了铁路桥。戴海欧就在洡水南岸一线观战，他待160团后卫全部过了洡水下了大桥，才下令工兵对铁路桥进行了爆破。铁路桥在爆炸中带着700多名小鬼子倒进了洡水之中，有200多小鬼子侥幸踏上洡水南岸，但在新3军、暂2军全力围剿之下，很快被消灭，日军待在北岸只能干瞪眼，无能为力。在泉溪第161团在有效杀伤日军后也撤回了西岸，桥梁同样被工兵爆破了，中日两军隔河对峙。
横山勇对战斗的结果非常不满意，虽然日军占领了两处阵地，但最关键的突破耒水防线目标却一无所获。他命令第58师团沿洡河南下到上游寻找渡河地点。第58师团师团长川修雄人有点失神，他想起了洣水甘溪偷渡的第57旅团第61、62步兵大队。川修雄人带着第58师团跑到了上游30多公里的茶市夜间偷渡，对岸渡口村只有国军一个连的部队警戒，日军偷渡成功。听到枪声，暂2军一个团赶来增援，但形势已不可挽回，日军已上岸了2千余人，只能接应警戒连且战且退，退回引龙头岭、老山各塘、东阳渡南线既设阵地。
第58师团强渡成功后，趁夜对国军阵地发起了进攻。南线阵地有新2军2个团、暂2军1个团共计3个团的兵力，利用遍布的山塘及既设阵地死死挡住了日军，第10军190师连夜驰援，稳定了南线阵地。翌日拂晓第68、116师团又开始强渡洡水，衡阳东防区一时枪炮声四起。戴海欧虽然压力很大，仍从容调配部队，顶住了日军的连续3天的进攻。驻守衡山的新3军1个师与第58师交接了城防后，也紧急南下经衡阳赶到了衡阳东防区，日军3个师团仍未突破防线。
横山勇压力山大，大本营斥责他只用3个师团发起进攻，延误1号作战计划的执行，明令他调集第3师团、第34师团南下，横山勇顶不住压力，执行了大本营的命令，放弃了他自己的\"以衡阳为诱洱调茶陵周围国军出山地\"作战构想，日军第27师团一部退守醴陵、浏阳，一部退守安仁。
3天后第3、34师团赶到战场，第34师团接替第68师团防御，第3、68师团从南线发起进攻，南线国军形势危急。戴海欧命令南线部队交替掩护退到五马归槽、酃湖、湾塘、湖东寺至蜈公桥一线阵地。日军跟踪追击，第190师在这一线既设阵地阻击，成功接应到后撤部队，后撤部队立即投入防守，挡住了日军的进攻。衡阳东防守面积减小，兵力密度增大，日军进攻受挫。
横山勇命令第3、68师团从东阳渡跨过湘江抵达衡阳西南郊，与防守衡阳的第10军外围部队交上了火。北面第116师团也接到命令，从洡水北岸绕道泉溪，经东阳渡到达衡阳西南，衡阳及衡阳东中日两军全线激战，第68师团有向衡阳城以西迂回的迹象。
日军参与衡阳之战已达到5个师团，第9战区司令长官薛岳也在调整部署，命令第74军第57师余程万部进入衡阳城，暂时划归第10军方先觉部指挥。命令第74、100军南下，第79军王甲本部东进，要求尽量接近衡阳城，但又和衡阳保持一定距离，尽力避免被军发觉。