衢州战役在3日开始打响，负责衢州城防守的是莫与硕第86军，第49军暂编第13师在北界镇；第25军第40师在大洲镇、石室街附近；第49军主力在湖山镇、溪口街、黄坛口还有衢州以西招贤镇附近；第86军在衢州；第26军在衢州西北浮河村、芳村镇一带；第25军在寿昌以西夺大同镇、上方镇一带，攻击衢州的日军有第15师团沿在衢州正东面。日军第22、第15师团及河野旅团集结于龙游及其以南地区。日军第32师团攻陷寿昌后，与敌第116师团之一部连结，进出于衢江北岸的峡口、杜泽、莲花镇一带。泽田茂中将第13军战斗指挥所也由金华推进至龙游。
国府选择赣东歼敌的方案，但又不甘心放弃衢州歼敌的机会，因此衢州也做了歼敌的安排。但事到临头了，国府又胆恸了。日军来的太多，第3战区没有把握，况且王耀五的第74军还在赣东，国府临时改变了抉策：为了避免我主力部队作不必要的损耗，蓄积力量，待机捕捉战机，重创敌人。遂命令第三战区避免与敌在衢州附近决战。第三战区接到命令后，即变更部署，下令第86军仍继续守备衢州，吸引敌人，战区主力则撤离铁路正面至两侧山地，准备在敌沿铁路突进时，出其不意，分断截击。
李振华要是知道这样的安排，都要喷出一口老血，早知如此，还不如多在赣东集结更多的兵力打击日军第11军，整个作战计划弄成了四不像。
3日拂晓，日军第32师团、第116师团在衢江以北，河野旅团、第15师团、第22师团在衢江以南对衢州发起全线攻击。
衢江以南守军第一线的第58师、第40师及第67师分别与日军第22师团、第15师团及河野旅团激战一天，第58师撤至黄坛口一带，第40师及第67师先后撤至乌溪江西岸防守。至傍晚时，日军各部队均进至乌溪江东岸，其第15师团一部突进至乌溪江西岸，迫使第40师再退至棠埭坞。
衢江以北守军第16师茂坞、孔家山等处阵地全被日军第32师团攻占，部队大部溃散及伤亡，师长曹振铎率残部退入衢州城。
日军第32师团一部进抵距衢州城北龚家埠一带。第86军军长莫与硕见形势严峻，竟以收容第16师溃散部队为借口擅离职守，带着军直属部队向江山方向逃离。好在副军长陈颐鼎及时接替了指挥，衢州防守战斗中国军才没有崩溃。
日军第15师团、第22师团、河野旅团，强渡乌溪江，国军第67师奋起反击，但实力相差太大，日军于4日晚全部渡过乌溪江。
第40师在日军第15师团一部攻击下，退至江山港北岸，改归第49军指挥；第105师与日军第32师团激战后，撤至常山港南岸招贤附近防守。5日，日军第15师团在航空兵掩护下，集中兵力猛攻衢州南郊阵地，激战至午后，突破落马桥阵地，守军第67师退守衢州南关；日军第22师团进至江山港南岸。日军第32师团当日攻占并进至常山港以南地区。河野旅团攻占衢州飞机场及航空学校。
此时，衢州城已处于四面包围之中。第15师团主力从铁路附近猛攻南门及南城墙，衢州城内守军因通信器材已全被日军的飞机、大炮所击毁，与战区及集团军均失去联系，仍依托城防工事继续苦战。
血战至晚，日军第15师团攻占大南门及小南门，河野旅团攻占东北门、北门及西北角城墙。船民齐大年从衢江泅水进入城中，带来守军向枫林港突围的指示。副军长兼第67师师长陈颐鼎与第16师师长曹振铎商议后，以第46团第2营担任掩护，利用夜暗天雨突围西撤。
第46团第2营官兵在团长谢士炎的指挥下，拼死掩护主力撤退。已经占领了城门及城墙的日军始终未敢进入城内，亦未能阻止住国军的突围。激战至7日拂晓，完成任务后谢士炎团长率领第2营残部100余人从城东门突围，至此衢州完全沦陷。
日军占领衢州后稍事休整，第22、第15、第32师团继续沿浙赣铁路线西进，相继攻陷江山、玉山、广丰，14日占领上饶。
浙赣线东段，日军第43师团击溃国军75师第223团，于3日拂晓占领进贤。第3师团主力6000余人从沙埠潭附近渡过沙埠潭河，在抚河及沙埠河之间南下，2日拂晓进至三江口附近，渡过抚河沿东岸南进，于3日下午临川以北的云山。
今井支队及井手支队从万舍街附近并列南下，击退当面的保安第1团和第9团后分别到达集贤峰及三江口，3日下午其发头部队在临川以西的展坪以北高地遭到79军暂6师伏击，今井支队主力赶来增援，日军汽艇数十艘则在抚河上空及水面掩护，遭到在干港抚河交汇口98师炮兵的炮击。经激战后，暂6师阻住日军的进攻，双方相峙于展坪附近。
79军第98师则依托抚河、干港防守临川城，城中大部分百姓已被组织前往黎川，只留下部分青壮协助守城。第3师团主力开始攻击临川东城，干港浮桥已被拆除，日军只能涉水攻击。98师将士在干港岸边既设阵地上射杀日军，第3师团损失不小。
日军第11军阿南惟几得知79军进入赣东后，立即命令进贤的第43师团主力沿抚河南下，准备围歼国军第79师，以3个步兵大队组成的岩永支队继续沿浙赣路向东进攻。暂6师、第98师在临川抵抗了5天，国军空军5架b25轰炸机也过临川参战，轰炸了进攻的日军部队，造成日军大量伤亡。如今见鬼子大队援军已到，攻势异常汹猛，消耗日军力量已经达到，暂6师放弃展坪，交替掩护退往临川城西秋溪，准备沿宜黄水方向方向撤退。第98师经东馆撤至腾桥以南山地布防，准备沿抚河向南城撤退。
9号日军完全占领临川县城，对临川进行了系统性的烧杀抢掠，50多名没有逃离的百姓被绳子捆住手脚，从行易桥上扔下抚河淹死，徐家村136人被机枪射杀。其他各地还有类似的惨剧发生。日军火烧县城，焚毁了大量的建筑。