抗战胜利后，升任第74军军长的张灵甫（左二）与所部军官合影。（网络图片）
上高位于江西省锦江的上游，俯瞰赣东平原。日军占领上高，即有助于进攻长沙，又可以凭此进攻赣南。一九四一年三月，日军调集了第三十三师团、第三十四师团及第二十混成旅团，共约六万五千人，由日军第十一军司令官园部和一郎指挥，采用分进合击战术，分南、北、中三路向上高扑来。
时任国军第九战区副司令长官罗卓英，集中第四十九、第七十、第七十三、第七十四军五个军共十万余人的兵力在上高外围设置阻击防线，并时刻准备合围有可能孤军深入的日军。
三月十五日，北路日军第三十三师团由安义向奉新、上高方向进犯，攻陷奉新。十八、十九日，第三十三师团进至上富、若竹坳附近，遭国军第七十军一部伏击，历尽苦战，付出重大伤亡后不得不撤回奉新。
南路日军第二十混成旅团，自赣江北岸发起进攻，先于三月十五日夜间强度锦江，然后沿锦江南岸向西进犯。守军国军第七十军第一○七师和第七十四军第五十一师顽强阻击并重创该路日军。二十一日第四十九军与第七十四军之第五十一师将日军第二十混成旅团击退至锦江以北。
三月十六日，中路日军第三十四师团沿锦江北岸向高安方向进犯，十八日，第三十四师团攻占高安，并继续向西攻击。二十一日，国军第七十四军在棠浦、泗溪之线英勇阻击来犯的日军第三十四师团。同时，第四十九军与第七十四军之第五十一师渡赣江北上，与第七十军主力合力攻击日军第三十四师团的侧翼。
自三月二十二日起，由于日军南北两路军均被国军击退，日军第三十四师团已是孤军深入，因此更加急于尽快攻取上高。二十二日至二十四日，日军第三十四师团集中一万余人的兵力在数十架飞机掩护下猛攻上高外围之七十四军云头山、白茅山阵地，日机狂轰滥炸，士兵冒死冲锋，第七十四军拚死阻击，曾七次与攻入阵地的日军白刃肉搏，阵地上血肉横飞，仅一日双方死伤即达八千人以上，面对蜂拥而来的日军，第七十四军杀声震天，前仆后继，死守不退，为从两翼包围第三十四师团的友军部队赢得了宝贵的时间。国军第七十军、第七十二军和第四十九军终于赶到，日军第三十四师团完全陷入国军包围。第三十四师团师团长大贺茂中将见状惊惶失措，急向日军第十一军司令官园部和一郎求救，园部急令第三十三师团及第二十混成旅团星夜驰援解围。
二十五日，来援的日军第三十三师团生力军开始扑向官桥街、棠浦，被围第三十四师团也开始向该地区仓惶撤退，最后两路日军合兵一处。但这种会合并没有给日军带来什么益处，反而使日军这两个师团不久都陷入了国军新的包围圈中。二十六日夜，攻克泗溪的国军第七十四军协同各部，将日军这两个师团包围于官桥街及南茶罗一带。二十八日，国军主力以第七十四军为先锋向被包围在官桥街的日军猛攻，激战到下午，日军守备六百余人全被歼灭，日军第三十四师团少将指挥官岩永被击毙，国军收复官桥街。三十一日国军攻克高宁，日军东逃之路被切断。四月一日，被围日军在十五架飞机掩护下，向斜桥方面突围逃窜，国军开始猛烈追击。自四月二日至八日，国军收复子西山、万寿宫、奉新、长埠、宋埠、平洲、弓尖等要地。日军在遭受重大伤亡后，退回战前位置。
此次战役，日军之第三十三师团被击破，伤亡惨重；第三十四师团及独立第二十混成旅团被歼约十分之七，国军总计毙伤日军一万五千余人。战后，日军第十一军司令官园部和一郎中将因被认为指挥无能而被撤职，改由阿南惟几中将接任。
此次战役，国军以第七十四军表现最为突出，据国军战史记载：“中路日军第三十四师团二十二日集中万余兵力，在飞机掩护下猛攻七十四军阵地，七十四军拚死力拒，虽血肉横飞、伤亡惨重，仍不稍退，是日一日间敌我伤亡均在四千以上”。
此役张灵甫代师长因表现优异，于当年冬天升任国军七十四军第五十八师师长。不久，张灵甫将军经蒋介石特批，进入陆军大学甲级将官班学习，成为甲级将官班唯一的一名少将学员。
此役第七十四军因战功显赫，荣获国民政府第一号武功状和最高荣誉“飞虎旗”。对国军在此战役中的战术，何应钦于当年四月四日对中央社记者的谈话中认为：“上高会战在今后作战指导上非常重要，其影响之大，莫可比拟。敌人采取分进合击态势，即可谓外线作战。我军始终固守上高一带既设阵地，依内线作战之原则，先击溃其夹击之一翼，然后转向其主力包围攻击，率将其各路兵力悉行歼灭，可谓为开战以来最精彩之作。”
