在中日全面开战的前夕，日军情报机关曾对中国军队的整体战力进行过详细分析，其中以德械师为核心的少量中央军被其视为最强劲对手，以桂军、滇军、西北军等老牌军阀武装为第二对手，而川军、晋绥军等部队则被日军视为战力最不入流的武装。不过，在1938年3月下旬的台儿庄，一支在战前被日军极度轻视的西北军杂牌部队，却以一场前所未有的恶战严重杀伤了日军第10师团，他们就是西北军第2集团军。
为了夺取台儿庄以撞开徐州的大门，日军派遣了两支最精锐的部队，东线为第5师团，西线为第10师团，这两支日军常备师团不仅配属有大口径野战榴弹炮，而且还有华北日军航空队的空中火力支援以及大量的装甲战车。虽然东线日军第5师团在临沂保卫战中被张自忠所率领的第59军击溃，但是西线守卫台儿庄的重要据点滕县已经在此前失守，其中三千川军英勇殉国。
此时日军对台儿庄地区的钳形攻势已经被中国军队化解，而日军第10师团虽然清楚自己如果继续南下将可能会陷入中国军队的包围圈，但是在了解到镇守台儿庄的中国军队是西北军后，师团长矶谷廉介还是下令以第10联队为主力并配属濑谷支队向台儿庄发起猛攻。
3月24日，日军先头部队2000余人开始向我军阵地发起冲锋，此时守卫台儿庄的是第2集团军第30军第31师，全师约8000余人，除了少量的几门野战山炮外，全师的重武器就只有迫击炮和手榴弹了，不过他们每个人的身上有一款日军也没有的武器 ，那就是西北军的标配：大刀。
日军的第10师团大部分都是久经战阵的老兵，而且步炮协同能力非常强悍，在连续三天的猛攻中，31师已经损失了接近3个营的兵力，阵地也被攻占了不少。3月28日战局危急，日军大部已经破城而入，西北军官兵死战不退拿起手榴弹与大刀跟蜂拥而至的日军士兵进行惨烈的白刃战。不过由于后续的日军越来越多，31师与前沿阵地的联络被彻底切断，师长池峰城马上组织数十名敢死队员冲入庄内企图恢复联络。
此时的日军已经基本上控制了台儿庄80%的阵地，日军在其电台中也开始对外宣传台儿庄已被其完全攻克的消息，虽然第10师团主力在5天的时间里也付出了极大的伤亡，但是后续的援军仍在源源不断的赶到台儿庄外围。不过，3月31日整个台儿庄战役的局面发生了根本性逆转，那就是汤恩伯的第20军团在等待半个月后终于参战了。
20军团的参战让日军第10师团陷入了极其尴尬的境地，虽然在此前他们已经基本攻克的台儿庄，但是却无法完全占领运河南岸阵地，反而被8000名西北军死死的拖住，更加致命的是就在当天夜里，池峰城命令下属将运河南岸浮桥炸毁，并且组织3批敢死队手持大刀与手榴弹对日军进行夜袭。经过一周的连续作战后，此时日军第10师团的士兵已经开始战力不支，而此时又听闻师团后方被中国军汤恩伯部所截断，加上西北军敢死队连续不断的冲击，所以军心开始动摇。
4月3日，日军第10师团师团长矶谷廉介感到局面已经濒临崩溃，随即下令全线撤退，并且要求一线部队将能够影响部队行进速度的重武器全部丢掉。与此同时，台儿庄周围的所有中国守军也接到了向日军溃退部队进行全面反击的命令，西北军在坚守了近半个月后终于将这股最精锐的日军打退了，整个战场上一时间杀声震天，日军溃退的队伍被杀的七零八落，遗尸遍野。
根据国军在战后的记述，此战共毙伤日军1.2万人，缴获战车50余辆、步兵炮与榴弹炮共100余门、轻重机枪931挺、步枪上万支，在台儿庄通往峄城以及枣庄的一路上到处是日军士兵的尸体，其中大部分人被切去了胳膊与手指，这也说明日军溃败时的狼狈，连自己人的尸体都来不及运走。
此战西北军一战成名，以8000杂牌军硬是顶住了上万日军精锐的狂攻，而且在近战中毙杀日军无数，在后期的战斗中一线日军士兵往往最惧怕的并不是中国军队的手榴弹与机枪，而是在夜间冒出亮光的大刀片！
