自抗戰爆發後到1938年2月，國軍在正面戰場節節敗退，大片國土淪喪。
華北戰場：1937年7月29日，北平淪陷；9月24日，保定淪陷；10月7日，太原淪陷；12月27日，濟南淪陷。華東戰場：11月12日，上海淪陷，12月13日，南京淪陷；12月24日，杭州淪陷。
因此，進入 1938年後，日本高層對侵華戰爭的前景一片看好，認為經過半年多在華北和華東的作戰 ，中國軍隊損失在80萬人以上，戰前精鋭部隊已經消耗殆盡，剩下的守軍必然一觸即潰。故日軍侵略的步伐隨之加快。
3月13日，侵入山東的日軍第二軍司令官西尾壽造正式下令發起打通津浦路作戰：以第十師團進攻大運河以北，第五師團進攻臨沂，達成目的後挺進到懌縣，配合第十師團作戰。企圖通過此次作戰打擊運河沿岸國軍。
作為這次進攻作戰的主角，第十師團可謂是不遺餘力，師團長磯谷廉介親自挑選精鋭，以第33旅團為骨幹組建支隊，以旅團長瀨谷啓為支隊長，故也稱為瀨谷支隊。
瀨谷支隊步兵只有第六十三聯隊和欠缺一個半大隊的第十聯隊，一共四個半大隊五千人。但配屬的輕重火力相當嚇人：
1. 獨立第十機槍大隊，擁有九二式重機槍60挺，歪把子機槍120挺。
2. 獨立裝甲車第十和第十二中隊，中國駐屯軍戰車隊臨時戰車中隊，擁有12輛94式裝甲車，10輛97式坦克。
3. 野炮兵第十聯隊（缺一個大隊和兩個中隊）、臨時野炮兵中隊、臨時山炮兵中隊、野戰重炮兵第二聯隊（缺一個大隊和聯隊級火力一半）、中國駐屯軍炮兵聯隊第三大隊（其中有兩個150榴彈炮中隊）。配備96式150榴彈炮20門，92式步兵炮36門，94式山炮4門。
而日軍一個典型的步兵聯隊有重機槍36挺，輕機槍54挺，步槍約2400支，擲彈筒54門，步兵炮10門，山炮4門，反坦克炮6門。
綜合起來，兵力相當於兩個聯隊的瀨谷支隊，擁有重機槍96挺、輕機槍174挺、150榴彈炮20門，各類火炮80門，坦克和裝甲車22輛。重火力配備甚至超過了一個師團。要知道，日軍一個滿編的三單位制師團，也只有步兵炮40門，山炮16門，反坦克炮24門。
靠着強大的步兵火力，瀨谷支隊南下可以説是一帆風順。3月17日晚，欠缺一個半大隊的步十聯隊進攻滕縣。川軍第41軍英勇抗擊，但不敵日軍猛烈的炮火，傷亡慘重，守城的41軍傷亡達兩千人，122師師長王銘章殉國。
李宗仁見滕縣危險，又急令新撥歸第5戰區指揮的第20軍團司令湯恩伯派部馳援。湯的主力85軍王仲廉部因行程過遠，未能及時趕到，滕縣於次日失守。
3月18日，步十聯隊攻陷滕縣後，當晚攻佔臨城。這時，瀨谷啓已經不滿足於掃蕩運河北岸敵人了，遂改變目標，直奔徐州。另一路，步六十三聯隊於18日攻佔棗莊，20日攻佔嶧縣。
第五戰區對日軍動向產生了巨大的誤判，司令長官李宗仁預計日軍會沿滕州——韓莊南下徐州，所以將國軍主力沿韓莊一帶佈防，力圖把日軍壓迫在微山湖地區，只留孫連仲的第二集團軍3個師和1個獨立旅防守台兒莊一線，其中守備台兒莊城的只有池峯城的31師七千多人。
31師雖然是雜牌，但來頭不簡單，它前身是馮玉祥西北軍第19師，師長就是大名鼎鼎的吉鴻昌，1927年4月，西北軍沿隴海路東征，吉鴻昌率部攻克洛陽、鞏縣，又強渡黃河，佔領豫北重鎮新鄉，奉軍被打得抱頭鼠竄，因此被譽為“鐵軍”。
雖説是鐵軍，但火力配備遠不及日軍。作為雜牌軍，31師麾下炮兵營只有8門山炮，12門迫擊炮。但這已經是第二集團軍火力最多的部隊了，整個第二集團軍3個師加一個獨立旅只有24門山炮，火力只相當於日軍的三分之一，更別提日軍還有裝甲車、坦克以及150榴彈炮這些大殺器。
日軍另有考慮：如果沿滕州——韓莊一線南下，就會遭受中國軍隊的點線攻擊，側翼容易受打擊，因為此線路地勢狹窄，所以攻下韓莊後，步十聯隊改去嶧縣與步六十三聯隊會師，直奔台兒莊。
3月24日，瀨谷支隊先派步六十三聯隊第二大隊試探性台兒莊，利用火炮優勢突入台兒莊東北角。夜晚，池峯城立即組織部隊發動反攻，很快將第二大隊趕出莊內。日軍損失頗重，被迫撤至台兒莊北面休整。
25日，瀨谷啓命令步十聯隊加入對台兒莊攻擊，並攜帶兩門150榴彈炮加入進攻，日軍兵力達一個半大隊。
面對火力佔優的敵人，池峯城決定誘敵深入，在城牆上激烈抵抗一陣後放日軍入莊，日軍主力入莊後立刻被31師團團包圍，雙方在莊內激戰至26日，日軍快頂不住了，直接越級向第十師團師團長磯谷廉介求援。磯谷廉介向瀨谷啓下了死命令，要求不惜一切代價拿下台兒莊。
28日拂曉，瀨谷支隊開始猛攻台兒莊，在坦克、裝甲車和大量火炮的支援下，7點30分，日軍攻佔西北角，但池峯城馬上部署部隊發起反擊，31師不愧是雜牌中的王牌，很快遏制住了日軍向莊內擴張的趨勢。孫連仲也命令將其餘部隊用山炮炮擊日軍，支援池峯城作戰，雙方苦戰至30日，日軍仍沒有任何進展。
見正面進攻沒有效果，3月31日，瀨谷啓分出部分兵力，以10輛坦克打頭陣，對左翼第30師陣地發起進攻，企圖繞過莊城直奔徐州。但碰到了個硬釘子，當敵人坦克進至四、五百米時，30師炮兵營一名排長親自操作山炮，不打先頭坦克，就打腰中坦克，讓後續坦克上不來，先頭坦克也無法撤退。數十發炮彈下來，日軍損失坦克4輛，其餘的轉頭就跑，沒了坦克支持，日軍步兵也只能撤退，30師趁機大舉出擊，終於挫敗了日軍攻勢。
見瀨谷支隊苦戰台兒莊不下，第二軍司令官西尾寺造急了，命正在進攻臨沂的第五師團坂本支隊四個步兵大隊和兩個野炮兵大隊參與進攻台兒莊，第五師團師團長板垣徵四郎甚至親自坐鎮湯頭鎮指揮作戰。
至此，參與進攻台兒莊的日軍已經達八個半步兵大隊之多，又加強了24門75毫米山炮，無論從兵力還是火力上已經達到一個師團的配置，可謂如虎添翼。開始不分敵我地對台兒莊猛烈炮擊，4月1日，整個台兒莊差不多被日軍的炮火夷為平地。
之後，日軍重新對台兒莊發動大規模進攻，而池峯城31師經過多日作戰，損失慘重，無力守住莊城，當天，日軍就突入東南門，並進入莊內一百米，到4月2日，台兒莊80%的地區已經被日軍攻佔。
為了確保台兒莊，孫連仲和池峯城也是殺紅了眼，孫連仲更是命令防守台兒莊側翼的幾個師也出兵增援，台兒莊成了絞肉機，30師一個團兩千人於拂曉入莊內增援，到晚上只剩下不到百人。
見部隊損失慘重，4月2日晚上，孫連仲只得打電話給司令長官李宗仁，要求撤出台兒莊，孫連仲用近乎哀求的語氣説：“求李長官給第二集團軍留一個種子吧！”
但李宗仁深知，打仗比的就是毅力，看誰堅持的久，湯恩伯第二軍團將於明天投入戰鬥，於是以不容置疑地口氣説：“敵我在台兒莊已血戰一週，勝負之數決定於最後5分鐘。援軍明天中午可到，我本人也將於明晨親來台兒莊督戰，你務必守至明天拂曉。這是我的命令，如違命令，當軍法從事。”
扔下電話後，孫連仲來到台兒莊親自督戰，池峯城又來電請求撤退。孫連仲命令道：“士兵打光了你就自己上前填進去。你填過了，我就來填進去。有誰敢退過運河者，殺無赦！”並命令池峯城炸掉運河浮橋，以示背水一戰。
戰到黃昏時，筋疲力盡的日軍停止了進攻。及至午夜，池峯城從31師剩下的部隊裏調出75名戰士組成敢死隊，分組向敵人反衝鋒，殺入敵陣。日軍白天幾乎佔領整個台兒莊，根本想不到中國軍隊還有力氣乘夜出擊，倉皇應戰。池峯城趁勢反擊，一舉奪回四分之三日佔區域。
4月3日黎明，湯恩伯軍團第52軍、第85軍、第75軍在台兒莊附近向敵展開猛烈反擊，將日軍佔領的街市全部奪回。4月7日凌晨1時，國軍以孫連仲第2集團軍為主組成的左翼兵團和以湯恩伯第20軍團為主組成的右翼兵團在台兒莊及其附近地區大舉反攻，一直將瀨谷支隊追到嶧縣。台兒莊戰役以國軍大勝告終。