1937年7月7日，日军制造卢沟桥事变

1937年7月7日，日军制造卢沟桥事变，发起全面侵华战争，曾泽生力主出兵抗日。同年8月，龙云应蒋介石的要求，在云南组建国民革命军第60军出滇抗战，以原滇军的6个旅、12个团编成60军，下辖182、183、184三个师，曾泽生在184师任1085团团长，率领全团2480人出滇抗战。

重阳节当日，曾泽生率领全团人在昆明举行了誓师大会，而后出发准备参加南京保卫战，途中得知南京已沦陷，第60军奉命在武汉整训待命。

1938年4月，徐州会战期间，日军进逼徐州后方，第60军奉命驰援。4月19日，曾泽生率部作为先头部队前往增援。4月22日，曾泽生所部抵达台儿庄赵墩车站，并于当天进入阵地作为二线部队待命。由于第一线作战的国民革命军第三集团军总司令于学忠部和第二十军团军团长汤恩伯部在与日军作战中溃退，日军趁机进攻，第60军被迫仓促应战。

4月23日，曾泽生奉命移防李庄，日军趁他们还未构筑好防御工事发动猛烈进攻，战至日落，曾泽生团伤亡重大。曾泽生一面鼓舞战士，一面亲提机枪率领护旅排投入前线战斗，在与日军反复拼杀后得以守住阵地。4月28日，曾泽生所部奉命攻下台儿庄地区的制高点禹王山。曾泽生率部在目的地构筑防御工事，并坚守阵地，抵挡住日军的反复进攻，致使日军遭受重大损失仍未能突破禹王山阵地，为掩护中国军队数十万人迅速摆脱日军的包围赢得了时间。

1938年5月16日，中国军队向西南撤退，途中第六十军所部被整编为5个团，曾泽生留任团长，并率部沿平汉路南下抵达武汉，于8月起跟随第六十军参与武汉会战，归第二兵团司令张发奎指挥。

9月中旬，第六十军进入湖北阳新县附近的排市地区设防，曾泽生部负责守卫白门楼、上下大郁、黄连洞、石梯寺一带。面对日军的机械化部队，曾泽生主张利用地形优势，发挥所部山地作战的优势，以抵挡日军的进攻。9月26日，日军向曾泽生所部的龙口头阵地发起攻击，因日军使用战机对阵地进行轰炸，曾泽生被迫下令部队退守明贞发阵地。后续几日，日军兵分数路对曾泽生的多个阵地发起进攻。战斗持续至9月30日晨，日军在炮火的掩护下，对曾泽生团所守阵地使用了大量毒气，后又对阵地进行轰炸。曾泽生在前沿阵地就近指挥，与日军激战数次，其部第二、三两营伤亡殆尽，预备队也损失惨重。经过全体官兵的奋战最终将日军击退，当晚曾泽生所部仅剩不足1个营的兵力，后曾泽生率领余部放弃石梯寺转移第二线阵地。

在武汉保卫战中，第六十军发挥了山地作战特长，在正面约20公里、纵深约4公里的地域内，抗击占绝对优势的日军的进攻，为保障武汉机关部队安全撤退作出了贡献。

1939年，南昌会战期间，第六十军奉命开赴奉新、高安一带，堵截沿浙赣铁路(今杭州至株洲)进犯的日军。曾泽生所部负责防守鸦鸠岭的米峰山、凤凰山。

某日，日军在炮兵、坦克的火力掩护下，向曾泽生团的阵地发动轮番进攻，曾泽生率部反击。双方战斗至下午5时半，战至成胶着状态。日军采取迂回前进，试图包围指挥所。曾泽生部下劝告他将指挥所后撤，但曾泽生认为此时指挥所后撤，便会通信中断，陷入绝境。于是，曾泽生坚持指挥战斗，最终在击退日军的进攻。在此战中，曾泽生团以伤亡100余人的代价，毙伤日军300余人，击毙日军联队长铃木效，俘虏日军数十名。