1928年初，国民党军队进行对张作霖的“二次北伐”，受到日本帝国主义的干涉。北伐军进军济南时，日方反应强烈，于5月出兵济南，对济南居民和进驻济南的北伐军人进行大肆屠杀。北伐军在蒋介石的妥协政策下毫无反抗，以致国民政府外交部长黄郛被扣押18小时，外交特派员蔡公时被割去耳、鼻、舌，挖去眼睛后，与其他外交人员共16人一起被杀害。张群与日方参谋部第三部长松井石根谈判，松井石根等人嚣张至极，谈判毫无结果。到11月，济南军民被杀被伤者人数已达6万左右。
在此种情况下，蒋介石采取屈辱退让、忍辱负重的对策，命令北伐军部队撤出济南，绕道北上。结果北伐军眼睁睁看着中国民众任日寇宰割，一枪未发便撤退了。最后张群与新任外交部长王正延与日方谈判，达成协议，宣布“济南之不幸事件既往不咎”。这是张群第一次主持对日谈判——卖国求和。
“二次北伐”结束后，为和日本修好，张群再次奉命赴日，与日本首相田中会谈，向日本介绍中国国内政局，希望日本在中国东北问题上保持友好态度，对国民党南京当局的统一事业不要加以阻难。
九一八事变后，全国抗日民主运动空前高涨，张群作为上海市长，采取的是消弭和扼杀人民的抗日热情，抵制人民的抗日运动，“尽力消弭淞沪地区人民反日行动，不使扩大为全面之冲突”。认为中国困于贫弱和内战，无力单独抗击日本。中国内部尚未统一，国力尚未充实，对日关系不宜破裂。这种举动和主张自然符合蒋介石的对日妥协、“攘外必先安内”的对策，但却遭到上海人民的强烈反对，为此张群被迫辞去上海市长一职。