同晚清、北洋一样，对日外交也是最棘手的问题。张群作为蒋介石的最高幕僚，在对日外交问题上肩负着特殊的使命，也是对日外交的主要参与者。1927年蒋介石第一次下野后，曾于9月底东渡日本，随行人员便有张群。蒋介石在日本期间，与张群等人广泛结交、会见日本朝野，并与日本首相田中义一等密谈，拜谒日本黑龙会的头山满，为东山再起捞资本。蒋介石回国后，张群暂留日本继续活动。
1928年初，蒋介石重新上台，张群从此成为外交的实际主持人。从1927到1947年抗战全面爆发的20年间，日本侵略者野心勃勃，时时不忘侵略扩张，处处挑起事端。张群坚定不移地执行着蒋介石的对日妥协卖国的外交政策。此间，张群与日本交涉的第一件大事便是1928年发生的“济南惨案”
1928年初，军队进行对张作霖的“二次北伐”，受到日本的干涉。北伐军进军济南时，日方反应强烈，于5月出兵济南，对济南居民和进驻济南的北伐军人进行大肆屠杀。北伐军在蒋介石的妥协政策下毫无反抗，以致国民外交部长黄郛被扣押18小时，外交特派员蔡公时被割去耳、鼻、舌，挖去眼睛后，与其他外交人员共16人一起被杀害。张群与日方参谋部第三部长松井石根谈判，松井石根等人嚣张至极，谈判毫无结果。到11月，济南军民被杀被伤者人数已达6万左右。
在此种情况下，蒋介石采取屈辱退让、忍辱负重的对策，命令北伐军部队撤出济南，绕道北上。结果北伐军眼睁睁看着中国民众任日寇宰割，一枪未发便撤退了。最后张群与新任外交部长王正延与日方谈判，达成协议，宣布“济南之不幸事件既往不咎”这是张群第一次主持对日谈判——卖国求和。
“二次北伐”结束后，为和日本修好，张群再次奉命赴日，与日本首相田中会谈，向日本介绍中国国内政局，希望日本在中国东北问题上保持友好态度，对南京当局的统一事业不要加以阻难。
九一八事变后，全国抗日民主运动空前高涨，张群作为上海市长，采取的是消弭和扼民的抗日热情，抵制人民的抗日运动，“尽力消弭淞沪地区人民反日行动，不使扩大为全面之冲突”认为中国困于贫弱和内战，无力单独抗击日本。中国内部尚未统一，国力尚未充实，对日关系不宜破裂。这种举动和主张自然符合蒋介石的对日妥协、“攘外必先安内”的对策，但却遭到上海人民的强烈反对，为此张群被迫辞去上海市长一职。
1932年初，蒋介石正集中力量在南方对红军大肆“围剿”，为应付北方局势，任命张群为北平政务委员会常务委员、军事委员会北平分会委员，协助张学良策划北方军政大计，主持对日交涉。张群不负蒋介石厚望，在一系列的对日交涉中，忠实地执行了蒋介石“攘外必先安内”政策。长城抗战爆发后，在黄郛受命北上与日军交涉中，张群多方协助，终于促使丧权辱国的《塘沽协定》顺利签订。接着，《何梅协定》、《大滩会议纪要》、《秦土协定》等卖国协定一个个地签订，对日妥协活动被推向一个新高潮。
1935年，张群出任外交部长后，一改汪精卫为行政院长时对日敬而远之不直接谈判的外交政策，秉承时任行政院长的蒋介石的旨意，主动与日本谈判以求全面调整中日关系。此时民族危机空前严重，日方得寸进尺，将侵略魔爪伸向华北，经济蚕食，浪人，支持汉奸，策动华北五省自治运动等，严重威胁了的统治，也激起全国人民的强烈反抗。一二·九运动爆发后，使抗日民主运动空前高涨。在这种情况下，蒋介石对日妥协政策发生变化，中日之间长期进行的外交谈判发生新动向。
日本从1935年11月开始，向中国方面提出了“广田三原则”蒋介石起初表示可以原则上接受，随后态度日趋强硬，遂使谈判僵持无果。张群针对日本驻华大使川越口头提出的超过“二十一”条的七项强硬无理要求，提出中国希望调整两国关系的五点希望。要点为：取消《塘沽协定》与《上海停战协定》；解散冀东伪政权；停止华北自由飞行，停止及恢复中国方面被取缔的自由，解散察东及绥远北部伪军。这些针对日本的无理要求而提出的反要求，日方显然不能接受，谈判至《西安事变》前破裂。
在近一年的谈判中，张群作为中方代表先后八次与日方代表会谈，一改以往对日一味妥协退让的态度，维护了中国主权。
1937年1月日本驻华使馆秘书、武官奉调回国前，前往谒见张群并辞行，张群对其明确指出：“日本之对华态度影响甚巨，故我国方面决定由外交途径进行调整，而同时在其他方面又不能放弃抗日之准备。”抗战爆发后，在讨论与日本的和战方针问题的庐山谈话会上，以何应钦为代表的亲日派认为：“中国武器不如日本，若开战，七日之内必亡国。”亲英美的孔祥熙则主张，“抗战不如参战，参战不如观战”，张群则提出了“和必乱，战必败，败而后和，和而后安”的“十四字真言”，被蒋介石奉为“国策”这一充满失败主义论调的基本政策，在实际中被的消极抗战政策所体现。
全面抗战爆发后，上海于1937年11月沦于日本侵略者的铁蹄之下，南京陷入危急之中。此时，德国驻华大使陶德曼出面调停，张群即以中国代表身份参加谈判。但此间日本侵略军攻占南京，开始了惨无人道的南京大屠杀。在这一背景下，日本代表态度越来越强硬，要价越来越高，谈判最终破裂。
1938年1月中日两国同时召回大使，双方绝交。此后，中国方面除了以汪精卫为代表的汉奸集团和日寇勾结外，与日本的外交处于停滞状态。抗战胜利后，中国参加了由美、苏、英、加等国组成的对战败国家实施管制的远东委员会，中日两国亦重新开始了外交往来，张群再度成为蒋介石的特别代表，于1948年又一次到台前主持对日外交，直至败逃台湾后年迈“退休为止”
去台后继续发挥余热到台湾后，张群已失去在大陆时期的风光。撤台之初，政治经济一片混乱，蒋介石忙于复出、改造运动，无暇顾及这些昔日重臣大员，张群除仍任“总统府资政”这一虚职外，中央党部改组结束后，又被赏赐一顶“中央评议委员”的荣誉桂冠。
此时的张群已大权旁落，但由于他与日本有着密切关系，具有丰富的与日谈判经验，尽管在“外交部”没有任职，但仍然是对日外交的主要拟定和执行者，尤其当美国宣布将缔结对日和约时，张群又得到重用的机会。
在对日和约问题上，1951年12月10日，美国派杜勒斯访日，与吉田首相就举行会谈，在美国的压力下，吉田被迫放弃了与中国大陆建交的打算，同意与台湾当局单独缔结和约。蒋介石在“总统府”召集对日和约小组会议，出于对张群的信任，指定张群为谈判代表。但由于“”内部意见不一，有人主张由时任“外交部长”的叶公超任主要谈判代表。张群意识到自己名不正言不顺，于是对蒋介石的指派坚辞不就。而事实上，张群确是对日外交的一张王牌，其影响与能量不可小觑。蒋介石最后决定，张群为对日和约小组召集人，主持重要问题的讨论，谈判由“外交部”负责。
1952年2月17日，日本派以河田烈为首的谈判代表团抵达台北，台湾方面由“外交部长”叶公超和“外交部政务次长”胡庆有为正副代表，开始举行媾和谈判。张群一直“以私人资格，多方面协助其成”其间，张群多次与日方谈判代表河田烈会晤，讨论谈判中出现的困难，也向蒋介石建议适当让步，以便有回旋空间。日本对大陆的态度确实加重了其与台湾媾和谈判的砝码。4月28日下午3时，“台日和约”终于在双方努力下完成。
此后，张群奉蒋介石之命，频繁往来于台北、东京之间，在日本政界、外交界、工商界里广泛活动，结交日本朝野上层右派，特别强调“台日全面合作，共同积极”，挑拨分化中国大陆与日本关系，破坏邦交正常化。日本与新中国的多次谈判，都因张群从中作梗而告吹。除了频频访日外，张群还多次“出访”欧、亚、非一些国家，为在国际舞台树立形象，立下了汗马功劳。
张群除了原先的荣誉虚职外，到1953年，终于有了实际性职务，被任命为“中央革命实践研究院”主任委员。1954年5月18日，被任命为“总统府”秘书长。20日下午，蒋介石举行“总统”就职酒会，张群走马上任，开始长达伴君十八年的秘书长生涯。
1957年9月，张群再次以官方身份访日，这次访日直接成果就是扩大了台日贸易，日本通过直线上升的外贸额，把台湾当成劳务市场和商品推销地。
此时日本国内要求中国大陆与日本友好的呼声越来越高，日本当局考虑到自身的利益，采取“政经分离”的政策，一边保持与台湾的各种关系，一边发展中国大陆与日本贸易关系。张群特在日本发表《中日关系与美国》，对此表示了深深的忧虑。
到了20世纪70年代，新中国的实力越来越强，在国际上的声望越来越高。1971年中国重返联合国，同年7月16日，美国总统特使基辛格秘密访华，16日即发表访华公报，宣布尼克松总统将于第二年5月以前访华。日本原本有意与新中国建交，美国这一举动推动了日本与新中国建交的步伐。而这一切对于台湾当局来说，无异于是最沉重的打击，蒋介石使尽浑身解数企图“力挽狂澜”
蒋介石找到张群，此时的张群已是83岁高龄。蒋介石首先表示了关切的问候，然后向张群征询谁去日本最合适。张群即明白蒋介石的目的，立刻说：“如果总统认为我还行，岳军愿去日本做最后努力。”蒋介石很受感动，对张群说：“岳军，80多岁的高龄，我还要你出访，真是难为了你呀！”张群立刻起身，在屋里大踏步走了几步，表示自己还很强健，并说：“‘总统’，您不是也在日日操劳吗？我还比您小两岁，身体好得很呢。”1971年7月25日，张群来到日本，一下飞机便遍访日本政要。他首先求见刚从领地别墅回东京的裕仁天皇，然后又与快下台的首相佐藤荣作、右翼政客岸信介等人长谈。28日，张群出席“台日合作策进会”，企图借此机会争取日本财经界、工商界支持。但不少财团领袖听说张群要参加这个会议，纷纷借故缺席，令张群十分恼火。在集中日各界学者名流的“中国问题20人委员会”的恳谈会上，张群即席演讲，呼吁“作中流砥柱，挽狂澜于既倒”企图阻止新中国与日本友好关系的建立与发展。
30日中午，张群又在岸信介主持的亚洲国会议员联盟日本议员团的宴会上发表讲话：“日本对中国问题，应以冷静态度处之，须知操切从事，非贤明之策。”称日本对大陆友好政策是“图近忽远，必将身受其祸，噬脐莫及”8月1日，张群和佐藤荣作首相长谈，企图能说服佐藤改变初衷。
张群此行，马不停蹄，四处演讲、游说、鼓动、呼吁。然而，历史潮流不是哪一个人可以阻挡的，其此行也注定以失败而告终。
8月2日，张群怀着沉重的心情离开了日本。在上飞机前，他用充满忧伤的语调向东京告别：“再见了，东京！”这是张群最后一次以台湾当局的名义出访日本，从此结束了他与日本官方接触、谈判的历史。张群这张对日关系的王牌，从事外交七十年，最终以失败退出历史舞台。他在《我与日本七十年》的回忆录中含泪哀叹：“七十年漫长的时日是过去了，我自信不能不说是竭尽了心力所能及。”但是“七十年来的努力目前是落空了”
1972年2月21日，尼克松总统访华，1972年9月29日，中国大陆与日本两国正式建交。这是蒋介石和张群最不愿意面对的现实。在台湾，一些人把中国大陆与日本建交归结于张群对日外交的失败，不少人幸灾乐祸、落井下石，说张群“只用耳朵听他日本朋友的话，又想保住和扩大权势，一味亲日，落到今日的下场”还有人笑他对“忠则忠矣，却鲜有辉煌成果”然而客观地说，张群对日外交的失败并不是他个人的原因，而是的命运决定的，是历史潮流不可阻挡的。