日本与中国是隔海相望的近邻,历史上两国有着几千年的友好交流的传统。进入近代以后,日本仍是一个比中国落后的弱国,与中国同受列强的侵略与掠夺。1868年明治维新后,日本大力发展经济军事力量,走向对外扩张的军国主义道路,把侵略矛头指向近邻中国和朝鲜。1894年春天,朝鲜南部爆发大规模的东学党农民起义,朝鲜政府请求清政府助兵镇压。日本为了寻找发动战争的借口,以保护使馆和侨民为由同时出兵朝鲜。在镇压了东学党起义之后,清政府为了避免与日本发生冲突,提议双方同时撤兵,但日本蓄意扩大事态,拒不撤兵。日本国力的迅速发展和在朝鲜问题上暴露的侵略野心,使张之洞感到非常震惊,他断言:“日本与中国将失和”,态度倾向“防日”、“抗日”,反对一味避战求和,主张应当作好应敌的准备,以备战求避战。因此,他建议朝廷加紧从国外购买武器和兵船,以备不测。
1894年7月25日,日本海军在朝鲜丰岛海面突袭中国海军。三天后,日本陆军向驻扎朝鲜成欢驿的中国军队发动进攻。8月,双方宣战,甲午中日战争正式爆发。9月,中国军队大败于平壤,残部陆续退回中国国境。随后,中国海军北洋舰队败于黄海大东沟海域。10月,日陆军一部越过鸭绿江,一部于辽东半岛花园口登陆,战火延烧至中国境内,京师震动。11月,朝廷令湘军宿将、两江总督刘坤一率部北上增援。江南是中国的财富之区。连接南北的大运河,又是将兵员、饷械源源输送到北方战场的最便捷的通道。张之洞因有中法战争中积累的经验,被调署两江,主要负责对日作战的后勤保障。
抵两江任后,张之洞不遗余力支援前线抗敌作战。为了保障前线清军后勤补给的及时畅通,他还建立独立的战时转运系统,于南京设转运总局,于扬州、清江、宿迁至山海关、锦州沿线设“江南转运局”12处,各雇大车300辆,又购、租大量船舶,分水陆两路输送辎重。山东威海吃紧时,他主动送去自己在上海购得的快枪1000枝,子弹100万发。
鉴于刘坤一率兵北上,长江下游兵力空虚,张之洞立即接手进行江防部署,亲率随员巡视沿海、沿江各个炮台,逐一检查,调兵遣将,整饬军纪,添置军火,加强部署,使得江南防务力量大为增强。
尽管刘坤一、张之洞等主战派竭力支撑,清军爱国官兵浴血奋战,仍然挽回不了战争失败的结局。清政府被迫通过英美等国,向日本乞降。1894年底,清政府派出驻美国大使张荫桓与湖南巡抚邵友濂为全权大臣,赴日谈判。张之洞对此极表反对。果然,侵略气焰正盛的日本政府急于扩大战果,对谈判根本不感兴趣,以张、邵二人资格不够,且无全权为由,拒绝与之谈判。1895年初,山东刘公岛失陷,北洋水师全军覆没。日本政府在取得更大的筹码以后,始应允谈判,但态度更为骄横,指名李鸿章为中方全权代表。谈判地点前定旅顺,后又改日本马关,清廷一一屈从。4月,双方签订《马关条约》。根据条约,中国割让台湾、澎湖列岛及辽东半岛给日本,赔偿军费白银2亿两,开放沙市、重庆、苏州、杭州为通商口岸,日军继续占领威海、刘公岛要塞。消息传回,朝野震惊,拒约呼声,响彻全国。张之洞屡电总理衙门,逐条剖析了条约的严重危害,坚持持久战,然而这一切都无济于事。
《马关条约》割让台湾的消息传到台湾,激起了台湾各阶层人民的愤慨。在爱国士绅的领导下,掀起了保卫台湾的爱国运动。张之洞一向重视台湾的重要战略地位,对反割台斗争也给予了关注和支持。为保台湾主权,他先建议采取“远交近攻”的策略,将台湾抵押给英国,或允许英国在台湾开矿一二十年,不让日本独占台湾。不料日本已事先答应给予英国种种好处,此计只好作罢。后来张之洞又提出利诱法国保台,迫使日本放弃台湾,仍然没有结果。这一切保台努力失败以后,张之洞只能寄希望于台湾军民的英勇抵抗,以阻止日本强占。他不顾清廷禁令,拨银30万两,经英国汇丰银行汇往台湾,鼓励台湾巡抚唐景崧坚持抗战,但是唐景崧仍以“事不可为”为由只身乘商轮离台。1895年5月底,日军近卫师团登陆台湾。6月,清廷代表李经方(李鸿章长子)与日本委任的台湾总督桦山资纪于台湾基隆口外日舰上,签订台湾交接文件,台湾自此沦亡于日本,但台湾军民仍坚持武装反抗日本的占领。
以台湾军务帮办名义驻守台南的黑旗军统帅刘永福,在台湾抗日义军领袖徐骧、吴汤兴等人的拥戴下,自任军事统领,坚持留台抗日。台湾军民先后在新竹、大甲溪、苗栗、彰化、云林、嘉义等地,与日军展开激烈的争夺战,重创日军,包括山根少将、北川能久亲王在内的近5000人被打死,但孤立无援的台湾军民终究无力改变台湾沦丧的命运。10月,最后一个抗日据点台南陷落,刘永福乘英船退回厦门,其他义军浴血奋战,全部捐躯,台湾最终沦陷。
甲午中日战争失败后,张之洞沉痛地指出中国今后面临被日本灭亡和被列强瓜分的危机,更加坚定了强国愿望,开始了大规模的求强求富的活动。