1884年（清光绪十年），吴大澂购买了“明楼”。该旧居相传为康熙年间江苏巡抚宋荦（音luò）归居，“堂凡五楹，相传为宋代旧构。”
1898年（光绪二十四年），官场失意的吴大澂回到家乡苏州，即长居于此，着手整理著作和金石书画鉴藏。
1894年12月底，持续了5个月的中日甲午战争已经进入尾声。
在海战上，清朝北洋水师一战败于丰岛，二战败于黄海，日本海军已获得黄海的制海权。在陆战上，日军由朝鲜过鸭绿江，风扫残云，连下数城，安东、凤凰城、岫岩、海城等战略要地，尽归日军占领。
清朝军队败局已定。掌握朝廷大权的慈禧太后和李鸿章主张议和，主战的光绪帝与翁同龢、张之洞等人无力回天。
在这种情况下，全国各地督抚、统兵大将，无人在大敌当前之际，主动申请上战场。
时任湖南巡抚的吴大澂上书朝廷，请缨出战。他在奏折中说：“伏念臣久膺疆寄，军旅未谙，祗以倭兵犯顺，藐我中原，志切同仇，卧薪尝胆……现值倭夷猖獗，奉防吃紧之时，臣惟有以恩信固结士心，以赏罚申明军律……会合各军，相机进剿。”又充满信心地表示：“总期一鼓作气，次第廓清，力遏凶锋，庶不负皇太后、皇上委任之恩。”
这位年近六十的老人，在1894年之前的仕途可谓一路平顺，意气风发。
勘界谈判历史蜡像。1886年，吴大澂奉使勘界，与沙俄代表据理力争，收回了被沙俄非法霸占的黑顶子百余里的领土，纠正了“土”字界牌，又争得了中国船只在图们江口的航行权。
在宁古塔、珲春，他与沙俄多次交涉，维护了清朝的领土完整和国家主权，又移民实边，造福百姓。1887年，他调任广东巡抚，与妄图强占澳门的葡萄牙殖民者作斗争。1888年，黄河在郑州决口，清政府派他治河，又获成功。
所以，这一次的吴大澂也是信心满满，认为自己一定会旗开得胜。
清廷批准了吴大澂的主动请缨，任命其为帮办东征军务。1895年1月，吴大澂率领新老湘军二十余营，计一万余人出关，迎战日军。
然而，彼时的战局，已成烂摊子。清朝军队被日军打得信心全无，往往一触即溃。吴大澂名义上为帮办军务，但无法指挥全军。诸将多“拥兵据要害，徘徊观望，乍却乍前，不能出死力以决一胜”。归吴大澂节制的军队只有二十营，而他所率领出关的湘军将领又多系庸劣无能、贪生怕死之徒。吴大澂一介书生，实在是低估了战争之惨烈，更对复杂的战局缺乏统筹应变能力。
德国“克虏伯大炮”。吴大澂帮办吉林军务，建立边防军队“靖边军”，在珲春、三姓两地修筑炮台，加强边疆的防务力量。
起初，吴大澂计划调集兵力，反攻日军所占之海城，而日军却声东击西地出兵攻击疏于防守的牛庄。吴大澂部署大乱，不得不率部退往锦州。与此同时，同为帮办军务的宋庆也把主力撤往田庄台，致使营口兵力空虚，日军又轻易的攻取营口，田庄台随后也被攻陷。牛庄、营口、田庄台，连失三重镇，吴大澂刚刚出征，即吃败仗。随即，清朝百余营六万多大军从辽河东岸全线溃退。至此，中日甲午战争宣告失败。
甲午战争失败后，清廷派李鸿章赴日谈判，签订了丧权辱国的《马关条约》，中国不仅要割让土地，还要赔款二亿两白银。条约内容苛刻，举国哗然。这使吴大澂焦灼万分，寝馈难安。他觉得自己作为前敌将帅，应该为战争的失败承担一份责任，两次联系张之洞，希望把自己收藏的青铜器、玉器、书画等藏品送给日本人，以抵扣一些战争赔款，被张之洞拒绝。
此时的吴大澂，处境已跌至谷底。
曾经骁勇善战的湘军在辽东战场惨败，震惊了清廷朝野。“湘军力战而败，死伤过多，人心不振”。吴大澂愤湘军尽覆，欲拔剑自裁，被左右格阻之。
吴大澂难辞其咎，上书朝廷，“伏念臣一介书生，未经战阵，徒以倭寇猖狂，迫於忠愤，不自量力，愿效驰驱。枪械尚未到齐，训练亦无成效，冀分宵旰之忧勤，罔计军情之利钝，谋之不善，咎实难辞。”自叹“自不能军”，并且“自请严议”。
3月17日，吴大澂被撤去帮办军务，来京听候部议。3月28日，朝廷颁发谕旨称：“著即赴湖南本任，毋庸来京。”命他返回湖南，依然任职湖南巡抚。这说明光绪皇帝与翁同龢等主战派，有意从轻处理，大事化小，小事化了。
光绪皇帝想放过吴大澂，其余主和派大臣却对他落井下石。随着一封封弹劾奏折传到朝廷，光绪皇帝不堪其扰，只好将吴大澂革职留任，寻命开缺。
社会各界人士也对他没有好感。晚清时期的外交家黄遵宪专门作了一首古体长诗《度辽将军歌》，讽刺吴大澂沉迷于古物收藏，导致战争失败，嘲笑他“八千子弟尽催折，所幸腰间印未失”，笔调辛辣，极尽刻薄挖苦。
10月20日，清廷将吴大澂彻底革职，令其“即行回籍，毋庸来京候简”。
即使如此，吴大澂也没有怨言。他给光绪皇帝上书表白：“所幸臣精力未衰，尚可备驰驱之任，身在江湖，仍不能无感恩恋阙之思。”仍寄希望于有朝一日再被重新启用。
1898年，光绪皇帝在权力斗争中败北，被迫“靠边站”后，朝廷旧账重提，将吴大澂降旨革职，永不叙用。
“吴大澂第一次踏上珲春”雕像，珲春防川边防文化展览馆藏。
吴大澂一生除了政绩而外，把许多精力都用在了金石考古与文字学上。他把自己的俸禄，尽用于购买秦砖汉瓦、古器、碑拓。返回苏州乡里后，为了解决生计问题，曾出任上海龙门书院山长，授徒自给，又变卖书画、碑帖、古铜器等，补贴家用。
1902年（光绪二十八年），吴大澂辞世，时年68岁。蛰居虞山的清流派统领翁同龢得知消息后，特遣人送去挽联：
上联：文武兼资，南海北海
横批：一卧沧江
“一卧沧江”四字出自唐朝诗人杜甫的作品《秋兴·蓬莱宫阙对南山》，中有“一卧沧江惊岁晚，几回青琐点朝班”之语，慨叹年华老大，远离朝廷，卧病乡里，有心情苦闷而意境开阔之意。这一番评价，也许足可告慰这位曾为国立下奇功，却在暮年兵败、惨淡收场的民族英雄、爱国大臣。
在吴大澂家乡后辈的文化人心目中，他幼承家训，是吴江乡里士绅阶层的代表人物。
为官数十年，吴大澂一向勤政自勉、心系百姓，在郑州治黄、武陟（音zhì）减租、陕襄抚赈等体恤民情的政事中均有所作为，《清史稿》卷四百五十有传。
时任吉林省长白山文化研究会会长的张福有先生表示：“吴大澂最后是个悲剧，但是历史，尤其是我们东彊这段历史，应该牢牢地，正面地写下一笔，吴大澂功不可没。”
吴大澂雕像，珲春市政府立 来源/图虫创意
“土字牌”界碑，1886年吴大澂监立
