鉴和英商有着千丝万缕的关系，所以他也曾多次遭到了林则徐的训斥。对于和英商来往已久的伍秉鉴来说，断绝了和英商的往来也就相当于断绝了他的经济来源。所以，尽管在一次次的训斥马戛尔尼之后，伍秉鉴的商馆仍是英商们乐意光临的场所。据有关资料记载，伍秉鉴及其他中国行商虽然没有接触鸦片生意，但在1817年美国商船私运鸦片被官府查获时，伍秉鉴还是不得不向政府交出了16万两的罚银，其他行商被罚5000两，相当于鸦片价值的50倍。可是，就在东印度公司用鸦片打开中国市场的时候，英商公司在中国的通商权也被取消。面对如此辽阔、利益如此巨大的中国，英国商人自然不甘屈服，中英贸易摩擦开始进入白热化阶段，战争一触即发。1840年6月，第一次鸦片战争终于爆发了。腐败的清政府无力抵抗，1842年8月29日，签订了丧权辱国的《广州条约》和《南京条约》。在这两项条约中，清政府分别向英国赔款600万银元和2100万银元。这两次赔款中，伍氏家族独自就出资110万银元和100万银元，同时在条约中还取消了广州行商管理港口的权力，并且开放口岸由“一口通商”变为了“五口通商”。随着“五口通商”的实行，广州十三行所享有的特权也随之结束，行商们纷纷从广州去了上海。广州十三行的势力开始逐渐没落，国际贸易中心的地位逐渐被上海、香港取代。就在这一年，伍秉鉴也因病在广州去世。但是，十三行作为中英矛盾冲突的焦点，作为人们指责的对象，却没有随着第一次鸦片战争的结束而消失。1856年，由“亚罗”号事件引发的第二次鸦片战争爆发，广州十三行成为了中外交锋的战场。12月15日深夜，中英两方的炮火将这个具有170多年历史的商馆化为了灰烬。从此，以伍秉鉴为首的十三行便彻底退出了历史的舞台。