在阿斯本事件中，赫德周旋于两国政府之间，做了很多事情但是仍然没有挽救这次合作的破裂。1863年11月15日，总理衙门宣布解除李泰国的职务，同时任命28岁的赫德为总税务司。赫德作为事件的始作俑者，办砸了差事，最终却成了既得利益者，不得不让人佩服其手腕之圆滑。
从“代理”扶正的赫德终于可以放开手脚大干一场，其实，他早已跃跃欲试。当初，署理总税务司除了他还有一个费士来，赫德干脆没把费士来放在眼里，上任第一天就以自己一个人的名义向各口岸税务司发布通令。随后的几年，他建立了一整套科学严密高效的管理制度，让海关成为贪腐盛行的清政府中唯一一抹亮色。
赫德给海关高级职员开出的薪酬非常高，最多的能拿到9000两的年薪，是其他国家同等职位的两倍。职员干满一定年限，还有一笔相当于年薪的酬劳金。此外，退休金回籍旅费带薪年假一应俱全。甚至还有未婚人员抚恤金因功致残抚恤金丧葬费医药费来华探亲家属旅费。如此高的养廉成本再加上各种监督制度，使海关成了大清国唯一一个没有贪污**的部门。
1861年，海关税收为496万两，在赫德的打理下，到1887年，海关税收达到2000万两，占清廷财政收入的24.35。关税成了清廷最稳定最可靠的财源，赫德也成了大清国的“财神爷”。在之后的中法战争庚子之变中，赫德也保持了中立者和亲大清的立场，这让他获得了很多大清高层的信任和依赖。
庚子年8月15日，八国联军攻到英国使馆，坚持了56天的赫德终于获救。第二天，65岁的他在总理衙门的请求下，又开始为停战谈判奔波。当时，如何处理战后对华关系，成为各国政府的头等大事，德国皇帝威廉二世首创“黄*祸”一词，他认为，中国在20世纪要崛起，而崛起的中国将重演蒙古帝国的历史，只有瓜分中国，才能防止“黄*祸”的出现。德国皇帝瓜分中国的建议，在西方引起了很大认同。赫德则在英国杂志上连发6篇文章，综合分析三条出路：第一条是瓜分中国；第二条是扶持新政府；第三条是继续支持慈禧太后和光绪帝。他认为只有第三条才是解决中国问题的最好出路。
在中国居住了40多年，赫德对清政府和中国人有了深厚的感情。他非常洋人对华人的粗暴态度，他曾对慈禧太后除了接见公使夫人还要接见使馆的孩子们有些愤愤不平。
1908年，病中的赫德写下了这样一首诗，“你嬉戏已足，你吃饱喝足，该是你离去的时候了”，这一年他已经73岁，在中国生活了54年，决定回国休养。4月13日上午，十几个西方国家的驻华使节清朝官员及各界人士上千人，聚集在北京前门车站，为赫德送行。赫德私人所建的，终结曲是《友谊地久天长》，乐声中，没有一个西方人不含着眼泪道别。总税务司署的职员们回到衙门，德办公桌上钉着一张便条，上写：“1908年4月13日上午7时，罗伯特?赫德走了。”1911年9月20日，赫德在英国病逝，享年76岁。20天后，武昌起义爆发，紧接着，赫德为之效力近半个世纪的大清王朝灭亡。
现在这个活着的传奇正站在吴宸轩的面前，两人落座后，赫德神秘的一笑。
“肖恩先生，或者您更习惯我称呼您吴宸轩先生，您很快就是伯爵了，确切的说是五个小时以后您就是伯爵了。”赫德耸耸肩膀“显然他们已经意识到您的重要性，醇亲王已经上奏朝廷，您将会成为山东巡抚兼武翼新军总统制官，权知两江剿匪总办大臣，大清一等伯爵，太子少傅，赏戴双眼花翎。”
“得谢谢您告诉我这样的好消息，再次向您表示诚挚的感谢，赫德先生。”吴宸轩微笑着说，这一切并不意外，实际上是昨天醇亲王载沣提出来的条件的一部分，当然交换条件也很诱人。
“并不吃惊，可以想见，一个像是筛子一样的中央机构是无法保密的。”赫德那双灰色的眼睛盯住吴宸轩的眼睛“或许您会掌握这个国度里一半以上的军权，但是从我这个外人来了您的声誉和后世的评价，我觉得您完全可以在现阶段维护好这个大清政权，对您对大清国对这块土地上的生民都有好处，一场政变或许没有什么太大的破坏，但是如果演变成为一场上亿人卷人的大混战，那可就是上帝都没办法原谅的灾难了。”
“我很想知道，赫德先生，您认为我真的能经得住这个诱惑吗？毕竟这是世界上最至高无上的权利。”吴宸轩闲适的品着手里的干邑，像是老朋友在闲聊伦敦的天气。
“或许可以，为了您的国家和人民，您