网站死链检查:改版或迁移时应核对什么?

📍 WDQWDWQD987AAAAA:216.73.217.14
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /8e1301d0c485.html
📄

网站死链检查:改版或迁移时应核对什么?

改版或迁移时的网站死链检查,核对重点不是“有没有跑过工具”,而是交付结果能否证明:旧地址要么被保留、要么被正确跳转到新地址、要么被明确下线,并且站内入口、站点地图和抓取规则没有继续指向失效地址。验收时应拿到旧URL清单、跳转映射表、检查结果和未处理项说明,而不是只看一张“死链数量”截图。

先要一份可核对的旧URL清单

没有旧URL清单,网站死链检查就无法覆盖真正会流失的入口。改版或迁移前,应从服务器访问日志、旧站点地图、站内链接导出结果和历史页面列表中整理出旧URL,并标注每个地址的处置方式:保留、301跳转到新页面、410下线,或暂时保留但不再维护。

核对时重点看三类地址:曾被外部链接引用的页面、有自然搜索流量的页面、站内导航和栏目页。只检查首页和几个主要栏目,会漏掉大量深层页面。清单中至少应包含旧URL、新URL、处置方式、负责人和验证日期,这样后续才能逐条判断是否真正落地。

跳转映射要逐条验证,而不是只看规则数量

改版时常见的做法是写一批跳转规则,但规则命中不等于用户和搜索引擎到达了正确页面。需要逐条验证的是:旧URL请求后返回的状态码、最终落地页是否与旧内容主题一致、是否出现跳转链或多重跳转、是否跳到首页或无关栏目。

可以用一条短例子判断:假设旧地址是 /old-page,新地址是 /new-page。请求旧地址后,如果返回301并最终打开 /new-page,且页面主题一致,这条就算通过;如果先跳到一个中间地址再跳一次,或者最终落到首页,就应退回修改。

站内链接、站点地图和robots.txt要一起查

网站死链检查不能只查外部入口。改版后,导航、面包屑、正文内链、分页、筛选链接和站点地图都可能还指向旧地址。应重新抓取新站,找出返回404或跳转的站内链接,并替换为最终地址。

站点地图应只包含可返回200状态码的最终页面地址。站点地图不保证收录,但它如果包含大量失效地址,会增加核对负担,也会让提交结果失真。robots.txt 的抓取限制不等于可靠的索引移除:如果旧页面已经不存在,却只在 robots.txt 中禁止抓取,搜索引擎仍可能保留旧地址的索引记录。需要移除索引时,应结合页面状态码、页面上的说明和相应搜索平台的移除方式分别核查。

交付验收看结果,也看未处理项

改版或迁移的验收资料至少应包括:旧URL清单、跳转映射表、抓取检查结果、站点地图更新记录,以及未处理死链的说明。未处理项不能只写“后续优化”,而要写清是保留、跳转、删除还是暂时无法处理,以及由谁在什么条件下复核。

检查项可以按下面顺序执行:

  1. 导出旧URL并去重,标注每一条的处置方式。
  2. 用爬虫或日志抽样请求旧URL,记录状态码和最终地址。
  3. 核对跳转目标是否与旧内容主题一致,排除跳首页和跳无关栏目。
  4. 抓取新站,检查站内链接、站点地图和 robots.txt 是否仍指向旧地址。
  5. 把未处理项整理成清单,写明原因、责任人和复核条件。

判断结果时,如果旧URL全部有明确处置、跳转目标主题一致、站内不再大量指向失效地址,就可以进入上线后的复查阶段;如果仍有旧URL返回404却没有记录,或者跳转目标与旧内容无关,就应先修复再交付。

下一步可以直接从旧URL清单中抽取访问量最高的一批地址,逐条请求并记录状态码与最终落地页,再与跳转映射表对照。

图1 图2

nginx