从预期被索引的页面和可复用证据开始
列出你希望搜索用户发现的公开页面：重要产品、文章、分类以及已迁移的 URL。为每个页面记录首选 URL、预期响应、可索引性、模板、负责人和优先级。把合法的排除项单独列出。
为具有代表性的 URL 捕获未认证（unauthenticated）的响应、响应头、重定向路径、页面源代码、渲染视图、内部链接状态以及站点地图状态。对每个模板和 URL 模式进行抽样。证据有时效：CDN 配置、部署、同意层或个性化设置以后可能会更改。
通过首页通过并不能证明列表页、产品变体或本地化路由也正常工作。
保留带日期的响应头和渲染证据，以便比较修复和后续回归。
把可索引性作为有意识的决策
可索引性意味着页面可能被包含进搜索索引；这并不等同于抓取或排名。检查 HTML 中的 meta robots 指令和响应头中的 X-Robots-Tag。noindex 指令告诉搜索引擎不要展示该页面；X-Robots-Tag 也适用于非 HTML 文件（例如 PDF）。
单独审查 robots.txt。爬虫必须能够访问页面才能发现其 noindex 指令，因此阻止该 URL 可能会导致指令不可见。检查已部署的公共响应，因为 CMS 设置和环境标志可能会添加规则。noindex 不是访问控制：敏感内容应通过身份验证和适当的安全评审来保护。
在预期被索引的页面上标记 noindex、登录响应、指向暂存环境的引用以及被阻止的关键资源。
HTTP 响应头可以携带指令，即使页面没有 HTML head 也一样。
确保一个首选 URL 保持一致
规范化（canonicalization）用于标识在重复或非常相似的版本之间的首选 URL，例如 HTTP 与 HTTPS、主机名、跟踪参数、筛选器或打印页。比较 canonical 元素、内部链接、站点地图中的 URL 和重定向目标。对于可索引页面，它们通常应指向相同的绝对首选 URL。
在淘汰重复页面时使用永久的服务器端重定向。Google 将永久重定向和 rel=canonical 描述为强信号，而站点地图包含则是较弱的提示；一致的信号会强化首选项。不要使用 robots.txt 来指定规范或让页面出现竞争性的 canonical。自引用 canonical 有助于声明首选版本，但搜索引擎是否采用仍在其控制之外。
记录变体、首选目标、所需控制措施和负责人。
在迁移前测试旧到新的映射，并准备好可逆的重定向变更以便回滚。
检查状态码与重定向行为
状态码告诉浏览器和爬虫发生了什么。重要的在线页面应返回有意义的 2xx 响应并带有预期内容。没有相关替代内容的页面应返回真实的 404 或 410；已移动的内容应到达其最接近的相关替代页面。仅返回 200 但仅显示错误的页面可能被当作软 404 处理。
记录每一次重定向跳转。Google 对一般网页抓取通常会跟随最多 10 次跳转，但链式重定向会增加延迟并降低可靠性。Google 表示 5xx 和 429 响应会暂时减慢抓取速度，持续的服务器错误最终可能从索引中移除 URL。与工程负责人一同调查重复性失败，涵盖应用、CDN、源站、缓存、依赖项和部署等层面。
保存原始 URL、跳转链、状态码、最终 URL 及预期状态。
移除重叠的 CMS、CDN、主机、语言或斜杠规则，而不是添加额外的跳转。
验证 JavaScript 渲染与路由
对关键模板同时检查初始 HTML 和渲染视图。确认主要内容、标题、链接、canonical、robots 指令和状态在渲染后依然存在。Google 描述了单独的抓取、渲染和索引阶段，并指出未在渲染后可见的内容无法被索引。
使用带 href 值的锚点（anchor elements）进行导航。仅片段（fragment-only）的路由在加载不同内容时并不可靠用于发现。直接请求不存在的产品、文章和带有筛选器的 URL。客户端应用需要真实的错误状态；Google 建议路由到服务器 404 或添加 noindex 以避免软 404。服务器端渲染或预渲染可以有所帮助，但必须验证已部署的响应。
检查响应 HTML、渲染后的 HTML 与人工浏览器视图之间的实质差异。
优先使用源 HTML；如果由 JavaScript 设置 canonical，确保只有一个且不冲突。
保持站点地图与内部链接整洁
站点地图是发现地图，而不是索引命令。应包含成功的、预期的、首选的 canonical URL；排除重定向、错误、noindex 页面、参数重复和受保护的 URL。Google 建议使用完整的绝对 URL，并把站点地图包含视为规范提示而非保证。
验证站点地图并将其与预期被索引列表和导航进行比对。Google 说明使用 UTF-8 编码，单个站点地图未压缩限制为 50 MB 或最多 50,000 个 URL。对于较大站点，将站点地图拆分为有意义的组并使用索引。仅在重大且可验证的页面变更时更新 lastmod。
调查预期 URL、站点地图条目与内部链接之间的重大差异。
在路由或 CMS 更改后检查生成的站点地图及其中所列 URL 的抽样。
衡量性能并制度化审计
在可用时使用现场数据，并用受控的实验室测试调查 Core Web Vitals：Largest Contentful Paint（最大内容绘制，LCP）用于加载性能，Interaction to Next Paint（交互到下一绘制，INP）用于响应性，Cumulative Layout Shift（累计布局偏移，CLS）用于视觉稳定性。按页面类型和设备进行细分，因为平均值可能掩盖高价值模板的故障。
通过图像、CSS 与 JavaScript、第三方标签、字体、嵌入和缓存来追踪缓慢或不稳定的交付。做出一项有测量依据的更改，然后重新检查渲染和用户流程。现场数据反映真实用户；实验室数据便于复现。两者都不能预测所有未来的爬虫或访问者。在有风险的发布后重复一次针对性的回归检查，并在迁移或平台变更后进行更完整的审计。
先修复收入关键或高使用量模板上的故障，再追求其他地方的小幅得分提升。
在关闭问题前重新检查响应、canonical、渲染内容、站点地图状态和相关性能证据。