Bắt đầu với các trang dự định và bằng chứng có thể tái sử dụng
Liệt kê các trang công khai bạn muốn người tìm kiếm thấy: sản phẩm chính, bài viết quan trọng, trang danh mục và các URL đã di chuyển. Với mỗi URL, ghi lại URL ưu tiên, phản hồi mong đợi, khả năng lập chỉ mục, mẫu (template), người chịu trách nhiệm và mức độ ưu tiên. Giữ riêng các loại loại trừ hợp lệ.
Chụp lại phản hồi không xác thực (unauthenticated), headers, đường dẫn redirect, mã nguồn trang, giao diện đã render, trạng thái liên kết nội bộ và trạng thái sitemap cho các URL đại diện. Lấy mẫu cho mọi template và mẫu URL. Bằng chứng cần có ngày: cấu hình CDN, triển khai, lớp đồng ý (consent) hoặc cá nhân hóa có thể thay đổi sau đó.
Một homepage trả về OK không chứng minh rằng các trang danh sách, biến thể sản phẩm hoặc route địa phương hóa hoạt động.
Giữ headers và bằng chứng đã render có ngày để so sánh khi sửa lỗi và khi xảy ra hồi quy sau này.
Biến khả năng lập chỉ mục thành quyết định có chủ ý
Khả năng lập chỉ mục (indexability) nghĩa là một trang có thể được đưa vào chỉ mục tìm kiếm; nó không đồng nghĩa với việc đã được crawl hay xếp hạng. Kiểm tra các chỉ thị meta robots trong HTML và header phản hồi X-Robots-Tag. Chỉ thị noindex bảo công cụ tìm kiếm không hiển thị trang; X-Robots-Tag cũng áp dụng cho các tệp không phải HTML như PDF.
Xem xét robots.txt riêng biệt. Trình thu thập phải truy cập trang để thấy chỉ thị noindex, nên chặn URL đó có thể ngăn công cụ thấy chỉ thị. Kiểm tra phản hồi đã triển khai, công khai vì thiết lập CMS và các cờ môi trường có thể thêm quy tắc. Noindex không phải là kiểm soát truy cập: bảo vệ tài liệu nhạy cảm bằng xác thực và đánh giá bảo mật phù hợp.
Đánh dấu noindex, phản hồi yêu cầu đăng nhập, tham chiếu môi trường staging và tài sản quan trọng bị chặn trên các trang vốn dự định được lập chỉ mục.
Một header HTTP có thể mang chỉ thị ngay cả khi không tồn tại thẻ head HTML.
Đảm bảo một URL ưu tiên duy nhất
Canonicalization xác định URL ưu tiên giữa các phiên bản trùng lặp hoặc gần giống, như HTTP và HTTPS, các host khác nhau, tham số theo dõi, bộ lọc hoặc trang in. So sánh thẻ canonical (rel=canonical), liên kết nội bộ, URL trong sitemap và đích của redirect. Với một trang có thể lập chỉ mục, các tín hiệu này thông thường nên chỉ cùng một URL tuyệt đối ưu tiên.
Dùng chuyển hướng vĩnh viễn ở phía server khi loại bỏ một bản trùng lặp. Google mô tả redirect vĩnh viễn và rel=canonical là các tín hiệu mạnh, trong khi việc đưa vào sitemap là tín hiệu yếu hơn; các tín hiệu nhất quán củng cố ưu tiên. Không dùng robots.txt để thực hiện canonical hay gây ra cạnh tranh canonical. Một canonical tự tham chiếu (self-referencing canonical) giúp nêu rõ phiên bản ưu tiên, nhưng lựa chọn cuối cùng vẫn nằm ngoài kiểm soát của bạn bởi công cụ tìm kiếm.
Ghi tài liệu các biến thể, mục tiêu ưu tiên, kiểm soát cần thiết và người chịu trách nhiệm.
Kiểm tra ánh xạ cũ->mới trước khi di cư và luôn giữ thay đổi redirect có thể đảo ngược.
Kiểm tra mã trạng thái và hành vi redirect
Mã trạng thái (status codes) cho trình duyệt và crawler biết điều gì đã xảy ra. Các trang quan trọng đang hoạt động nên trả về phản hồi 2xx có nội dung mong đợi. Trang không có bản thay thế có liên quan nên trả về 404 hoặc 410 thực sự; nội dung di chuyển nên đến bản thay thế liên quan gần nhất. Một trang trả về 200 nhưng chỉ hiển thị lỗi có thể bị coi là soft 404.
Ghi lại mọi bước redirect. Google thường theo tới 10 bước hop trong crawl web chung, nhưng chuỗi redirect làm tăng độ trễ và độ mong manh. Google nói rằng phản hồi 5xx và 429 có thể tạm thời giảm tốc độ crawl và lỗi máy chủ kéo dài có thể cuối cùng loại bỏ các URL đã được lập chỉ mục. Điều tra các lỗi tái diễn cùng người chịu trách nhiệm kỹ thuật qua các lớp ứng dụng, CDN, origin, cache, phụ thuộc và triển khai.
Lưu URL gốc, các hop, mã, URL cuối và trạng thái mong đợi.
Loại bỏ các luật chồng chéo của CMS, CDN, host, locale hoặc slash thay vì thêm một hop nữa.
Xác thực việc render JavaScript và các route
Kiểm tra cả HTML ban đầu và giao diện đã render cho các template chính. Xác nhận nội dung chính, các heading, liên kết, canonical, chỉ thị robots và trạng thái tồn tại sau khi render. Google mô tả các pha crawl, render và index tách biệt và nói rằng nội dung không xuất hiện trong HTML đã render không thể được lập chỉ mục.
Dùng các thẻ anchor với thuộc tính href cho điều hướng. Các route chỉ dùng fragment (mỏ neo) mà tải nội dung khác không đáng tin cậy cho việc khám phá. Gửi yêu cầu trực tiếp tới sản phẩm, bài viết và URL lọc không tồn tại. Ứng dụng phía khách cần có trạng thái lỗi thực; Google khuyến nghị routing tới 404 server hoặc thêm noindex để tránh soft 404. Server rendering hoặc prerendering có thể giúp, nhưng hãy xác minh phản hồi đã triển khai.
Kiểm tra HTML phản hồi, HTML đã render và giao diện trình duyệt cho các khác biệt quan trọng.
Ưu tiên canonical trong mã nguồn; nếu JavaScript đặt canonical thì đảm bảo chỉ có một canonical không mâu thuẫn.
Giữ sitemap và liên kết nội bộ sạch
Sitemap là bản đồ khám phá, không phải lệnh lập chỉ mục. Bao gồm các URL ưu tiên đã thành công; loại trừ redirect, lỗi, trang noindex, trùng lặp tham số và URL được bảo vệ. Google khuyến nghị dùng URL tuyệt đối đủ điều kiện và coi việc đưa vào sitemap là gợi ý canonical, không phải đảm bảo.
Xác thực sitemap và so sánh với danh sách dự định-index và điều hướng. Google ghi nhận mã hóa UTF-8 và giới hạn 50 MB (không nén) hoặc 50.000 URL mỗi sitemap. Với các site lớn hơn, tách theo nhóm hữu ích và dùng sitemap index. Cập nhật lastmod chỉ cho những thay đổi đáng kể và có thể xác minh.
Điều tra khác biệt đáng kể giữa các URL dự định, mục trong sitemap và liên kết nội bộ.
Kiểm tra sitemap được sinh và mẫu URL được liệt kê sau thay đổi routing hoặc CMS.
Đo hiệu năng và thể chế hóa khảo sát
Dùng dữ liệu hiện trường (field data) khi có và kiểm tra lab có kiểm soát để điều tra Core Web Vitals: Largest Contentful Paint (LCP) cho tải trang, Interaction to Next Paint (INP) cho độ phản hồi, và Cumulative Layout Shift (CLS) cho ổn định hình ảnh. Phân đoạn theo loại trang và thiết bị vì trung bình có thể che giấu một template giá trị cao bị hỏng.
Theo dõi các yếu tố gây chậm hoặc không ổn định qua hình ảnh, CSS và JavaScript, thẻ bên thứ ba, font, nhúng (embed) và cache. Thực hiện một thay đổi có đo lường, rồi kiểm tra lại việc render và luồng người dùng. Dữ liệu hiện trường phản ánh người dùng thực; dữ liệu lab giúp tái tạo. Không loại nào dự báo mọi crawler hay khách truy cập trong tương lai. Lặp kiểm tra hồi quy tập trung sau các phát hành rủi ro và một khảo sát đầy đủ sau di cư hoặc thay đổi nền tảng.
Sửa lỗi trên các template quan trọng doanh thu hoặc dùng nhiều trước khi tối ưu điểm số nhỏ ở nơi khác.
Kiểm tra lại phản hồi, canonical, nội dung đã render, trạng thái sitemap và bằng chứng hiệu năng liên quan trước khi đóng công việc.