Mulai dari halaman yang dimaksudkan dan bukti yang dapat digunakan ulang
Daftar halaman publik yang Anda inginkan agar pencari menemukan: produk kunci, artikel, kategori, dan URL yang dipindahkan. Untuk masing-masing, catat URL preferensi, respons yang diharapkan, keterindeksan (indexability), template, pemilik, dan prioritas. Pisahkan pengecualian yang sah.
Ambil respons tanpa autentikasi, header, jalur pengalihan, sumber halaman, tampilan yang sudah dirender, status tautan internal, dan kondisi sitemap untuk URL representatif. Sampel setiap template dan pola URL. Bukti diberi tanggal: pengaturan CDN, deployment, lapisan persetujuan (consent), atau personalisasi dapat mengubahnya nanti.
Homepage yang lulus tidak membuktikan bahwa listing, varian produk, atau rute terlokalisasi bekerja.
Simpan header dan bukti render yang diberi tanggal sehingga perbaikan dan regresi di kemudian hari dapat dibandingkan.
Buat keterindeksan menjadi keputusan yang disengaja
Indexability berarti sebuah halaman dapat dimasukkan ke dalam indeks pencarian; itu bukan sama dengan crawling atau peringkat. Periksa directive meta robots dalam HTML dan header respons X-Robots-Tag. Direktif noindex memberi tahu mesin pencari untuk tidak menampilkan sebuah halaman; X-Robots-Tag juga berlaku untuk file non-HTML seperti PDF.
Tinjau robots.txt secara terpisah. Perayap harus mengakses halaman untuk menemukan directive noindex-nya, jadi memblokir URL itu dapat mencegah directive terlihat. Periksa respons publik yang dideploy karena pengaturan CMS dan flag environment dapat menambah aturan. Noindex bukan kontrol akses: lindungi materi sensitif dengan autentikasi dan tinjauan keamanan yang sesuai.
Tandai noindex, respons login, referensi staging, dan aset penting yang diblokir pada halaman yang dimaksudkan untuk diindeks.
Header respons HTTP dapat membawa directive bahkan ketika tidak ada elemen <head> HTML.
Buat satu URL preferensi yang konsisten
Kanonikasi (canonicalization) mengidentifikasi URL preferensi di antara versi duplikat atau sangat mirip, seperti HTTP dan HTTPS, host berbeda, parameter pelacakan, filter, atau halaman cetak. Bandingkan elemen canonical, tautan internal, URL di sitemap, dan tujuan redirect. Untuk halaman yang dapat diindeks, semuanya biasanya harus mengidentifikasi URL preferensi absolut yang sama.
Gunakan redirect sisi-server permanen saat menonaktifkan duplikat. Google menjelaskan redirect permanen dan rel=canonical sebagai sinyal kuat, sementara penyertaan di sitemap adalah sinyal yang lebih lemah; sinyal yang selaras memperkuat preferensi. Jangan gunakan robots.txt untuk mengkanonikalkan atau memberi halaman yang sama kanonik yang bertentangan. Canonical yang merujuk pada dirinya sendiri membantu menyatakan versi yang disukai, tetapi pemilihan akhir oleh mesin pencari tetap di luar kendali Anda.
Dokumentasikan varian, target preferensi, kontrol yang diperlukan, dan pemilik.
Uji pemetaan lama-ke-baru sebelum migrasi dan siapkan perubahan redirect yang dapat dibalik.
Periksa kode status dan perilaku redirect
Kode status memberi tahu browser dan perayap apa yang terjadi. Halaman live penting harus mengembalikan respons 2xx yang bermakna dengan konten yang dimaksudkan. Halaman tanpa pengganti relevan harus mengembalikan 404 atau 410 yang sebenarnya; konten yang dipindahkan harus mencapai pengganti relevan terdekatnya. Halaman 200 yang hanya menampilkan kesalahan dapat diperlakukan sebagai soft 404.
Catat setiap hop redirect. Google umumnya mengikuti hingga 10 hop untuk crawling web umum, tetapi rantai menambah latensi dan kerentanan. Google menyatakan respons 5xx dan 429 dapat memperlambat crawling sementara dan kesalahan server yang persisten dapat akhirnya menghapus URL yang diindeks. Selidiki kegagalan berulang dengan pemilik engineering di seluruh lapisan aplikasi, CDN, origin, cache, dependensi, dan deployment.
Simpan URL asli, hop, kode, URL akhir dan status yang diharapkan.
Hapus aturan CMS, CDN, host, locale, atau slash yang saling tumpang tindih alih-alih menambahkan hop lain.
Validasi rendering JavaScript dan rute
Periksa baik HTML awal maupun tampilan yang dirender untuk template kunci. Konfirmasi konten utama, heading, tautan, canonical, directive robots, dan state ada setelah rendering. Google menjelaskan fase crawl, render, dan index yang terpisah dan mengatakan konten yang tidak terlihat dalam HTML yang dirender tidak dapat diindeks.
Gunakan elemen anchor dengan atribut href untuk navigasi. Rute yang hanya memakai fragment yang memuat konten berbeda tidak dapat diandalkan untuk penemuan. Minta langsung produk, artikel, dan URL yang difilter yang tidak ada. Aplikasi sisi-klien perlu keadaan error yang nyata; Google mendokumentasikan routing ke 404 server atau menambahkan noindex untuk menghindari soft 404. Server rendering atau prerendering dapat membantu, tetapi verifikasi respons yang dideploy.
Periksa HTML respons, HTML yang dirender, dan tampilan browser manusia untuk perbedaan material.
Utamakan canonical di source HTML; jika JavaScript menentukannya, pastikan ada satu canonical yang tidak bertentangan.
Jaga sitemap dan tautan internal tetap bersih
Sitemap adalah peta penemuan, bukan perintah pengindeksan. Sertakan URL kanonik preferensi yang berhasil dan dimaksudkan; kecualikan redirect, error, halaman noindex, duplikat parameter, dan URL yang dilindungi. Google menyarankan URL absolut terlengkap dan memperlakukan penyertaan sitemap sebagai petunjuk kanonik, bukan jaminan.
Validasi sitemap dan bandingkan dengan daftar intended-index dan navigasi. Google mendokumentasikan encoding UTF-8 dan batas 50 MB tidak terkompresi atau 50.000 URL per sitemap. Untuk situs yang lebih besar, pisahkan ke grup yang berguna dan gunakan index. Perbarui lastmod hanya untuk perubahan halaman yang signifikan dan dapat diverifikasi.
Selidiki perbedaan bermakna antara URL yang dimaksudkan, entri sitemap, dan tautan internal.
Periksa sitemap yang dihasilkan dan sampel URL yang terdaftar setelah perubahan routing atau CMS.
Ukur kinerja dan institusionalisasikan audit
Gunakan data lapangan (field data) bila tersedia dan uji lab terkontrol untuk menyelidiki Core Web Vitals: Largest Contentful Paint untuk pemuatan, Interaction to Next Paint untuk responsivitas, dan Cumulative Layout Shift untuk stabilitas visual. Segmentasikan menurut tipe halaman dan perangkat karena rerata dapat menyembunyikan template bernilai tinggi yang rusak.
Telusuri pengiriman yang lambat atau tidak stabil melalui gambar, CSS dan JavaScript, tag pihak ketiga, font, embed, dan caching. Lakukan satu perubahan yang terukur, lalu cek ulang rendering dan alur pengguna. Data lapangan mencerminkan pengguna nyata; data lab membantu reproduksi. Tidak ada yang memprediksi setiap perayap atau pengunjung masa depan. Ulangi pemeriksaan regresi terfokus setelah rilis berisiko dan lakukan audit lebih lengkap setelah migrasi atau perubahan platform.
Perbaiki kegagalan pada template yang kritis bagi pendapatan atau yang sering digunakan sebelum mengejar peningkatan skor kecil di tempat lain.
Periksa ulang respons, canonical, konten yang dirender, kondisi sitemap, dan bukti kinerja relevan sebelum menutup pekerjaan.