Pilih kontrol yang cocok dengan hasil yang diinginkan
Perayapan adalah pengambilan otomatis sebuah URL. Pengindeksan adalah keputusan mesin pencari apakah akan menyimpan dan menampilkan informasi tentang URL tersebut. Kontrol akses menentukan siapa yang dapat memperoleh konten. Robots.txt berhubungan dengan perayapan, dan perayap yang mematuhi akan memilih untuk mengikutinya. IETF Robots Exclusion Protocol mengatakan ini bukan mekanisme otorisasi.
Gunakan aturan Disallow untuk mengelola akses perayap ke jalur publik bernilai rendah, seperti rute pencarian internal yang terkontrol. Gunakan noindex untuk konten publik yang tidak boleh muncul di hasil pencarian yang didukung. Gunakan kontrol akses nyata untuk preview, area yang memerlukan akun, ekspor, atau data sensitif. Untuk informasi pelanggan, karyawan, pembayaran, atau data yang teregulasi, dapatkan tinjauan keamanan dan platform yang memenuhi syarat; robots.txt tidak pernah merupakan kontrol kompensasi.
Robots.txt dapat meminta perayap yang mematuhi untuk menghindari jalur publik yang ditentukan; ini tidak menjamin penghapusan dari hasil pencarian.
Gunakan noindex di HTML atau header HTTP X-Robots-Tag, dan biarkan respons dapat di-crawl agar instruksi tersebut dapat dibaca.
Butuh autentikasi atau kontrol aplikasi/server yang sesuai, lalu keluarkan URL dari jalur penemuan publik.
Gunakan sintaks dan cakupan inti dengan tepat
Publikasikan robots.txt teks polos UTF-8 di /robots.txt untuk setiap scheme, host, dan port yang memerlukan aturan. File di https://www.example.com/robots.txt tidak otomatis mengatur https://example.com, subdomain, atau origin HTTP. Verifikasi origin yang dilayani oleh URL kanonis, pengalihan, CDN, dan aplikasi sebelum mengasumsikan suatu aturan berlaku.
Sebuah grup dimulai dengan User-agent dan kemudian menggunakan Allow atau Disallow untuk path. User-agent: * adalah grup umum. Pencocokan peka huruf (case-sensitive) dan dimulai dari awal path. Aturan yang paling spesifik menang; Allow yang sama spesifiknya harus menang atas Disallow. Disallow: berarti tidak memblokir apa pun, sedangkan Disallow: / memblokir seluruh origin. Standar mendefinisikan # untuk komentar, * untuk wildcard, dan $ untuk akhir pola.
Jika tidak ada kebutuhan manajemen perayapan yang terdokumentasi, tambahkan tanpa pengecualian; jangan buat blok spekulatif.
Lebih memilih prefiks stabil dan sempit seperti /search/ daripada wildcard longgar atau aturan nama berkas yang tidak jelas.
Catat tujuan aturan, pemilik, dan referensi perubahan, tetapi jangan menjadikan komentar sebagai pengganti tinjauan.
Blok hanya pola yang didukung bukti URL
Sebelum menulis aturan, inventarisasikan halaman penting, jalur perayapan yang tidak diinginkan, varian query, pencarian di situs, rute preview, aset, dan URL sitemap. Untuk setiap contoh URL, catat hasil yang diharapkan dan aturan yang akan cocok. Bandingkan daftar ini dengan URL kanonis dan navigasi langsung agar blok tidak menyembunyikan jalur yang berguna.
Pertahankan sumber daya penting untuk peramban kecuali diuji sebaliknya. Google memperingatkan bahwa memblokir CSS, JavaScript, gambar, atau sumber lain dapat membuat halaman lebih sulit dianalisis. Robots.txt tidak menyelesaikan pemilihan konten duplikat, otorisasi, atau kualitas halaman; gunakan kanonisasi, pengalihan, kontrol akses, atau perbaikan konten bila sesuai.
Gunakan sampel URL nyata dan bukti dari server atau crawl, bukan daftar generik yang disalin dari situs lain.
Simpan setiap contoh URL, hasil yang diinginkan, aturan yang cocok, dan pemilik yang bertanggung jawab dalam catatan rilis.
Jaga konsistensi antara penemuan sitemap, noindex, dan keputusan privasi
Sitemap memberi tahu mesin pencari URL dan berkas mana yang Anda anggap penting; ini dapat membantu penemuan tetapi tidak menjamin perayapan atau pengindeksan. Tautan internal yang kuat tetap penting. Anda boleh menambahkan URL Sitemap yang sepenuhnya berkualifikasi di robots.txt, tetapi jangan mencantumkan URL privat, yang dialihkan, diblok robots, atau yang sengaja diberi noindex. Rekonsiliasikan keluaran sitemap dengan aturan robots saat rilis.
Noindex bukanlah direktif robots.txt milik Google. Google mendukungnya di tag meta HTML atau header respons HTTP X-Robots-Tag, dan harus merayapi respons untuk melihatnya. Jika halaman publik perlu keluar dari hasil Google, hapus blok robots yang menyembunyikan noindex. Jika konten bersifat nonpublik, jangan umumkan jalurnya di robots.txt; terapkan kontrol akses. Batas data sensitif memerlukan tinjauan yang memenuhi syarat.
Gunakan URL penuh, misalnya Sitemap: https://www.example.com/sitemap.xml; ini tidak mengganti blok perayapan.
Gunakan meta noindex untuk HTML atau header respons X-Robots-Tag: noindex bila sesuai, lalu uji respons live.
Batasi akses terlebih dahulu saat konten sensitif, lalu gunakan proses penghapusan mesin pencari bila sesuai.
Uji dan rilis seperti file konfigurasi kritis
Validasi teks yang disetujui secara lokal, lalu uji contoh yang diizinkan dan diblok untuk grup perayap yang dimaksud. Setelah penerapan, ambil /robots.txt publik secara pribadi atau dengan permintaan HTTP langsung untuk mengonfirmasi konten, origin, dan status respons. Google menyediakan laporan robots.txt di Search Console untuk berkas yang dapat diakses dan pustaka parser sumber-terbuka untuk pengujian lokal.
Perayap dapat menyimpan cache file robots, jadi jangan menjanjikan perubahan penemuan atau pengindeksan yang instan. Kesalahan server atau jaringan menyebabkan perayap menganggap disallow penuh, sementara 4xx dapat mengizinkan akses. Simpan file dalam konfigurasi yang dikontrol versi, minta tinjauan ekstra untuk migrasi origin, blok seluruh situs, wildcard, dan pertahankan versi sebelumnya. SIU preflight dan perencanaan rollback membantu menangkap rilis buruk sebelum menjadi masalah ketersediaan atau ketertemuan yang lebih besar.
Wajibkan reviewer kedua untuk migrasi origin, blok seluruh situs, wildcard, dan perubahan yang memengaruhi sign-in, checkout, atau rute dukungan.
Pulihkan versi sebelumnya ketika URL sampel penting baru saja diblok, aset penting tidak dapat diakses, atau endpoint tidak tersedia.
Satu pengujian perayap tidak membuktikan bahwa setiap klien otomatis menafsirkan setiap aturan dengan cara yang sama.