Hedefle eşleşen kontrolü seçin
Tarama, bir URL'nin otomatik olarak getirilmesidir. İndeksleme, bir arama motorunun onu depolayıp gösterip göstermemeye karar vermesidir. Erişim kontrolü ise içeriğe kimin ulaşabileceğini belirler. Robots.txt taramayla ilgilidir ve uyumlu tarayıcılar buna uymayı seçer. IETF Robots Exclusion Protocol, bunun yetkilendirme olmadığını belirtir.
Kamuya açık, düşük değerli bir yolu (ör. kontrol edilen dahili arama rotası) yönetmek için Disallow kuralı kullanın. Desteklenen arama sonuçlarında görünmemesi gereken herkese açık içerik için noindex kullanın. Önizlemeler, hesap alanları, dışa aktarımlar veya hassas veriler için gerçek erişim kontrollerini uygulayın. Müşteri, çalışan, ödeme veya düzenlemeye tabi bilgiler için nitelikli güvenlik ve platform incelemesi alın; robots.txt hiçbir zaman telafi edici bir kontrol değildir.
Robots.txt, uyumlu tarayıcılardan tanımlanmış bir herkese açık yolu atlamalarını isteyebilir; bu, sonuçlardan kaldırılmayı garanti etmez.
HTML içindeki noindex veya bir X-Robots-Tag başlığı kullanın ve talimatın okunabilmesi için yanıtın taranabilir bırakıldığından emin olun.
Önizlemeler, hesap alanları, dışa aktarımlar veya hassas veriler için kimlik doğrulama veya uygun uygulama/sunucu kontrolleri gerektirin, ardından URL'yi herkese açık keşif yollarından çıkarın.
Çekirdek sözdizimini ve kapsamı kesin olarak kullanın
Kural gereken her şema, ana bilgisayar (host) ve port için /robots.txt yolunda UTF-8 düz metin dosyası yayınlayın. https://www.example.com/robots.txt adresindeki bir dosya otomatik olarak https://example.com'u, bir alt alan adını veya HTTP kökenini yönetmez. Kuralın uygulanacağını varsaymadan önce kanonik URL'ler, yönlendirmeler, CDN ve uygulama tarafından sunulan kökenleri doğrulayın.
Bir grup User-agent ile başlar ve ardından Allow veya Disallow yolları kullanılır. User-agent: * genel gruptur. Eşleştirme büyük/küçük harf duyarlıdır ve yolun başından başlar. En spesifik eşleşen kural kazanır; eşit derecede spesifik bir Allow, Disallow üzerinde galip gelmelidir. Disallow: hiçbir şeyi engellemezken, Disallow: / tüm kökeni engeller. Standart # ile yorum, * ile joker karakter ve $ ile desen sonunu tanımlar.
Belgeye dökümlenmiş bir tarama-yönetimi ihtiyacı yoksa, hariç tutma eklemeyin; varsayımsal bloklar oluşturmayın.
Gevşek bir joker veya açıklanamayan dosya adı kuralı yerine /search/ gibi kararlı, dar bir önek tercih edin.
Kuralın amacını, sahibini ve değişiklik referansını kaydedin; ancak yorumları incelemenin yerine koymayın.
URL kanıtı tarafından desteklenen kalıpları engelleyin
Kural yazmadan önce önemli sayfaların, istenmeyen tarama yollarının, sorgu varyantlarının, site içi aramanın, önizleme rotalarının, varlıkların ve sitemap URL'lerinin envanterini çıkarın. Her örnek URL için beklenen sonucu ve eşleşecek kuralı kaydedin. Listeyi kanonik URL'ler ve canlı gezinme ile karşılaştırın ki bir blok yararlı bir rotayı gizlemesin.
Tarayıcı için kritik kaynakları, aksi test edilmedikçe erişilebilir tutun. Google, CSS, JavaScript, resimler veya diğer kaynakları engellemenin bir sayfayı analiz etmeyi zorlaştırabileceği konusunda uyarır. Robots.txt yinelenen içerik seçimi, yetkilendirme veya sayfa kalite sorunlarını çözmez; uygun yerde kanonikleştirme, yönlendirmeler, erişim kontrolleri veya içerik çalışması kullanın.
Başka bir siteden kopyalanmış genel bir liste yerine gerçek URL örnekleri ve sunucu veya tarama kanıtı kullanın.
Her örnek URL, amaçlanan sonuç, eşleşen kural ve sorumlu sahibin bulunduğu sürüm kaydını tutun.
Sitemap keşfi, noindex ve gizlilik kararlarını tutarlı hale getirin
Sitemap, hangi URL'leri ve dosyaları önemli saydığınızı arama motorlarına bildirir; keşifte yardımcı olabilir ancak tarama veya indekslemeyi garanti etmez. Güçlü dahili bağlantılar hâlâ önemlidir. Robots.txt içinde tam nitelikli bir Sitemap URL'si ekleyebilirsiniz, ancak özel, yönlendirilen, robots ile engellenmiş veya kasıtlı olarak noindex yapılmış URL'leri listelemeyin. Yayında sitemap çıktısını robots kurallarıyla uzlaştırın.
Noindex Google'ın robots.txt yönergesi değildir. Google, bunu bir HTML meta etiketi veya X-Robots-Tag HTTP yanıt başlığında destekler ve bunu görebilmesi için yanıtı taraması gerekir. Bir kamu sayfasının Google sonuçlarından çıkması gerekiyorsa, noindex'i gizleyen herhangi bir robots engelini kaldırın. İçerik genel değilse, yolunu robots.txt'de duyurmayın; erişim kontrolünü uygulayın. Hassas veri sınırları nitelikli inceleme gerektirir.
Tam bir URL kullanın, örneğin Sitemap: https://www.example.com/sitemap.xml; bu bir tarama bloğunu geçersiz kılmaz.
HTML için meta noindex veya uygun olduğunda X-Robots-Tag: noindex yanıt başlığı kullanın, sonra canlı yanıtı test edin.
İçerik hassassa önce erişimi kısıtlayın, sonra gerekirse arama motorunun kaldırma sürecini kullanın.
Kritik bir yapılandırma dosyası gibi test edin ve yayınlayın
Onaylanmış metni yerel olarak doğrulayın, sonra hedef tarayıcı grubu için izin verilen ve engellenen örnekleri test edin. Dağıtımdan sonra, içeriği, kökeni ve yanıt durumunu doğrulamak için /robots.txt'yi özel olarak veya doğrudan HTTP isteğiyle alın. Google, erişilebilir dosyalar için Search Console robots.txt raporu ve yerel test için açık kaynaklı bir ayrıştırıcı kitaplık sağlar.
Tarayıcılar robots dosyalarını önbelleğe alabilir; bu nedenle anlık keşif veya indeksleme değişikliklerine söz vermeyin. Sunucu veya ağ hataları tarayıcıların tamamen engellenmiş varsaymasına neden olurken, 4xx bir hata erişime izin verebilir. Dosyayı sürüm kontrolü altındaki yapılandırmada tutun, tüm site veya joker karakter değişiklikleri için ek inceleme isteyin ve önceki sürümü saklayın. SIU önkontrolleri ve geri alma planlaması kötü bir yayını daha büyük bir kullanılabilirlik veya keşfedilebilirlik sorununa dönüşmeden önce yakalamaya yardımcı olur.
Köken geçişleri, tüm site blokları, joker karakterler ve oturum açma, ödeme veya destek rotalarını etkileyen değişiklikler için ikinci bir inceleyen gerektirin.
Önemli bir örnek URL yeni engellenmişse, gerekli bir varlık erişilemez hale geldiyse veya uç nokta kullanılamıyorsa önceki sürümü geri yükleyin.
Tek bir tarayıcı testi her otomatik istemcinin her kuralı aynı şekilde yorumlayacağını kanıtlamaz.