Escolha o controle que produz o resultado desejado
Rastreamento é a recuperação automatizada de uma URL. Indexação é a decisão de um motor de busca de armazenar e mostrar informações sobre ela. Controle de acesso decide quem pode obter o conteúdo. Robots.txt trata do rastreamento, e rastreadores compatíveis escolhem se o seguem. O Robots Exclusion Protocol do IETF diz que não é autorização.
Use uma regra Disallow para gerenciar o acesso de rastreadores a um caminho público de baixo valor, como uma rota de busca interna controlada. Use noindex para conteúdo público que não deve aparecer em resultados suportados. Use controles reais de acesso para pré-visualizações, áreas de conta, exportações ou dados sensíveis. Para informações de clientes, funcionários, pagamento ou reguladas, obtenha revisão qualificada de segurança e plataforma; robots.txt nunca é um controle compensatório.
Robots.txt pode solicitar que rastreadores compatíveis evitem um caminho público definido; isso não garante remoção dos resultados.
Use noindex em HTML ou no cabeçalho HTTP X-Robots-Tag, e deixe a resposta rastreável para que a instrução possa ser lida.
Exija autenticação ou um controle apropriado na aplicação ou no servidor e, então, remova a URL dos caminhos de descoberta pública.
Use a sintaxe e o escopo básicos com precisão
Publique texto simples UTF-8 em /robots.txt para cada esquema, host e porta que precisa de regras. Um arquivo em https://www.example.com/robots.txt não governa automaticamente https://example.com, um subdomínio ou uma origem HTTP. Verifique as origens servidas por URLs canônicos, redirecionamentos, CDN e aplicação antes de assumir que uma regra se aplica.
Um grupo começa com User-agent e depois usa Allow ou Disallow em caminhos. User-agent: * é o grupo geral. A correspondência é sensível a maiúsculas e minúsculas e começa no início do caminho. A regra mais específica que corresponder vence; um Allow igualmente específico deve vencer um Disallow. Disallow: (sem nada) não bloqueia nada, enquanto Disallow: / bloqueia toda a origem. O padrão define # para comentários, * para curinga e $ para o fim de um padrão.
Se não houver necessidade documentada de gerenciamento de rastreamento, não adicione exclusões; não crie bloqueios especulativos.
Prefira um prefixo estável e estreito como /search/ em vez de um curinga amplo ou uma regra de nome de arquivo sem explicação.
Registre o propósito da regra, o responsável e a referência de alteração, mas não trate comentários como substituto de revisão.
Bloqueie apenas padrões suportados por evidência de URL
Antes de escrever uma regra, inventarie páginas importantes, caminhos de rastreamento indesejados, variantes de query, busca no site, rotas de pré-visualização, assets e URLs do sitemap. Para cada URL de amostra, registre o resultado esperado e a regra que deve corresponder. Compare a lista com URLs canônicos e navegação ao vivo para que um bloqueio não esconda uma rota útil.
Mantenha recursos críticos para navegadores disponíveis, a menos que testado em contrário. O Google alerta que bloquear CSS, JavaScript, imagens ou outros recursos pode dificultar a análise de uma página. Robots.txt não resolve seleção de conteúdo duplicado, autorização ou qualidade de página; use canonicalização, redirecionamentos, controles de acesso ou trabalho de conteúdo onde for adequado.
Use amostras reais de URL e evidência de servidor ou de rastreamento, não uma lista genérica copiada de outro site.
Mantenha cada URL de amostra, resultado pretendido, regra correspondente e proprietário responsável no registro de lançamento.
Mantenha sitemap, noindex e decisões de privacidade consistentes
Um sitemap informa aos motores de busca quais URLs e arquivos você considera importantes; ele pode ajudar a descoberta, mas não garante rastreamento ou indexação. Links internos fortes ainda importam. Você pode adicionar um Sitemap totalmente qualificado em robots.txt, mas não liste URLs privadas, redirecionadas, bloqueadas por robots ou intencionalmente com noindex. Reconciliar a saída do sitemap com as regras do robots durante o lançamento.
Noindex não é uma diretiva do robots.txt do Google. O Google suporta noindex em uma meta tag HTML ou no cabeçalho de resposta HTTP X-Robots-Tag, e deve rastrear a resposta para vê-la. Se uma página pública precisa sair dos resultados do Google, remova qualquer bloqueio de robots que esconda o noindex. Se o conteúdo for não público, não anuncie seu caminho em robots.txt; aplique controle de acesso. Limites de dados sensíveis exigem revisão qualificada.
Use uma URL completa, por exemplo Sitemap: https://www.example.com/sitemap.xml; isso não substitui um bloqueio de rastreamento.
Use um meta noindex para HTML ou um cabeçalho de resposta X-Robots-Tag: noindex quando apropriado, depois teste a resposta ao vivo.
Restrinja o acesso primeiro quando o conteúdo for sensível, depois use o processo de remoção do motor de busca quando adequado.
Teste e libere como um arquivo de configuração crítico
Valide o texto aprovado localmente e depois teste exemplos permitidos e negados para o grupo de rastreadores pretendido. Após a implantação, recupere /robots.txt público de forma privada ou por requisição HTTP direta para confirmar o conteúdo, a origem e o status da resposta. O Google oferece um relatório de robots.txt no Search Console para arquivos acessíveis e uma biblioteca de parser open-source para testes locais.
Rastreadores podem cachear arquivos de robots, portanto não prometa descobertas ou mudanças de indexação imediatas. Erros de servidor ou rede levam rastreadores a assumir disallow completo, enquanto um 4xx pode permitir acesso. Mantenha o arquivo em controle de versão, exija revisão extra para mudanças de bloqueio em todo o site ou com curingas, e retenha a versão anterior. Pré-verificações e planejamento de rollback da SIU ajudam a detectar um lançamento ruim antes que vire um problema maior de disponibilidade ou descoberta.
Exija um segundo revisor para migrações de origem, bloqueios em todo o site, curingas e mudanças que afetem rotas de login, checkout ou suporte.
Restaure a versão anterior quando uma URL de amostra importante for recém-bloqueada, um asset necessário ficar inacessível ou o endpoint ficar indisponível.
Um teste de rastreador não prova que todo cliente automatizado interpreta cada regra da mesma forma.