Elige el control que corresponda al resultado
El rastreo es la recuperación automatizada de una URL. La indexación es la decisión de un motor de búsqueda de almacenar y mostrar información sobre esa URL. El control de acceso determina quién puede obtener el contenido. Robots.txt se refiere al rastreo, y los rastreadores cumplidores eligen si seguirlo. El Protocolo de Exclusión de Robots de la IETF establece que no es autorización.
Usa una regla Disallow para gestionar el acceso de rastreadores a una ruta pública de bajo valor, como una ruta de búsqueda interna controlada. Usa noindex para contenido público que no deba aparecer en resultados soportados. Usa controles de acceso reales para vistas previas, áreas de cuentas, exportaciones o datos sensibles. Para información de clientes, empleados, pagos o regulada, obtiene revisión calificada de seguridad y plataforma; robots.txt nunca es un control compensatorio.
Robots.txt puede pedir que los rastreadores cumplidores eviten una ruta pública definida; no garantiza la eliminación de resultados.
Usa noindex en HTML o en un encabezado HTTP X-Robots-Tag y deja la respuesta accesible para que la instrucción pueda leerse.
Requiere autenticación o un control apropiado en la aplicación o el servidor, y luego elimina la URL de las rutas de descubrimiento públicas.
Usa la sintaxis y el alcance central con precisión
Publica robots.txt en texto plano UTF-8 en /robots.txt para cada esquema, host y puerto que necesite reglas. Un archivo en https://www.example.com/robots.txt no gobierna automáticamente https://example.com, un subdominio o un origen HTTP. Verifica los orígenes servidos por URLs canónicas, redirecciones, CDN y la aplicación antes de asumir que una regla aplica.
Un grupo comienza con User-agent y luego usa Allow o Disallow con rutas. User-agent: * es el grupo general. La coincidencia distingue mayúsculas y minúsculas y comienza en el inicio del path. Gana la regla más específica; un Allow igualmente específico debería ganar sobre Disallow. Disallow: no bloquea nada, mientras que Disallow: / bloquea todo el origen. El estándar define # para comentarios, * para comodín y $ para el final de un patrón.
Si no hay una necesidad documentada de gestión de rastreo, no añadas exclusiones; no crees bloqueos especulativos.
Prefiere un prefijo estable y estrecho como /search/ en lugar de un comodín amplio o una regla de nombre de archivo sin explicación.
Registra el propósito de la regla, el propietario y la referencia de cambio, pero no trates los comentarios como sustituto de la revisión.
Bloquea solo patrones respaldados por evidencia de URL
Antes de escribir una regla, inventaría las páginas importantes, rutas de rastreo no deseadas, variantes de query, búsqueda interna, rutas de vista previa, recursos y URLs del sitemap. Para cada URL de muestra, registra el resultado esperado y la regla que coincidiría. Compara la lista con las URLs canónicas y la navegación en vivo para que un bloqueo no oculte una ruta útil.
Mantén disponibles los recursos críticos para el navegador a menos que se haya probado lo contrario. Google advierte que bloquear CSS, JavaScript, imágenes u otros recursos puede dificultar el análisis de una página. Robots.txt no resuelve la selección de contenido duplicado, la autorización o la calidad de página; usa canonicalización, redirecciones, controles de acceso o trabajo de contenido cuando corresponda.
Usa muestras reales de URL y evidencia de servidor o de rastreo, no una lista genérica copiada de otro sitio.
Mantén cada URL de muestra, resultado previsto, regla coincidente y propietario responsable en el registro de lanzamiento.
Mantén consistentes sitemap, noindex y decisiones de privacidad
Un sitemap indica a los motores de búsqueda qué URLs y archivos consideras importantes; puede ayudar a la descubribilidad pero no garantiza rastreo ni indexación. Los enlaces internos fuertes siguen siendo importantes. Puedes añadir un Sitemap URL totalmente calificado en robots.txt, pero no listes URLs privadas, redireccionadas, bloqueadas por robots o intencionalmente noindex. Reconcilia la salida del sitemap con las reglas de robots en el lanzamiento.
Noindex no es una directiva de robots.txt de Google. Google lo soporta en una metaetiqueta HTML o en un encabezado HTTP X-Robots-Tag, y debe rastrear la respuesta para verlo. Si una página pública necesita salir de los resultados de Google, elimina cualquier bloqueo de robots que oculte el noindex. Si el contenido no es público, no publiques su ruta en robots.txt; aplica control de acceso. Los límites de datos sensibles necesitan revisión calificada.
Usa una URL completa, por ejemplo Sitemap: https://www.example.com/sitemap.xml; no anula un bloqueo de rastreo.
Usa un meta noindex para HTML o un encabezado X-Robots-Tag: noindex cuando proceda, y luego prueba la respuesta en vivo.
Restringe el acceso primero cuando el contenido sea sensible, luego usa el proceso de eliminación del motor de búsqueda cuando corresponda.
Prueba y publica como un archivo de configuración crítico
Valida el texto aprobado localmente y luego prueba ejemplos permitidos y denegados para el grupo de rastreadores previsto. Después del despliegue, recupera /robots.txt público de forma privada o mediante una petición HTTP directa para confirmar el contenido, el origen y el estado de la respuesta. Google ofrece un informe de robots.txt en Search Console para archivos accesibles y una librería parser de código abierto para pruebas locales.
Los rastreadores pueden almacenar en caché archivos robots, así que no esperes cambios inmediatos en descubrimiento o indexación. Los errores de servidor o de red llevan a los rastreadores a asumir un disallow completo, mientras que un 4xx puede permitir acceso. Mantén el archivo en control de código fuente, exige revisión adicional para cambios de sitio completo o comodines, y conserva la versión anterior. Los preflights y la planificación de rollback de SIU ayudan a detectar un mal lanzamiento antes de que se convierta en un problema mayor de disponibilidad o descubribilidad.
Requiere un segundo revisor para migraciones de origen, bloqueos de sitio completo, comodines y cambios que afecten rutas de inicio de sesión, pago o soporte.
Restaura la versión anterior cuando una URL de muestra importante quede recién bloqueada, un recurso necesario sea inaccesible o el endpoint no esté disponible.
Una prueba de rastreador no demuestra que cada cliente automatizado interprete todas las reglas de la misma manera.