Generador de Robots.txt
Genera archivos robots.txt para rastreadores de motores de búsqueda.
Vista Previa
Bloque de Agente de Usuario
Herramientas recomendadas
Utilidades seleccionadas que podrían serte útiles
Crear un archivo robots.txt para guiar a los rastreadores
Resumen
Un archivo robots.txt indica a los rastreadores de los buscadores a qué partes de tu sitio pueden o no acceder. Vive en la raíz de tu dominio y es lo primero que consultan los bots que se portan bien antes de rastrear. Este generador crea un robots.txt válido a partir de opciones simples —qué rutas permitir o bloquear y dónde está tu sitemap— para que no tengas que memorizar la sintaxis.
Cómo usar (paso a paso)
- 1
Elige tus reglas
Escoge a qué user-agents aplican las reglas y qué rutas permitir o bloquear.
- 2
Añade tu sitemap
Incluye opcionalmente la URL de tu sitemap para que los rastreadores encuentren todas tus páginas.
- 3
Guarda como robots.txt
Copia el texto generado en un archivo llamado robots.txt y súbelo a la raíz de tu dominio.
Cómo Funciona
Especificas user-agents (a qué rastreadores aplica una regla, a menudo * para todos), luego reglas Allow y Disallow para rutas de URL y, opcionalmente, la URL de tu sitemap. La herramienta las ensambla en el formato de texto exacto que esperan los buscadores. Copias la salida en un archivo llamado robots.txt y lo subes a la raíz de tu sitio. Es un conjunto de directrices, no una barrera de seguridad: guía a los rastreadores cooperativos.
Cuándo usarlo
Mantener a los rastreadores fuera de páginas de administración, pruebas o duplicadas. Señalar tu sitemap a los buscadores para un descubrimiento más rápido. Bloquear un bot concreto que satura tu servidor. Permitir todo pero declarando un sitemap. Evitar que se rastreen secciones pobres o privadas. Configurar reglas robots para el lanzamiento de un sitio nuevo.
Preguntas Frecuentes
No. Solo pide a los rastreadores cooperativos que omitan una ruta; la página sigue siendo de acceso público y los bots que no cumplen pueden ignorarlo. Para restringir de verdad el acceso, usa autenticación o controles del lado del servidor.
Notas Importantes
Una sola línea Disallow errónea puede ocultar todo tu sitio de las búsquedas. Revisa bien las rutas y recuerda que robots.txt es público: cualquiera puede leerlo, así que no listes URLs secretas que intentas ocultar.