User-agent: * Disallow: /admin/ Disallow: /private/ Allow: /public/ Sitemap: https://example.com/sitemap.xml
Cómo funciona
El archivo robots.txt vive en la raíz de tu sitio (tudominio.com/robots.txt) y le dice a los rastreadores de los buscadores a qué URL pueden acceder y a cuáles no. Es el primer archivo que lee Googlebot al descubrir tu dominio. Un robots.txt mal configurado puede dejar todo tu sitio fuera del índice por accidente, o gastar presupuesto de rastreo en páginas irrelevantes. El Generador de robots.txt crea un archivo correcto y listo para desplegar a partir de un formulario guiado.
Las directivas principales: - **User-agent**: indica a qué rastreador se aplican las reglas siguientes. `User-agent: *` vale para todos. `User-agent: Googlebot` solo para el rastreador de Google. - **Disallow**: rutas a las que el rastreador no debe acceder. `Disallow: /admin/` bloquea todas las URL bajo /admin/. `Disallow: /` bloquea el sitio entero: el error más peligroso. - **Allow**: anula un Disallow para rutas concretas. Se usa cuando quieres bloquear una carpeta pero dejar accesibles ciertos archivos dentro. - **Sitemap**: declara dónde está tu sitemap XML, para que los rastreadores encuentren todas tus páginas. - **Crawl-delay**: pide una pausa entre peticiones (en segundos). Bing la respeta, Googlebot la ignora: para Google usa los ajustes de frecuencia de rastreo de Search Console.
Rutas que se suelen bloquear: - `/admin/`, `/wp-admin/`: paneles de administración - `/checkout/`, `/cart/`, `/account/`: páginas transaccionales sin valor SEO - `/search?`: resultados de la búsqueda interna (la navegación facetada desperdicia presupuesto de rastreo) - `/cdn-cgi/`: rutas internas de Cloudflare - `/staging/`, `/dev/`: carpetas de desarrollo
Advertencia importante: un Disallow en robots.txt NO elimina páginas del índice. Las páginas ya indexadas siguen ahí hasta que Google las vuelve a rastrear y encuentra la regla o una meta etiqueta noindex. Para desindexar una página, usa noindex o la herramienta de retirada de URL de Google Search Console.
Cómo usarlo: 1. Elige los rastreadores que quieres configurar (todos, solo Googlebot, solo Bingbot o personalizado). 2. Añade las rutas Disallow, una por línea. 3. Escribe la URL de tu sitemap. 4. Descarga el robots.txt y súbelo a la raíz de tu sitio.
Privacidad: todo se genera en el navegador.
Preguntas frecuentes
- Tu sitio entero deja de ser rastreable para todos los bots que respetan el estándar. Googlebot deja de rastrear páginas nuevas y con el tiempo retira de los resultados las que ya estaban indexadas, porque no puede volver a verificarlas. Es uno de los errores de SEO más dañinos que existen: un solo carácter mal puesto en robots.txt puede desindexar un sitio completo. Comprueba siempre los cambios en tudominio.com/robots.txt justo después de desplegarlos y verifícalos en el probador de robots.txt de Google Search Console.
- No. El robots.txt impide el rastreo, no la indexación. Google puede indexar una URL que nunca ha rastreado si aparece en un sitemap o si otras páginas indexadas enlazan a ella. Para que una página no salga en los resultados, usa <meta name='robots' content='noindex'> en el head del HTML o devuelve una cabecera HTTP X-Robots-Tag: noindex. Bloquearla solo en robots.txt no elimina las URL que ya estaban indexadas.
- En sitios WordPress, sí. El directorio /wp-admin/ contiene páginas de administración que no aportan nada a los buscadores, y bloquearlo reduce el presupuesto de rastreo que se gasta en páginas no públicas. Eso sí: deja accesible /wp-admin/admin-ajax.php, porque algunos plugins y funciones de plantilla dependen de llamadas AJAX que pasan por ahí, y bloquearlo puede romper funciones visibles del sitio aunque esa URL no sea una página pública.
- La directiva Crawl-delay pide una pausa mínima (en segundos) entre las peticiones del rastreador. Bing, Yandex y la mayoría de rastreadores la respetan. Google la ignora explícitamente en robots.txt. Para ajustar la frecuencia de rastreo de Googlebot, usa Google Search Console: Configuración → Frecuencia de rastreo. En la mayoría de sitios la frecuencia por defecto está bien: solo conviene reducirla si tu servidor sufre con la carga de Googlebot.
¿Qué pasa si bloqueo todo sin querer con Disallow: /?
¿El robots.txt impide que una página aparezca en los resultados?
¿Debo bloquear el directorio /wp-admin/ en robots.txt?
¿Qué es crawl-delay y Google lo respeta?
RankForge — Technical SEO Audit
Score any page out of 100, see every issue with the exact fix, generate JSON-LD schema and crawl up to 50 pages — all inside Chrome's side panel, with nothing sent to a server.