Generador de robots.txt: controla los rastreadores de búsqueda y de IA

¿Qué es un generador de robots.txt?

Un generador de robots.txt crea el pequeño archivo de texto que le dice a los rastreadores web qué partes de tu sitio pueden visitar. Todo sitio web serio tiene uno en https://yourdomain.com/robots.txt. Los motores de búsqueda como Google y Bing lo leen antes de rastrear; también lo hacen los rastreadores que reúnen contenido para modelos de IA y motores de búsqueda con IA. Un buen robots.txt mantiene a los bots fuera de las áreas de administración, los carritos y las interminables páginas de resultados de búsqueda, los dirige a tu sitemap y, cada vez más, indica si las empresas de IA pueden usar tu contenido.

La sintaxis del archivo es simple, pero los errores salen caros: una barra mal puesta puede bloquear todo tu sitio para Google. Este generador gratuito crea un archivo correcto a partir de opciones claras. Empieza con un preajuste, enumera las rutas que quieres mantener fuera del alcance de los rastreadores, añade tu sitemap y decide, bot por bot, qué rastreadores de IA bloquear, incluida la diferencia entre rastreadores de entrenamiento, rastreadores de búsqueda con IA y agentes activados por el usuario. Luego copia o descarga el resultado y súbelo a tu sitio.

Características principales

• Cinco preajustes: permitir todo, bloquear el entrenamiento de IA, bloquear toda la IA, WordPress, bloquear todo.
• 14 rastreadores de IA con propietario y propósito, codificados por colores como entrenamiento, búsqueda con IA o agente de usuario.
• Rutas Disallow y Allow para todos los bots, una por línea.
• Línea de sitemap con tu URL completa.
• Crawl-delay opcional para los rastreadores que lo admiten.
• Resultado conforme a los estándares según la RFC 9309.
• Copia o descarga como robots.txt.

Cómo crear robots.txt paso a paso

1. Elige un preajuste que coincida con tu objetivo.
2. Introduce la URL de tu sitemap, por ejemplo https://example.com/sitemap.xml.
3. Edita la lista Disallow: una ruta por línea, como /admin/ o /checkout/.
4. Añade excepciones Allow si una carpeta bloqueada contiene algo que los rastreadores necesitan.
5. Marca los rastreadores de IA que quieres bloquear.
6. Descarga robots.txt y súbelo a la carpeta raíz de tu sitio (public_html en la mayoría de los hostings).
7. Compruébalo abriendo yourdomain.com/robots.txt y probándolo en Google Search Console.

Ejemplo de resultado

Con la configuración predeterminada, el generador produce:

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /search?

Sitemap: https://example.com/sitemap.xml

Esto permite que todos los rastreadores visiten todo el sitio excepto el área de administración, el carrito y las URL de resultados de búsqueda internos, y les indica dónde está el sitemap. Elegir «bloquear los rastreadores de entrenamiento de IA» añade un grupo como User-agent: GPTBot, User-agent: ClaudeBot, User-agent: CCBot … seguido de Disallow: / encima de las reglas generales.

Los rastreadores de IA, explicados

Las empresas añaden y renombran rastreadores con el tiempo, así que consulta de vez en cuando su documentación. Bloquear los bots de búsqueda con IA puede impedir que tu sitio sea citado en las respuestas de IA, lo que puede reducir el tráfico de referencia; muchos editores bloquean los rastreadores de entrenamiento pero permiten los bots de búsqueda.

La sintaxis de robots.txt en breve

• User-agent: a qué rastreador se aplican las reglas siguientes; * significa todos.
• Disallow: un prefijo de ruta que el rastreador no debe obtener; un valor vacío permite todo.
• Allow: una excepción dentro de un área bloqueada.
• Sitemap: la URL absoluta de un sitemap XML (puede aparecer en cualquier lugar).
• Comodines: * coincide con cualquier carácter y $ marca el final de una URL; /*.pdf$ coincide con todos los archivos PDF.
• Gana la coincidencia más específica: Google aplica la regla coincidente más larga, así que Allow: /wp-admin/admin-ajax.php anula Disallow: /wp-admin/.

Lo que robots.txt puede y no puede hacer

robots.txt es una petición pública. Google, Bing y las empresas de IA de buena reputación lo siguen, pero nada obliga a un rastreador a obedecer, y cualquiera puede leer el archivo, por lo que enumerar carpetas secretas allí puede en realidad anunciarlas. Además, controla el rastreo, no la indexación: una URL bloqueada aún puede aparecer en Google si otras páginas enlazan a ella. Para mantener una página fuera de los resultados, permite el rastreo y añade una metaetiqueta noindex (nuestro generador de metaetiquetas puede crearla). Para proteger contenido privado, exige un inicio de sesión. Usa robots.txt para lo que hace bien: guiar a los rastreadores bien portados lejos de URL de poco valor o duplicadas.

robots.txt para WordPress

Los sitios WordPress suelen bloquear /wp-admin/ y permitir /wp-admin/admin-ajax.php, que usan los temas y los plugins, y a menudo bloquean URL de búsqueda interna como /?s=. El preajuste de WordPress configura todo esto por ti. No bloquees /wp-content/ ni /wp-includes/: contienen el CSS, el JavaScript y las imágenes que Google necesita para renderizar tus páginas correctamente. Sube el archivo a la raíz de tu sitio o pégalo en un plugin de SEO que administre robots.txt.

Cómo elegir una estrategia para los rastreadores de IA

No hay una única respuesta correcta: depende de cómo obtienes ingresos con tu contenido.

• Permitir todo: máxima visibilidad. Tus páginas pueden usarse para entrenamiento y citarse en respuestas de IA. Va bien para herramientas, páginas de productos y marcas que quieren alcance.
• Bloquear el entrenamiento y permitir la búsqueda con IA: un punto medio muy popular. Los rastreadores que respetan robots.txt no entrenan modelos con tu contenido, pero los asistentes aún pueden encontrarte, citarte y enlazarte, lo que puede traer visitantes.
• Bloquear todos los rastreadores de IA: máximo control, habitual en contenido de pago, archivos de noticias e investigación original. Puedes perder citas y tráfico de referencia de la búsqueda con IA.

Elijas lo que elijas, robots.txt afecta solo al rastreo futuro de los bots que lo respetan; no elimina contenido que ya se recopiló. Revisa la decisión cada pocos meses a medida que aparecen nuevos rastreadores.

robots.txt, sitemaps y llms.txt

robots.txt indica adónde pueden ir los rastreadores; un sitemap XML enumera las páginas que quieres que se descubran. Algunos sitios ahora también publican un archivo llms.txt, una convención informal propuesta que ofrece a las herramientas de IA un resumen conciso en Markdown de las páginas más útiles del sitio. No es un estándar oficial y no todas las empresas de IA lo leen, pero es inofensivo añadirlo junto con un robots.txt y un sitemap adecuados.

Usos habituales

• Configurar un sitio web o blog nuevo.
• Excluirte del entrenamiento de modelos de IA y seguir siendo visible en las búsquedas.
• Mantener a los rastreadores lejos de carritos, pagos, administración y URL de filtros.
• Bloquear por completo un sitio de pruebas.
• Añadir una referencia al sitemap para un descubrimiento más rápido.
• Reducir la carga del servidor causada por rastreadores agresivos.
• Evitar que los rastreadores pierdan tiempo en interminables URL de filtros y ordenación en tiendas en línea.

Errores comunes que debes evitar

• «Disallow: /» bajo User-agent: * en un sitio en vivo: bloquea todo, incluido Google.
• Bloquear CSS y JavaScript: Google puede juzgar mal la compatibilidad con móviles.
• Usar robots.txt para ocultar páginas privadas: el archivo es público; usa autenticación.
• Combinar bloqueos de robots.txt con noindex: los rastreadores no pueden ver el noindex si no pueden rastrear la página.
• Subirlo a la carpeta equivocada: debe estar en la raíz del dominio.
• Olvidar la barra final: Disallow: /admin también bloquea /administrator.

Solución de problemas

• Google informa «bloqueada por robots.txt» para una página que quieres indexar: elimina o acota la línea Disallow que coincide.
• Los cambios no se aplican: Google guarda en caché robots.txt hasta aproximadamente un día; solicita un nuevo rastreo en Search Console.
• Error 404 en /robots.txt: el archivo está en el lugar equivocado o tiene un nombre incorrecto (debe llamarse robots.txt, en minúsculas).
• Un bot de IA aún visita el sitio: revisa su nombre exacto de user-agent en los registros de tu servidor; algunos servicios usan varios rastreadores.

Glosario rápido

• Rastreador / bot / spider: software que obtiene páginas web automáticamente.
• User-agent: el nombre con el que se identifica un rastreador.
• Rastreo vs. indexación: obtener una página frente a listarla en los resultados de búsqueda.
• Sitemap: una lista XML de las URL de un sitio para los motores de búsqueda.
• RFC 9309: el estándar de 2022 para el Protocolo de Exclusión de Robots.
• Noindex: una metaetiqueta que pide a los motores de búsqueda no listar una página.
• Rastreador de entrenamiento: un bot que recopila contenido para entrenar modelos de IA.
• Rastreador de búsqueda con IA: un bot que obtiene páginas para citarlas en respuestas generadas por IA.

¿Por qué usar este generador de robots.txt?

Produce un archivo correcto en segundos, explica cada opción, incluye controles actualizados de rastreadores de IA con etiquetas claras y te recuerda los límites de robots.txt: gratis y sin registro.

Generador de robots.txt: datos clave

Preguntas frecuentes

Explora más herramientas de Prompt Minds

El generador de robots.txt funciona muy bien junto con nuestras otras herramientas gratuitas. Todas las herramientas de Prompt Minds se ejecutan por completo en tu navegador: sin registro, sin subidas, sin marcas de agua. Explora todas las herramientas gratuitas.