llms.txt, GPTBot, ClaudeBot: la guía de higiene de rastreadores de IA para sitios pequeños

Si gestionas un sitio pequeño, hay bastantes probabilidades de que tu robots.txt no se haya tocado desde que añadiste una sola regla para GPTBot en 2023 — o de que nunca lo hayas tocado. Esa brecha importa más que antes. A mediados de 2025, los datos de red de Cloudflare mostraron que el rastreo de entrenamiento había crecido hasta cerca del 80% de toda la actividad de bots de IA, frente al 72% del año anterior.^[3] Los rastreadores de IA son ya una parte significativa de quién llama a la puerta de tu servidor cada día, y las reglas que les des deciden dos cosas muy distintas: si tu contenido entrena gratis el modelo de otro, y si apareces cuando un comprador le pregunta algo a ChatGPT o Perplexity.

Lo que hace 2026 genuinamente diferente es que los grandes proveedores de IA dividieron su único rastreador en varios. OpenAI ya no opera un solo bot — opera GPTBot para entrenamiento, OAI-SearchBot para ChatGPT Search y ChatGPT-User para descargas bajo demanda. Anthropic opera tres. La consecuencia práctica: el movimiento instintivo de Disallow: / para cada user-agent de IA ahora hace dos trabajos a la vez. Te saca de los corpus de entrenamiento (a menudo lo que querías) y te borra de las respuestas de búsqueda de IA (casi nunca lo que querías). El análisis de Digital Applied del marco de Anthropic reporta que cerca del 71% de los grandes editores de noticias bloquean al menos un bot de recuperación o búsqueda, frecuentemente con la intención de bloquear solo el entrenamiento.^[5] Ese es exactamente el error caro que esta guía evita.

llms.txt es un archivo Markdown propuesto por la comunidad que colocas en la raíz de tu dominio (/llms.txt) y que lista tus páginas más importantes en formato limpio y parseable, para que un modelo de lenguaje encuentre y entienda tu mejor contenido sin atravesar navegación, anuncios y scripts. Lo propuso Jeremy Howard, de Answer.AI, en septiembre de 2024. La analogía habitual es «un sitemap para LLMs», y la intención es genuinamente sensata: dar a los modelos un mapa curado y de bajo ruido de lo que importa en tu sitio, opcionalmente con un /llms-full.txt más completo que inserte el contenido real.

El problema es la brecha entre la idea y la evidencia. Tras dieciocho meses de conversación en el sector, los datos son aleccionadores:

• La adopción es de uno de cada diez sitios. El estudio de SE Ranking sobre 300.000 dominios halló un 10,13% de adopción, y, crucialmente, la adopción fue casi idéntica en los niveles de tráfico bajo, medio y alto (~9–10% cada uno) — así que no son los sitios sofisticados los que corren por delante.^[1]
• Sin mejora medible en citaciones. El mismo análisis de SE Ranking no halló diferencia estadísticamente significativa en la frecuencia de citaciones de IA entre sitios con y sin llms.txt. Un modelo entrenado con datos de citaciones de IA incluso mejoró cuando se eliminó la variable llms.txt.^[1]
• Casi nada lo lee. Limy.AI monitorizó más de 500 millones de eventos de bots de IA en 90 días y halló solo 408 solicitudes dirigidas a llms.txt directamente.^[14] Search Engine Land siguió 10 sitios 90 días antes y después de añadir el archivo; solo dos vieron aumentos de tráfico de IA, y no por el archivo.^[2]
• Sin soporte oficial. A mediados de 2026, ni OpenAI, ni Anthropic, ni Google, ni Perplexity han confirmado oficialmente que sus sistemas lean o actúen sobre llms.txt. Sigue siendo una especificación comunitaria, no un estándar adoptado.

La conclusión no es «llms.txt es inútil» — es que los dos archivos no son intercambiables, y el que de verdad cambia resultados hoy es el aburrido y antiguo. Si en 2026 solo tienes tiempo de dejar bien un archivo, que sea robots.txt, con reglas que reflejen el panorama actual de rastreadores de IA y no la versión de 2023.

Antes de escribir una regla sensata, necesitas saber para qué sirve cada bot. Cada rastreador de IA hace uno de tres trabajos: recopila páginas para entrenar modelos, indexa páginas para respuestas de búsqueda de IA, o descarga una página en tiempo real porque un usuario le preguntó al asistente por ella ahora mismo. Son relaciones comerciales distintas, y en 2026 los grandes proveedores por fin las exponen como bots distintos que puedes controlar de forma independiente.

Dos filas merecen una segunda lectura. Google-Extended no es un rastreador real — es un token de control que nunca aparece en tus logs de servidor como una solicitud HTTP. Solo rige si Google puede usar páginas que ya ha rastreado (con el Googlebot normal) para entrenar Gemini y Vertex AI. Y Bytespider (ByteDance) tiene un historial documentado de ignorar robots.txt de forma inconsistente, por lo que bloquearlo requiere una regla de firewall o a nivel de IP en lugar de un cortés Disallow.

El argumento de negocio para bloquear los rastreadores de entrenamiento se reduce a un único ratio: cuántas de tus páginas rastrea un bot por cada visitante que te envía de vuelta. Cloudflare publica este ratio crawl-to-referral en su red, y la dispersión entre proveedores es extraordinaria. El Googlebot tradicional ronda las 5 páginas rastreadas por referido. El ClaudeBot de Anthropic, en su pico de junio de 2025, rastreaba aproximadamente 70.900 páginas por cada visitante que refería de vuelta — una asimetría que replantea el acceso de entrenamiento como una extracción de valor unilateral.^[5]

Pero hay una trampa que impide que «solo bloquea los bots de entrenamiento» sea gratis, y es el matiz más importante de todo este artículo. El bloqueo tiene efectos secundarios en las citaciones. El análisis de AuthorityTech de 2026 halló que los sitios que bloquean Google-Extended tienen mucha menos probabilidad de ser citados por motores generativos — incluso en AI Overviews, donde Google técnicamente conserva el acceso al contenido a través del índice normal.^[11] Y los datos de ppc.land muestran que el bloqueo es poroso en la otra dirección también: bloquear rastreadores de IA no detiene de forma fiable las citaciones, porque los motores tiran de rutas alternativas, citas de terceros y copias en caché.^[10] Puedes perder el beneficio de visibilidad sin ganar del todo la privacidad por la que bloqueaste.

Al otro lado de la balanza está el daño de tráfico que empuja a la gente a bloquear en primer lugar. Los AI Overviews de Google han recortado medibles el tráfico de referidos: Digital Content Next reporta caídas de tráfico del 1–25% para miembros, con media en torno al 25%, y los CTR caen entre 34,5% y 79% cuando aparece un AI Overview, según el tipo de consulta.^[8] Los editores encuestados por ppc.land esperan una caída adicional de tráfico del 43% en los próximos tres años.^[10] Cuando la IA te quita tráfico y a la vez te rastrea 70.000 a 1, las ganas de levantar el puente levadizo son comprensibles.

Durante dos años, la pregunta más repetida sobre rastreadores de IA fue alguna versión de: «¿Cómo aparezco en la búsqueda normal de Google pero no en los AI Overviews?». Hasta junio de 2026, la respuesta honesta era «no puedes». Google-Extended — el token al que la mayoría recurría — solo controla si Google entrena Gemini y Vertex AI con tus páginas ya rastreadas. Nunca ha controlado los AI Overviews ni AI Mode, que tiran del índice estándar de Googlebot. Bloquear Google-Extended no hacía nada para mantenerte fuera de los resúmenes de IA que de verdad se comían tus clics.^[8]

Eso cambió el 3 de junio de 2026, cuando Google lanzó un informe de rendimiento de IA en Search Console junto a un toggle de opt-out que permite a los editores retirar contenido de los AI Overviews y AI Mode sin perder el ranking de búsqueda estándar.^[6] El ajuste surte efecto el 17 de junio de 2026, cuando Google empieza a actuar sobre la señal, y activarlo no afecta tu posición en los resultados normales de Google.^[7] Dos matices que conviene leer dos veces: la app Gemini queda excluida de este opt-out (es un producto separado), y optar por salir significa aceptar que desaparece también la citación/visibilidad que obtenías de los AIO.

No hay una única configuración correcta — hay una configuración correcta para tu objetivo. Estos son los tres perfiles que cubren casi cualquier sitio pequeño, desde «quiero estar en cada respuesta» hasta «mantenme fuera de la IA por completo».

Para la mayoría de sitios pequeños, la recomendación honesta es el Perfil 1 — permitir todo. Tu objetivo es la visibilidad, el coste de ancho de banda del rastreo de IA es trivial a pequeña escala, y bloquear los rastreadores de entrenamiento conlleva efectos secundarios en las citaciones que no puedes predecir del todo. El perfil «bloquear entrenamiento, mantener citaciones» (Perfil 2) es el default correcto para negocios de contenido, editores y cualquiera que publique investigación original que de verdad rechace la extracción unilateral. El Perfil 3 es solo para contenido de pago, de membresía o legalmente sensible.

Las reglas escritas a oscuras son conjeturas. Dedica veinte minutos a mirar quién te rastrea de verdad antes de cambiar una sola línea, porque el panorama de bots varía enormemente por nicho. Esta es la pila de monitorización práctica, de lo más barato a lo demás:

• Logs de acceso del servidor / CDN. Filtra por user-agent para GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, CCBot y Bytespider. Esto te dice frecuencia y qué páginas toca cada bot. Nota: Google-Extended nunca aparecerá — es un token, no una solicitud.
• Cloudflare Radar AI Insights. Si estás tras Cloudflare, el panel gratuito AI Insights muestra la actividad de rastreadores de IA y los datos crawl-to-referral citados en este artículo.
• Google Search Console. El nuevo informe de rendimiento de IA (junio 2026) es donde verás las impresiones de AI Overviews / AI Mode — y donde vive el toggle de opt-out.
• Verifica la autenticidad. Los user-agents falsificados son comunes. Coteja los accesos sospechosos contra los rangos de IP publicados — OpenAI los lista en openai.com/gptbot.json, openai.com/searchbot.json y openai.com/chatgpt-user.json.

→ Hazlo ahora: Abre https://tu-dominio.com/robots.txt en un navegador. Si no menciona OAI-SearchBot ni Claude-SearchBot, está desfasado — y puede que seas invisible para los mismos productos de búsqueda de IA que usan tus clientes. Elige un perfil de la tabla de arriba, pega la configuración correspondiente, y habrás hecho más higiene de rastreadores que la inmensa mayoría de sitios pequeños en 2026.