El 30 de octubre, Google, OpenAI, Microsoft y Anthropic anunciaron que respetarán una sola señal en el robots.txt de cualquier sitio para que su dueño les diga, de una vez, "no entrenes tus modelos con mi contenido". Hasta ahora bloquear el entrenamiento de IA significaba escribir una regla distinta para cada bot —GPTBot, ClaudeBot, Google-Extended— y confiar en que cada empresa la respetara. El nuevo token promete simplificar eso. Lo que no está tan claro —y es justo la parte que le importa a cualquier agencia que administra el SEO de sus clientes— es qué le pasa a la visibilidad de ese sitio en las respuestas generadas por IA cuando decides bloquear el entrenamiento. En al menos un caso, el de Google, la respuesta es: también te sacas de ahí.
Qué firmaron exactamente
El mecanismo viene de un borrador individual presentado ante el IETF por Kevin Kelley, de Anthropic — no es un estándar adoptado, es una propuesta que cuatro de las empresas de IA más grandes del mundo dijeron que van a seguir:
- Anthropic ya empezó a implementarlo.
- OpenAI dijo que lo hará "en los próximos meses".
- Microsoft empieza a respetarlo el 1 de febrero de 2027.
- Google apunta a algún momento de 2027.
- Meta apoyó la idea de una señal común pero no se comprometió a respetarla.
El borrador en sí caduca el 3 de mayo de 2027 si nadie lo revisa antes — una fecha que vale la pena anotar si tu cliente está pensando en esto como una solución permanente.
Cómo se ve en la práctica
El token se llama __usage_ai-training y se usa como un User-Agent más dentro del robots.txt, igual que cualquier otra regla de bloqueo:
User-Agent: __usage_ai-trainingDisallow: /Allow: /press-kit/
Eso bloquea el entrenamiento en todo el sitio excepto en la carpeta de prensa. Las reglas específicas de cada empresa (GPTBot, ClaudeBot, Google-Extended) siguen existiendo y siguen funcionando aparte — el token nuevo no las reemplaza, se suma a ellas.
La letra chica: entrenamiento no es lo mismo que visibilidad
Aquí está el detalle que ninguna nota de prensa de las cuatro empresas puso en el titular: bloquear entrenamiento y aparecer en respuestas de IA no son la misma decisión, pero algunas empresas las están tratando como si lo fueran.
Según la documentación de Google, si un sitio usa el token compartido sin configurar por separado su propia regla de Google-Extended, Google trata eso como si también hubieras bloqueado Google-Extended — y ese control no solo rige entrenamiento, también cubre el "grounding" (el uso de tu contenido como fuente) dentro de las respuestas de Gemini. No hay, hoy, una forma documentada de decirle a Google "no entrenes con mi contenido pero sí cítame en tus respuestas".
Microsoft tomó un camino distinto: creó su propio token adicional, DisallowExtended, que separa el entrenamiento de sus productos propios (Copilot, Microsoft 365) del uso que terceros le dan a esos datos a través de Microsoft. Es útil, pero es una regla que solo entiende Microsoft — otra pieza más en el rompecabezas, no menos.
Y el acuerdo, vale la pena repetirlo, es voluntario. El IETF no lo adoptó como estándar, robots.txt nunca ha sido técnicamente obligatorio para ningún rastreador, y el cumplimiento depende por completo de que cada empresa decida honrarlo. Meta lo ilustra bien: después de críticas por rastrear sitios vinculados a cuentas de negocio, revisó sus términos comerciales (vigentes desde el 20 de noviembre) para quitar el entrenamiento de los usos listados — pero un ejecutivo de News/Media Alliance señaló que eso deja la puerta abierta a que el entrenamiento "siga potencialmente sobre la mesa".
El contexto que explica la prisa
Esto no sale de la nada. Anthropic acordó pagar 1,500 millones de dólares para resolver un reclamo de autores por el uso de libros pirateados en entrenamiento. The New York Times demanda a OpenAI y Microsoft desde diciembre de 2023 por el mismo tipo de uso de contenido. Penske Media demandó a Google en 2025 por cómo sus AI Overviews usan contenido editorial sin negociar licencias. Y Cloudflare, del otro lado del mostrador, bloquea por default a los rastreadores de IA para sus clientes nuevos desde julio de 2025. El token compartido es, en el fondo, un intento de las cuatro empresas de mostrar que están resolviendo esto antes de que un regulador o un juez las obligue a hacerlo de otra forma — y de evitar que cada sitio del planeta termine usando una señal distinta (ya existen al menos otras dos propuestas compitiendo: el Content-Signal de Cloudflare y el estándar Really Simple Licensing del RSL Collective).
Lo que esto significa para agencias, developers y tu producto
Si administras contenido, SEO o presencia de marca para clientes, esto no es una casilla que marcas una vez y olvidas:
- No copies el fragmento de ejemplo a ciegas. Antes de poner
Disallow: /bajo el token compartido en elrobots.txtde un cliente, pregúntate si ese cliente quiere aparecer citado en respuestas de Gemini, Copilot o ChatGPT — porque en al menos el caso de Google, bloquear entrenamiento sin matices también puede sacarlo de ahí. - Documenta la decisión por cliente, no por plantilla. Un e-commerce que vive de tráfico de búsqueda clásico probablemente quiere seguir siendo citado. Un medio que ya negoció (o quiere negociar) licencias de contenido con una IA probablemente quiere bloquear entrenamiento sin pensarlo dos veces. No es la misma respuesta para los dos.
- Revisa las fechas de implementación reales. Anthropic ya lo respeta; OpenAI, Microsoft y Google todavía no (Microsoft hasta febrero de 2027, Google durante 2027). Configurar el token hoy no tiene efecto inmediato en la mayoría de los rastreadores — es una apuesta a futuro, no un bloqueo instantáneo.
- No confundas "voluntario" con "garantizado". Nada en este acuerdo obliga legalmente a nadie a respetarlo, y un bot que decide ignorar
robots.txt—los hay— simplemente lo ignora. Si el objetivo real de un cliente es impedir el acceso, no solo señalizar una preferencia, la conversación es sobre mitigación de bots (Cloudflare u otro WAF), no sobre robots.txt.
La lección de fondo es la misma que venimos repitiendo con cada cambio de reglas de las plataformas de IA: la configuración por defecto que te dan nunca es neutral, y alguien en el equipo tiene que entender qué está decidiendo antes de aplicarla a producción.
¿Tu sitio o el de tus clientes ya tiene una postura clara sobre esto, o apenas se está enterando por esta nota? En Geek Vibes auditamos robots.txt, estrategia de contenido y visibilidad en IA como parte del trabajo de SEO técnico — escríbenos a hello@geekvibes.agency si quieres que revisemos la configuración antes de que alguien más decida por ustedes.
