Google, yeni veri kazıma kontrolleri sözü verme konusunda OpenAI ve Anthropic'e katıldı
Özgün başlık: Google joins OpenAI and Anthropic in promising new scraping controls
Ne oldu
Google, Anthropic, OpenAI ve Microsoft, web yayıncılarının içeriklerinin üretken yapay zekâ eğitimi amacıyla taranmasını engellemesine veya düzenlemesine imkân tanıyacak yeni bir robots.txt yönergesine uyum taahhüdünde bulundu. İnternet açık standartlar kuruluşu IETF bünyesinde değerlendirilen bu teklif, Anthropic standartlar teknik lideri Kevin Kelley tarafından kaleme alındı.
Neden önemli
Mevcut durumda web sitesi sahiplerinin her bir yapay zekâ sağlayıcısı için ayrı tarayıcıları tanımlaması ve her biri için ayrı kurallar eklemesi gerekiyordu. Yeni ortak sinyal sayesinde, birden fazla yapay zekâ şirketi tek bir ortak kuralı tanıyacak ve buna uyacak. Yayıncılar, robots.txt dosyasında yapay zekâ eğitimine özel yeni bir kullanıcı aracısı tanımlayarak verilerinin toplanmasını engelleyebilecek veya belirli sayfalar için istisnalar tanımlayabilecek.
Teknik detaylar
Önerilen yeni yönerge kapsamında web siteleri, AI eğitimi için özel olarak tasarlanmış tarayıcıları engellemek üzere robots.txt dosyasına yeni bir kullanıcı aracısı ekleyebilecek. "Allow" bölümü sayesinde site yöneticileri, örneğin bir basın kiti gibi belirli sayfa bölümleri için yapay zekâ eğitim amaçlı veri kazımaya izin verme seçeneğine sahip olacak. Bu yeni yapı, web sitelerinin arama motorlarında görünmesini veya genel olarak taranmasını engellemiyor; yalnızca yapay zekâ eğitimi verisi toplayan tarayıcıları hedefliyor. Örneğin Google, bu direktifi Gemini modellerinin eğitiminde kullanılan materyalleri toplayan "Google-Extended" kullanıcı aracısı için bir dur işaretçisi olarak yorumlayacak. Öte yandan bu yönerge, şirketlerin geçmişte gerçekleştirdiği veri kazıma işlemlerini geri almıyor; yalnızca gelecekteki taramaları kapsıyor.
Kimi etkiler, ne yapmalı
Bu gelişme, içeriklerini yapay zekâ modellerini eğitmek isteyen şirketlerden korumak veya bu süreci denetlemek isteyen tüm web sitesi sahiplerini ve yayıncıları ilgilendiriyor. Şirketlerin takvimine göre Anthropic yeni direktifi desteklemeye çoktan başlarken, Microsoft desteği 1 Şubat 2027'de başlatacağını açıkladı. Google 2027'nin başlarında destekleyeceğini belirtirken, OpenAI ise sinyali önümüzdeki aylarda hayata geçireceğini bildirdi. Yayıncılar, ilgili kullanıcı aracısı ayarlarını kendi robots.txt dosyalarına entegre ederek bu süreçten faydalanabilecek.
What happened
Google, Anthropic, OpenAI, and Microsoft have committed to supporting a new robots.txt directive designed to let web publishers manage how their content is scraped for generative AI training. The proposal is currently under consideration at the open standards organization IETF and was written by Kevin Kelley, Anthropic's technical lead for standards.
Why it matters
Previously, website owners had to identify individual crawlers and configure separate rules for each distinct provider. The new approach introduces a single common signal recognized by multiple AI companies, streamlining how publishers can manage data collection preferences for AI training.
Technical details
The initiative involves setting up a specific user agent within the robots.txt file dedicated to AI training. Website operators can use an "Allow" section if they wish to permit scraping for specific areas, such as a press kit, while blocking general training crawlers. This directive does not stop websites from appearing in standard search results or prevent overall crawling. For instance, Google will interpret the signal specifically as a stop sign for its "Google-Extended" user agent, which gathers materials for Gemini model training. Additionally, the directive applies only to future actions and cannot reverse any past scraping activities conducted by the companies.
Who is affected, what to do
Web site owners and publishers seeking control over their content's usage in AI training will be directly impacted by these upcoming changes. Regarding implementation timelines, Anthropic has already begun supporting the directive. Microsoft stated it will roll out support on February 1, 2027, Google plans to follow in early 2027, and OpenAI has pledged to implement the new signal over the coming months. Publishers can prepare by reviewing their robots.txt configurations to utilize the new user agent parameters as companies adopt them.
Qué pasó
Google, Anthropic, OpenAI y Microsoft se han comprometido a respaldar una nueva directiva robots.txt diseñada para permitir a los editores web administrar cómo se extrae su contenido para el entrenamiento de IA generativa. La propuesta está actualmente bajo consideración en la organización de estándares abiertos IETF y fue escrita por Kevin Kelley, líder técnico de estándares de Anthropic.
Por qué es importante
Anteriormente, los propietarios de sitios web tenían que identificar rastreadores individuales y configurar reglas separadas para cada proveedor distinto. El nuevo enfoque introduce una única señal común reconocida por múltiples empresas de IA, simplificando la forma en que los editores pueden gestionar las preferencias de recopilación de datos para la capacitación en IA.
Detalles técnicos
La iniciativa implica configurar un agente de usuario específico dentro del archivo robots.txt dedicado al entrenamiento de IA. Los operadores de sitios web pueden utilizar una sección "Permitir" si desean permitir el scraping de áreas específicas, como un kit de prensa, mientras bloquean los rastreadores de capacitación generales. Esta directiva no impide que los sitios web aparezcan en los resultados de búsqueda estándar ni impide el rastreo general. Por ejemplo, Google interpretará la señal específicamente como una señal de alto para su agente de usuario "Google-Extended", que recopila materiales para la capacitación del modelo Gemini. Además, la directiva se aplica solo a acciones futuras y no puede revertir ninguna actividad de scraping realizada por las empresas en el pasado.
Quién se ve afectado, qué hacer
Los propietarios de sitios web y los editores que buscan controlar el uso de su contenido en la capacitación en IA se verán directamente afectados por estos próximos cambios. En cuanto a los plazos de implementación, Anthropic ya ha comenzado a apoyar la directiva. Microsoft declaró que implementará soporte el 1 de febrero de 2027, Google planea seguirlo a principios de 2027 y OpenAI se ha comprometido a implementar la nueva señal en los próximos meses. Los editores pueden prepararse revisando sus configuraciones de robots.txt para utilizar los nuevos parámetros del agente de usuario a medida que las empresas los adopten.
Что случилось
Google, Anthropic, OpenAI и Microsoft взяли на себя обязательство поддерживать новую директиву robots.txt, позволяющую веб-издателям управлять сбором их контента для генеративного обучения ИИ. Предложение в настоящее время находится на рассмотрении в организации открытых стандартов IETF и было написано Кевином Келли, техническим руководителем Anthropic по стандартам.
Почему это важно
Раньше владельцам веб-сайтов приходилось идентифицировать отдельных сканеров и настраивать отдельные правила для каждого отдельного поставщика. Новый подход вводит единый общий сигнал, распознаваемый несколькими компаниями, занимающимися искусственным интеллектом, упрощая то, как издатели могут управлять предпочтениями по сбору данных для обучения искусственному интеллекту.
Технические детали
Инициатива включает в себя настройку специального пользовательского агента в файле robots.txt, предназначенного для обучения ИИ. Операторы веб-сайтов могут использовать раздел «Разрешить», если они хотят разрешить очистку определенных областей, таких как пресс-кит, и одновременно блокировать общие обучающие сканеры. Эта директива не препятствует появлению веб-сайтов в стандартных результатах поиска и не препятствует общему сканированию. Например, Google будет интерпретировать этот сигнал как знак остановки для своего пользовательского агента «Google-Extended», который собирает материалы для обучения модели Gemini. Кроме того, директива применяется только к будущим действиям и не может отменить любую прошлую деятельность по очистке данных, проводившуюся компаниями.
Кто пострадал, что делать
Эти предстоящие изменения окажут непосредственное влияние на владельцев веб-сайтов и издателей, стремящихся контролировать использование своего контента в обучении ИИ. Что касается сроков реализации, Anthropic уже начал поддерживать директиву. Microsoft заявила, что внедрит поддержку 1 февраля 2027 года, Google планирует последовать этому примеру в начале 2027 года, а OpenAI пообещал реализовать новый сигнал в ближайшие месяцы. Издатели могут подготовиться, проверив свои конфигурации robots.txt, чтобы использовать новые параметры пользовательского агента по мере их внедрения компаниями.