OpenAI, Google, Microsoft и Anthropic поддержат общий стандарт отказа от скрейпинга через robots.txt

OpenAI, Google, Microsoft и Anthropic заявили, что примут новый стандарт, с помощью которого издатели смогут отказаться от скрейпинга их сайтов ИИ, сообщил ранее Search Engine Roundtable. Новый контроль позволит издателям применять свои предпочтения по обучению ИИ сразу к нескольким краулерам, а не настраивать их по отдельности для каждой компании.

Общий сигнал «policy token» предложен Kevin Kelley, техническим руководителем по стандартам в Anthropic, в рамках Internet Engineering Task Force (IETF). Он будет размещаться в файле robots.txt сайта, который давно указывает, какие веб-краулеры могут и не могут скрейпить сайт — для поисковой индексации, архивирования или обучения ИИ. Сейчас сайтам приходится сообщать свои предпочтения по обучению ИИ каждой компании отдельно.

OpenAI, Google, Microsoft и Anthropic заявили, что ограничат доступ своих ИИ-краулеров к сайту, если обнаружат общий токен. Microsoft при этом предложит более детальные настройки: издатели смогут отказаться от обучения ИИ или от AI grounding — процесса указания модели ИИ на проверенный источник информации для снижения галлюцинаций. Microsoft отмечает, что сайты по-прежнему будут отображаться в результатах поиска Bing независимо от их предпочтений.

Anthropic уже принял сигнал, Google и Microsoft планируют поддержать его в следующем году. Анонс прозвучал на фоне того, как издатели сталкиваются с продолжающимся наплывом ИИ-краулеров, скрейпящих их сайты и передающих контент в модели ИИ. Некоторые компании и организации пытались бороться с несанкционированным скрейпингом: стандарт Really Simple Licensing (RSL) даёт издателям возможность взимать плату с краулеров, посещающих их сайты, а Cloudflare по умолчанию блокирует ИИ-краулеры.

Источник: https://www.theverge.com/tech/1023763/openai-google-microsoft-ai-scraping-standard-opt-out