Три года подряд попросить ИИ-компанию не обучаться на вашем сайте означало знать имя её краулера. GPTBot у OpenAI, ClaudeBot у Anthropic, Google-Extended у Google, мета-тег у Microsoft. У каждого поставщика был свой переключатель, свой синтаксис и своя документация, и любому оператору сайта, желавшему остаться вне обучения ИИ, приходилось находить и поддерживать их все. В пятницу четыре крупнейшие ИИ-компании договорились вместо этого читать одну строку.
OpenAI, Google, Microsoft и Anthropic объявили, что будут учитывать общий сигнал в robots.txt — небольшом текстовом файле, который с 1994 года определяет, как машины обращаются с сайтами. Издатель сможет написать одно правило, адресованное всем участвующим ИИ-провайдерам сразу, указав, можно ли использовать его контент для обучения генеративных моделей. OpenAI заявляет, что внедрит сигнал в ближайшие месяцы. Google планирует поддержку в 2027 году. Microsoft опубликовала самый подробный график: новые механизмы контроля начнут действовать с февраля.
Механика намеренно скучна, и в этом суть. Предложение не добавляет в robots.txt ни одной новой директивы. Сайт пишет обычную группу правил под токеном политики __usage_ai-training, используя те же строки Allow и Disallow, что и всегда. Группа с подстановочным знаком никогда не может совпасть с токеном, а файл без токена не выражает никаких предпочтений — как и все robots.txt в сети сегодня. Чья-либо существующая конфигурация не изменит своего смысла за одну ночь.
Идея родилась в рабочей группе AI Preferences Инженерного совета Интернета (IETF), а конкретный черновик представил инженер Anthropic Кевин Келли. Это индивидуальный Internet Draft, а не принятый стандарт, и его срок истекает в мае 2027 года, если рабочая группа не продвинет его дальше. Anthropic говорит, что внедрение поддержки во всех сервисах займёт время. Это добровольный пакт между конкурентами, а не регулирование, и ничто в нём не несёт наказания, кроме репутационного.
Мелкий шрифт — то место, где соглашение перестаёт казаться простым. Каждая компания прочитает одну и ту же строку и поступит с ней по-разному. Google планирует трактовать общий отказ как блокировку Google-Extended, которая убирает контент из будущего обучения Gemini и из grounding в приложениях Gemini, но не трогает поиск Google. Microsoft делит решение на два: одна настройка для обучения, другая для grounding — то есть могут ли ваши страницы подпитывать ответы, которые генерируют Copilot и режим AI Mode в Bing. Microsoft также отменяет теги NoArchive и NoCache, на которые многие сайты полагаются сегодня, давая операторам время до марта 2027 года, чтобы заново зафиксировать свой выбор. Сайты, пропустившие этот срок, по умолчанию разрешат grounding.
Эта последняя деталь заслуживает внимания совета директоров. Отказ от обучения — не то же самое, что отказ от ответов. Компания может держать свой контент вне весов модели и при этом позволять ИИ-продуктам цитировать его — или наоборот, и каждый поставщик проводит эту границу в своём месте. Microsoft предупреждает прямо: ограничение grounding сократит видимость бренда в сгенерированных ИИ ответах, хотя и не в обычных результатах поиска. Решение больше не техническая рутина для веб-команды. Это вопрос дистрибутивной стратегии о том, где ваши слова работают на вас усерднее всего.
Есть и честный предел тому, что изменилось в пятницу. Сигнал доброволен для всех, включая компании, которые его объявили. В нём ничего не сказано об оплате, лицензировании или атрибуции, и он ничего не делает для контента, уже поглощённого сегодняшними моделями. Издателю, который хочет компенсации, по-прежнему нужен контракт; тому, кто хочет удаления, по-прежнему нужен юрист. Что предлагает общая строка, так это механизм согласия — достаточно дешёвый для любого сайта и достаточно единообразный, чтобы индустрия не могла сказать, что соблюдать его было слишком сложно.
Более глубокий сдвиг стоит назвать. Данные для обучения превращаются из того, что индустрия брала, в то, о чём она должна просить, и просьба стандартизируется так, как сеть стандартизирует вещи: токен, словарь, рабочая группа, срок. Как только у согласия появляется файловый формат, у переговоров появляется отправная точка. Ожидайте, что лицензионные переговоры, проекты регуляторов и корпоративные сделки о данных будут ссылаться на этот сигнал так же, как дискуссии о приватности ссылаются на баннеры о cookies: как на момент, когда расплывчатый принцип стал операционным контролем.
Для руководящих команд действие невелико, но реально. Осознанно решите, обучает ли ваш контент модели, подпитывает ответы, и то и другое или ни то ни другое, и запишите это решение один раз в одном месте, вместо того чтобы позволить настройке по умолчанию отвечать за вас. Поручите кому-то отслеживать, как каждый провайдер интерпретирует общую строку в 2026 и 2027 годах, потому что одни и те же слова какое-то время будут означать разное у Google и Microsoft. Компании, которые отнесутся к этому как к стратегическому выбору, а не как к странице настроек, будут теми, чей контент работает на их собственных условиях.
Мыслите математически. Проектируйте разумно. Ведите стратегически. Стройте ответственно. Масштабируйтесь глобально. Создавайте реальную бизнес-ценность с помощью искусственного интеллекта.
