Кальтер / Блог

Google и OpenAI о едином robots.txt сигнале для AI-training: планы и текущий статус

Сравниваем планы Google и OpenAI по общему robots.txt сигналу, фиксируем текущие controls и объясняем, почему публичные анонсы ещё не означают рабочую директиву.

Материал подготовлен с помощью ИИ. Источники и учебные примеры проверены редакцией ZASLON; вымышленные расчёты не описывают личные результаты автора.

Условная схема добровольного сигнала для AI-обучения; не универсальный запрет и не настройка индексации.
Условная схема добровольного сигнала для AI-обучения; не универсальный запрет и не настройка индексации.

30 октября 2026 года Google и OpenAI сообщили о планах поддержать общий сигнал предпочтений по использованию веб-контента для обучения AI-моделей через robots.txt. Но это пока не готовая универсальная команда, которую можно включить и считать действующей у всех провайдеров: Google называет цель поддержки в 2027 году, а OpenAI пишет, что планирует внедрить сигнал в ближайшие месяцы и опубликует отдельное обновление о реализации (анонс Google, анонс OpenAI).

Это новость о совместимости, которая планируется, и отраслевом сигнале на основе работы группы IETF AIPREF. На дату проверки — 4 ноября — ни одна из этих страниц не объявляет о полном рабочем внедрении нового общего токена в crawler’ах этих компаний. Поэтому текущие правила robots.txt для отдельных роботов остаются важны.

Что обещают Google и OpenAI

Компания Что заявлено 30 октября Срок в публикации Что остаётся проверить
Google Планирует учитывать общий policy token в robots.txt; при определённых условиях это будет трактоваться как запрет Google-Extended Планирует поддержку в 2027 году Финальный синтаксис, точные условия и фактическое включение crawler’ом
OpenAI Говорит, что будет соблюдать общий сигнал и рассматривает его в рамках работы IETF Внедрение ожидается «в ближайшие месяцы» Конкретная дата релиза, точная интерпретация и доступность на production crawler

Google отдельно подчёркивает, что существующие controls для конкретных компаний, включая Google-Extended, продолжат работать рядом с будущим общим механизмом. OpenAI говорит, что её текущие настройки crawler’ов также сохраняются. Следовательно, общий сигнал задумали как дополнительный слой управления, а не как отмену всех прежних правил.

Что можно сделать на сайте сейчас

Пока внедрение не подтверждено, не вставляй в robots.txt название токена, взятое из обсуждения или чернового предложения, если провайдер не опубликовал финальную инструкцию. Вместо этого сначала опиши собственную цель для каждой категории контента:

Контент Вопрос для команды Проверяемое действие сегодня
Публичные страницы сайта Разрешён ли обычный поисковый обход и индексирование? Проверь доступность страниц и текущие правила Googlebot и других поисковых crawler’ов
Обучение моделей конкретного провайдера Как этот провайдер документирует отказ или разрешение? Используй действующий идентификатор и официальные правила конкретного crawler’а
Изображения и загружаемые файлы Требуются ли отдельные правила доступа? Проверь их URL, MIME и покрытие текущими правилами robots.txt
Закрытые материалы Нужно ли исключить доступ из интернета полностью? Используй аутентификацию и серверные права доступа, не полагайся на robots.txt как на защиту

Robots.txt — это протокол для crawler’ов, которые добровольно соблюдают правила. Он не скрывает URL, не блокирует посетителя и не заменяет авторизацию. Если информация не должна быть общедоступной, закрой её сервером.

Как подготовиться к общему сигналу без преждевременного изменения

Создай список действующих директив и поясни, к какой цели относится каждая: поисковый crawl, использование контента для обучения, использование в ответах или доступ к изображениям. Эти цели не тождественны. Например, Google указывает, что Google-Extended управляет использованием контента для обучения будущих моделей Gemini и не влияет на включение сайта в обычную Search индексацию или на рейтинг.

Дальше веди короткий журнал изменений: дата публикации спецификации, точное имя токена, какие crawler’ы заявили поддержку, дата подтверждения в официальном changelog и результат теста на собственном robots.txt. Когда появится финальный формат, проверь его спецификацию, порядок приоритета общего и индивидуального правил, корректность синтаксиса и фактический ответ нужного crawler’а. Не считай одно наличие директивы доказательством, что каждый провайдер её прочитал.

Не смешивай отказ от обучения с запретом поиска

Важное следствие — общий сигнал нацелен на предпочтения по обучению AI-моделей. Это не автоматически команда скрыть страницу из Google Search, отключить генеративные ответы, запретить извлечение по запросу пользователя или закрыть сайт от всех автоматических систем. Конкретные цели и действие каждого токена нужно проверять в опубликованной спецификации.

Для Google уже есть отдельное руководство Google-Extended; его область действия отличается от поискового Googlebot. Для OpenAI опубликованы собственные crawler controls. Эти существующие правила — предмет текущей настройки; новость об общем сигнале описывает будущую совместимость, сроки которой компании формулируют по-разному.

Если сайт использует отдельные правила для SEO, AI training и закрытых данных, держи их в разных разделах конфигурации и документируй причину. Это упростит будущую миграцию и позволит не закрыть случайно поиск, когда цель — только выразить предпочтение по обучению. Повторно проверь официальные источники перед изменением: сроки «в ближайшие месяцы» и «в 2027 году» не дают точной даты запуска.