Google, Microsoft и OpenAI объявили о планах учитывать общий сигнал отказа от обучения ИИ в robots.txt. На 1 ноября 2026 года поддержка ещё не запущена. Предложение остаётся индивидуальным Internet-Draft, а не принятым стандартом IETF.
В проекте используется группа User-Agent: __usage_ai-training с правилами Allow и Disallow. Она выражает предпочтение об обучении и не заменяет управление обходом сайта.
Google планирует поддержку в 2027 году. Если отдельное правило Google-Extended не задано, общий отказ предполагается трактовать как запрет Google-Extended. Этот механизм затрагивает и обучение Gemini, и использование контента для подготовки ответов в Gemini Apps.
У Microsoft обучение и использование страниц при формировании ответов получают раздельные настройки. Новые предпочтения начнут учитываться при обходе с 1 февраля 2027 года. После 1 марта NoArchive и NoCache перестанут служить прежними сигналами для этих целей; владельцам таких сайтов нужно проверить порядок перехода в документации Bing.
OpenAI планирует поддержку в ближайшие месяцы. До внедрения нельзя рассчитывать, что одна новая строка уже заменяет существующие правила разных провайдеров.
Источник сообщения: Search Engine Journal.