temavorobey30 октября OpenAI, Google, Microsoft и Anthropic объявили, что будут понимать общий сигнал в robots.txt: запись, которой сайт говорит «не обучайте ИИ на моих страницах». Раньше владелец сайта прописывал запрет отдельно для бота каждой компании, теперь хватит одной записи на всех. Anthropic уже поддерживает сигнал, OpenAI обещает «в ближайшие месяцы», Google и Microsoft в 2027 году. Об этом сообщила OpenAI, сводку по всем компаниям собрала The Verge.
ChatGPT Plus и Pro на ваш аккаунтОплата картой РФ или СБП Купить
Кто и когда начнёт соблюдать
| Компания | Когда | Что уточнила |
|---|---|---|
| Anthropic | уже | Автор черновика стандарта Кевин Келли, руководитель по стандартам в Anthropic |
| OpenAI | в ближайшие месяцы | Старые правила для её ботов в robots.txt продолжат работать |
| 2027 год | Сигнал будет читаться как запрет Google-Extended, если тот не прописан отдельно (блог Google) | |
| Microsoft | с 1 февраля 2027 | Обучение и использование страниц в ответах Bing и Copilot настраиваются раздельно |
| Meta | не сказала | Идею поддержала, но соблюдать ли сигнал, не ответила |
Как выглядит запись
Новых команд в robots.txt не появилось. В строке User-Agent пишется не имя конкретного бота, а общий токен __usage_ai-training, а под ним обычные Disallow и Allow. Боты, которые токен не знают, пропустят такую группу, как любую незнакомую.
Где подвох
- Это пока черновик. На его странице прямо сказано, что IETF документ не утверждала и формального статуса у него нет. Соблюдение добровольное.
- Речь только про обучение. Поиск в ChatGPT OpenAI настраивает отдельным ботом OAI-SearchBot: сайт может запретить обучение и остаться в ответах поиска.
- Денег сайтам это не приносит. Microsoft отдельно пишет, что настройки не означают ни лицензий, ни выплат.
Что это значит для нас
Тем, кто пользуется ChatGPT, сегодня ничего не меняется: чат и поиск работают как раньше. Новость про сайты и данные для будущих моделей, а не про ваши переписки. Обучение на чатах пользователей это отдельная история, её мы разбирали в статье про обучение на чатах ChatGPT, Claude и Grok.
Оплатить ChatGPT российской картой напрямую не выйдет, платёж отклонит сама OpenAI. Подписка ChatGPT Plus и Pro есть в нашем каталоге, оплата картой РФ или СБП.
