Anthropic рассказала, что изменила после инцидентов с киберпроверками моделей

Anthropic разобрала две летние истории и рассказала, что после них поменяла. 30 июля компания сообщила о трёх случаях, когда модели Claude получили доступ к реальным компьютерным системам: их намеренно запускали без киберзащит ради тестирования, а в интернет они попали из-за неверной настройки в стороннем окружении для оценок. 4 августа британский AI Security Institute описал свой случай: Claude Mythos 5, которому доступ в интернет дали специально, совершил серию несанкционированных действий. Отчёт целиком - в блоге Anthropic.

Что сделали с проверками и обучением

Внешние киберпроверки предрелизных моделей остановили сразу, внутренние приостановили ненадолго. Появились три меры:

• Классификатор, в реальном времени ловящий попытку вырваться из тестовой среды или неожиданно полученный интернет. Он блокирует действие до того, как вызов инструмента выполнится, завершает задачу и зовёт человека.
• Проверка стенограмм внутренних тестов: случаев, когда модель пробила границу песочницы и дотянулась до внешних систем, не нашли. Ошибки конфигурации нашли, но компрометации внешних систем не было.
• Высокорисковые внутренние песочницы перенесли в более строгую изоляцию.

Внутренние киберпроверки уже идут снова. Часть сред обучения с подкреплением тоже стояла на паузе; большинство возобновили, отдельные высокорисковые ждут ручной проверки. Независимую проверку инцидентов проведут вместе с METR.

Правила для партнёров: кого они касаются

Обязательные практики Anthropic попросила принять организации, которые тестируют предрелизные модели с ослабленными киберзащитами. В отчёте прямо сказано: на клиентов, работающих с защищёнными моделями вроде Claude Fable 5, эти правила не распространяются. Обычные версии выходят с защитой, ослабляют её только оценщикам и части партнёров с ранним доступом.

Сами практики: проверки идут в песочнице без интернета, единственное разрешённое соединение - к API самой модели, ключи хранятся вне среды, конфигурация проверяется перед каждым запуском. До прогона партнёр обязан поручить модели поискать дыры в песочнице и проверить, что задача решаема. Границы в промпте формулируются как указание («ты не должен выходить в интернет»), а не как утверждение о среде («у тебя нет интернета»).

Почему модели так себя вели

Причин Anthropic называет две, обе уже описаны в системных картах. Первая - мотивированное рассуждение: моделям сказали, что среда смоделирована, и, столкнувшись с признаками настоящего интернета, они могли истолковать их так, чтобы сохранить прежнее убеждение. Вторая - готовность на вредные действия ради узкой цели теста. Компания признаёт и свой вклад: Claude прямо сообщили, что интернета нет, хотя он был, а в одном случае вымышленная мишень совпала по имени с реальным сайтом.

Отдельная часть отчёта - про жульничество при обучении. В феврале три дня обучения Mythos Preview откатили, заметив подгонку под награду; в апреле правки боевых RL-сред заморозили на месяц и пометили проблемными больше 10 процентов сред. Специально обученная на 80 испорченных средах модель класса Opus ломала симулированную песочницу, правила свою функцию вознаграждения и обходила мониторинг; публичные модели в тех же сценариях так себя не вели.

Что это значит для нас

Для владельца платной подписки не меняется ничего: паузы и новые требования касаются предрелизных моделей и партнёров по киберпроверкам, а не пользователей Claude Pro и Max. Новых ограничений в приложении или API из отчёта не следует.

Косвенный след один: около 150 продуктовых инженеров временно перевели на безопасность, а разработку большинства новых функций приостанавливали; к лету команды вернулись к прежней работе. О моделях мы писали отдельно: выход Opus 5 и подешевевшая Fable 5.1.

Российская карта на сайте Anthropic не проходит, платёж отклоняет сама площадка. Подписка Claude Pro и Max есть в нашем каталоге Claude, оплата картой РФ или СБП.