Как проверять работу Claude: пять приёмов из исследования Anthropic

В академии Anthropic вышел отчёт с прямым названием: как люди проверяют работу Claude. Это не инструкция от разработчиков, а результат опроса пользователей: 129 человек начали интервью, 94 прошли его целиком вместе с анкетой. Выборка опытная, 63 человека из 95 работают с моделью каждый день, 62 пользуются ей больше полугода. Тем интереснее, что именно эти люди рассказали про свои ошибки.

Находка первая: перечитывание не работает

Самый частый способ проверки у опытных пользователей это не вчитывание в текст. 51% участников описали, что сверяют ответ модели с чем-то внешним: с исходным документом, с данными, с другим человеком или с другим ИИ. Логика простая: перечитывая ответ, вы проверяете его на связность, а связным выдуманный факт бывает ничуть не меньше настоящего. Внешняя опора отвечает на другой вопрос, а именно совпадает ли сказанное с реальностью.

Практический вывод для повседневной работы: перед тем как отправить задачу, полезно заранее решить, обо что вы будете сверять результат. Если сверять не обо что, это уже сигнал, что задачу стоит переформулировать или разбить.

Находка вторая: мешает не время, а незнание темы

Главным препятствием участники назвали не спешку и не лень, а нехватку экспертизы: 23% поставили её на первое место. Это честный и неудобный результат. Ошибку в тексте по своей специальности человек видит сразу, а в чужой области не замечает ничего, потому что ответ выглядит грамотным. Именно там ИИ применяют охотнее всего, ведь он закрывает пробел в знаниях, и именно там проверка слабее всего.

Отсюда правило, которое стоит держать в голове: чем дальше задача от вашей области, тем важнее не качество формулировки запроса, а наличие внешней опоры для проверки.

Находка третья: пропущенные ошибки меняют привычки

Участники рассказывали случаи, когда ошибка модели прошла незамеченной и всплыла позже. Половина из тех, кто поделился такой историей, сказала, что после неё изменила свой рабочий процесс. Люди заводили шлюзы одобрения на этапах, начинали требовать цитаты источников, подключали к сложным задачам вторую модель.

Это подтверждает наблюдение, знакомое по любой другой работе с рисками: устойчиво меняет поведение не инструкция, а собственная пропущенная ошибка. Хорошая новость в том, что чужой опыт тут тоже годится, если отнестись к нему серьёзно заранее.

Пять приёмов проверки

Из ответов участников отчёт собирает набор приёмов. Они разного веса, поэтому разберём каждый и добавим, кому он реально нужен.

1. Свои тесты под типовую работу. Для того, что вы делаете чаще всего, имеет смысл один раз составить проверочный список и переиспользовать его: рубрика для текста, набор обязательных пунктов для договора, контрольные цифры для отчёта. Проверка перестаёт зависеть от настроения и внимательности в конкретный день.
2. Пауза на сложной задаче. В Claude есть навык, который замечает сложные задачи и сам предлагает дополнительно проверить результат. Ценность не в самом напоминании, а в том, что оно приходит именно в тот момент, когда проверять хочется меньше всего.
3. Проверка с другой стороны в Claude Code. В Claude Code есть встроенный шаг состязательного разбора: отдельный агент смотрит на готовую работу заново и ищет в ней слабые места. Приём работает потому, что у проверяющего нет истории спора и нет привязанности к выбранному решению.
4. Свои эксперты по областям. Совет, который выглядит скучно и при этом отвечает на главный барьер из исследования. Смысл в том, чтобы знать, к кому пойти с вопросом по юридической, медицинской или бухгалтерской части, до того как результат понадобится, а не после.
5. Требовать источник дословно. Просить не ссылку вообще, а конкретный фрагмент: откуда взято утверждение и какая именно фраза его подтверждает. Это самый дешёвый приём из пяти и самый быстрый способ отсеять красиво звучащие выдумки.

Чего исследование не говорит

Отчёт сам называет свои ограничения, и это стоит держать в уме. Отвечали слушатели академии, то есть люди мотивированные и заинтересованные, а значит их уровень проверки выше среднего по всем пользователям. Выборка смещена в сторону опытных и технических, поэтому трудности новичков в ней представлены слабо. Все данные это самоотчёт: люди рассказывали, что делают, а не показывали свою работу.

Иначе говоря, это не измерение того, как проверяет ответы средний человек. Это описание практик тех, кто о проверке вообще задумывается.

Что из этого взять себе

Если сводить к одному действию, оно такое: для каждой задачи, результат которой вы собираетесь использовать всерьёз, заранее ответьте себе, обо что будете сверять ответ. Документ, цифры, живой специалист, вторая модель. Дальше всё остальное подтягивается само: под частые задачи появляется проверочный список, под чужие области появляются знакомые эксперты, а привычка спрашивать точную цитату экономит больше времени, чем отнимает.

Про механику ошибок модели у нас есть отдельные разборы: почему ИИ выдумывает факты и почему модель соглашается с вами чаще, чем нужно. Второе особенно полезно прочитать перед тем, как спрашивать у Claude, всё ли верно в его собственном ответе.

Где купить Claude

Оплатить подписку из России напрямую не выйдет: карты российских банков на сайте Anthropic не проходят. Тарифы держим в каталоге: Claude Pro за 2 090 ₽/мес, Max 5x за 11 010 ₽/мес, Max 20x за 22 010 ₽/мес и пополнение баланса Claude API от $20. Оплата картой РФ или через СБП, поддержка на русском в чате на сайте.