Почему ИИ выдумывает: механика галлюцинаций и как их ловить — в Claude

Материал академии Claude на русском - разбираем по шагам.

Самая неприятная ошибка модели — не та, где она отвечает «не знаю». А та, где она уверенно называет номер статьи закона, которого нет, или цитирует исследование, которого никто не публиковал. Формулировка гладкая, тон спокойный, ссылка выглядит настоящей.

Почему это происходит

Модель не хранит факты как справочник. Она выдаёт наиболее вероятное продолжение текста. Когда данных по теме много, вероятное совпадает с верным, и всё работает. Когда данных мало — вероятное остаётся, а верное исчезает: модель достраивает то, что похоже на правду по форме.

Отсюда и главная особенность: у выдуманного ответа нет никаких внешних признаков. Он написан ровно тем же тоном, что и правильный, потому что механизм за ними один и тот же. Ждать, что ошибка выдаст себя неуверенностью, бессмысленно.

Где риск выше всего

Точные реквизиты: номера, даты, статьи, страницы, идентификаторы. Ссылки и цитаты — модель прекрасно знает, как выглядит правдоподобная ссылка. Свежие события: у модели есть граница знаний, и всё, что случилось позже, она в лучшем случае не знает, в худшем достраивает. Узкие темы, по которым в интернете почти ничего нет, — включая ваш внутренний продукт или редкий регламент.

Обратная сторона тоже полезна: пересказ приложенного документа, структурирование ваших данных, разбор текста, который у модели перед глазами, — зоны низкого риска. Чем больше материала вы дали, тем меньше остаётся места для домысла.

Как проверять

Самый действенный приём — заставить модель опираться на источник, а не на память. «Отвечай только по приложенному документу, приводи прямые цитаты. Если ответа в документе нет, так и напиши». Требование цитаты, а не пересказа, отсекает большую часть выдумок сразу.

Второй приём — просить разметить неуверенность: «после ответа перечисли отдельным списком всё, в чём не уверен и что нужно проверить». Модель довольно неплохо различает твёрдое и достроенное, просто не сообщает об этом по умолчанию.

Третий — переспросить в новом чате другими словами. Если два независимых ответа сходятся, вероятность выдумки заметно ниже. Разошлись — значит, проверять вручную.

Совет

Заведите личное правило: любое число, дату, имя и ссылку из ответа считать черновиком до проверки в первоисточнике. Это не недоверие к инструменту, а нормальная гигиена — так же вы поступаете с цифрой, услышанной на встрече. Смежная тема — как формулировать запросы, чтобы ошибок было меньше с самого начала.

Где купить Claude

Тяжёлые модели и поиск по источникам заметно снижают риск выдумок, но доступны на платных тарифах, а карту РФ Anthropic не принимает. У нас есть Claude Pro (2 090 ₽/мес), Max 5x (11 010 ₽/мес), Max 20x (22 010 ₽/мес) и пополнение API от $20: карта РФ или СБП.