Эксперимент на тысяче студентов: ChatGPT улучшил ответы, но оригинальность дала тренировка мышления

Исследователи Университета Боккони вместе с OpenAI Economic Research провели эксперимент: более 1000 первокурсников решали настоящий бизнес-кейс, часть из них с доступом к ChatGPT. Вывод неудобен обеим сторонам спора об ИИ в учёбе. Доступ к нейросети поднял качество работ почти на целый балл из пяти, но уникальных идей у этой группы не прибавилось. Оригинальность дала отдельная тренировка причинного мышления, к ИИ отношения не имевшая. Отчёт целиком лежит на сайте OpenAI.

Как это устроили

Студентам первого курса дали реальную задачу: придумать маркетинговые рекомендации для университетского магазина мерча. Группы распределили случайным образом по учебным парам, всего их вышло четыре: доступ к ChatGPT (модель GPT-4o), тренировка причинного мышления, и то и другое, и контрольная группа без всего.

Тренировка была не про нейросети вовсе. Это упражнение на связку «причина - следствие»: игра, примеры, вопросы и обратная связь, чтобы студент умел объяснить, почему решение сработает или не сработает.

Работы оценивали двумя способами. Люди-проверяющие ставили балл по пятибалльной шкале, а машинный анализ текста считал число и разнообразие идей, признаки причинных рассуждений и сходство с работами трёх экспертов.

Что дал доступ к ChatGPT

Группа с ChatGPT набрала почти на балл больше по пятибалльной шкале. В работах было больше идей, логика выстраивалась чётче, а сами рекомендации оказались ближе к тому, что писали эксперты. То есть новички выдавали текст, который выглядел профессионально.

Важная оговорка авторов: студенты не отдавали задание нейросети целиком. Им всё равно приходилось решать, что спросить, оценивать ответы и выбирать, что пойдёт в итоговую работу.

Что дала тренировка мышления

С упражнением вышло интереснее. Те, кто его прошёл, лучше объясняли, почему их идея может сработать и где она развалится, но по баллам не выиграли ничего. Причина в самой шкале: она проверяла только две вещи, растёт ли узнаваемость магазина и пользуются ли им чаще.

Разницу увидел машинный анализ. У прошедших упражнение идеи оказались разнообразнее и заметно меньше повторяли то, что писали однокурсники. Обычная шкала этого не ловит: она наградит аккуратный структурный ответ и не заметит, что мысль придумана заново.

Группа, получившая и ChatGPT, и тренировку, собрала оба эффекта: разнообразие идей как у «тренированных», баллы и число идей как у пользователей ChatGPT, плюс более связная логика и больше попыток поставить под сомнение исходные допущения.

Почему это важно за пределами вуза

Главный вывод авторов адресован школам и университетам: если ИИ помогает выдать отполированную работу, то по одному финальному ответу уже нельзя понять, что человек на самом деле усвоил. Задания и критерии оценки придётся менять так, чтобы вознаграждать оригинальность и рассуждение, а не только гладкость.

Для обычного пользователя смысл тот же. ChatGPT закрывает разрыв в опыте и оформлении, но идея, которой ни у кого больше нет, из подписки не берётся.

Что это значит для нас

Само исследование в продукте ничего не меняет: это отчёт, а не обновление. Пользоваться ChatGPT из России можно, а вот оплатить подписку российской картой напрямую не выйдет, платёж отклоняет сама платформа. Про свежие изменения продукта мы писали отдельно: запуск GPT-6 Astra и отдельный ChatGPT для подростков.

Подписка ChatGPT Plus и Pro есть в нашем каталоге на витрине ChatGPT, оплата картой РФ или СБП.

Коротко

• Эксперимент Университета Боккони и OpenAI Economic Research, более 1000 первокурсников, реальный кейс по маркетингу.
• ChatGPT дал почти плюс балл из пяти, больше идей и сходство с работами экспертов.
• Тренировка баллов не добавила, но расширила разнообразие и уникальность идей.
• Вывод авторов: оценивать только финальный ответ больше недостаточно.