Модели искусственного интеллекта, такие как ChatGPT и Claude, переоценивают реальный уровень интеллекта человека.

Новое исследование предполагает, что подход искусственного интеллекта к пониманию нас может быть несколько слишком оптимистичным. Исследователи обнаружили, что популярные модели ИИ , такие как ChatGPT от OpenAI и Claude от Anthropic , склонны предполагать, что люди более рациональны и логичны, чем они есть на самом деле, особенно в ситуациях стратегического мышления.

Этот разрыв между тем, как, по мнению ИИ, должны вести себя люди, и тем, что люди делают на самом деле, может иметь последствия для того, как эти системы прогнозируют решения людей в экономике и за ее пределами.

Проверка искусственного интеллекта в сравнении с человеческим мышлением.

Исследователи протестировали модели ИИ, включая ChatGPT-4o и Claude-Sonnet-4, в классической модели теории игр, называемой кейнсианским конкурсом красоты. Понимание этой игры помогает объяснить, почему полученные результаты имеют значение (по данным TechXplore ).

В конкурсе красоты участницы должны предсказать, что выберут другие, чтобы победить, а не просто выбрать то, что им лично больше нравится. Рациональная игра в теории подразумевает выход за рамки первых впечатлений и реальное осмысление рассуждений других — глубокий уровень стратегического мышления, с которым люди часто испытывают трудности на практике.

Чтобы оценить эффективность моделей ИИ, исследователи предложили системам сыграть в версию игры под названием «Угадай число», где каждый игрок выбирает число от нуля до ста. Победителем становится тот, чей выбор наиболее близок к половине среднего выбора всех игроков.

Модели искусственного интеллекта получили описания своих противников-людей, начиная от студентов первого курса и заканчивая опытными специалистами по теории игр, и им было предложено не просто выбрать число, но и объяснить свою логику.

Модели корректировали свои показатели в зависимости от того, с кем, по их мнению, они столкнулись, что свидетельствует о некотором стратегическом мышлении. Однако они постоянно исходили из предположения о высоком уровне логического мышления, которым большинство реальных игроков на самом деле не обладают, часто «играя слишком умно» и в результате промахиваясь.

Хотя исследование также показало, что эти системы могут адаптировать свой выбор на основе таких характеристик, как возраст или опыт, им по-прежнему было сложно определить доминирующие стратегии, которые люди могли бы использовать в играх для двух игроков. Исследователи утверждают, что это подчеркивает сохраняющуюся проблему калибровки ИИ к реальному поведению человека, особенно для задач, требующих предвидения решений других людей.

Эти выводы также отражают более широкие опасения по поводу современных чат-ботов, включая исследования, показывающие, что даже лучшие системы ИИ имеют точность всего около 69% , и предупреждения экспертов о том, что модели ИИ могут убедительно имитировать человеческую личность , что вызывает опасения по поводу манипуляций. Поскольку ИИ продолжает использоваться в экономическом моделировании и других сложных областях, понимание того, где его предположения расходятся с человеческой реальностью, будет иметь важное значение.

Статья " Модели ИИ, такие как ChatGPT и Claude, переоценивают реальный уровень интеллекта людей" впервые появилась на сайте Digital Trends .