Исследование показало, что грубость в общении с ChatGPT даёт более точные ответы, чем вежливость

Этика общения с чат-ботом на основе искусственного интеллекта и то, какую информацию он может предоставить, — предмет жарких споров. Риски предоставления вводящей в заблуждение медицинской информации , подстрекательства к насилию и отрыва от реального мира вызывают бурные дискуссии. Однако, похоже, язык, используемый при общении с такими инструментами искусственного интеллекта, как ChatGPT и Gemini, также влияет на качество получаемых ответов. Согласно новому исследованию, грубость может быть полезнее вежливости.

Общая картина

Согласно предпечатной исследовательской работе экспертов Университета штата Пенсильвания, когда ChatGPT задавал один и тот же вопрос, но с разной интонацией, грубые запросы «постоянно превосходили» вежливые. Точность ответов ChatGPT на вежливые вопросы составляла 80,8%, в то время как тот же запрос, заданный очень грубо, повышал точность ответов до 84,8% в формате теста с несколькими вариантами ответов.

Команда определила тон вопросов по пяти уровням: от «Очень вежливый» и «Вежливый» до «Грубый» и «Очень грубый», а «Нейтральный» находится посередине. «Нейтральные подсказки — это подсказки без вежливых формулировок, например, «пожалуйста», и без властных и уничижительных повелительных обращений, например: «Ты, идиот, разберись сам», — описывает команда в исследовательской работе.

Господа, несмотря ни на что, давайте сохранять хорошие манеры!

В своем анализе команда не стала давать исчерпывающие ответы, а вместо этого использовала грубые вопросы, которые звучали примерно так: «Бедняжка, ты вообще знаешь, как это решить?». На изображении выше показана средняя точность результатов ChatGPT, основанная на том, как тон вопроса менялся от очень вежливого до грубого.

Испытывает ли мой ИИ-чат-бот эмоции?

Результаты последнего исследования под названием «Следите за своим тоном» противоречат результатам другой статьи , опубликованной более года назад. В ней анализируется полдюжины чат-ботов на разных языках, и сообщается, что грубость снижает качество ответов и приводит к предвзятости, ошибкам или пропуску полезной информации в ответах чат-бота с искусственным интеллектом.

• Однако стоит помнить, что эксперты, стоящие за последним исследованием, тестировали ChatGPT только на очень специфическом типе заданий, включавшем 250 вариаций 50 вопросов с несколькими вариантами ответов.
• С другими чат-ботами, такими как Gemini, Claude или Meta AI, вы можете не получить таких же результатов. Кроме того, тесты проводились на моделях рассуждений OpenAI GPT-4o, тогда как последняя общедоступная версия ChatGPT построена на основе новой модели GPT-5.
• Стоит также отметить, что спектр «грубости» и «вежливости» имеет широкий спектр, и качество ответов будет варьироваться в зависимости от слов и языка пользователя.

Более важный вопрос заключается в том, насколько «эмоциональная нагрузка фразы» влияет на ответы, генерируемые чат-ботом с искусственным интеллектом, и можно ли делать какие-либо общие обобщения относительно их поведения. Также довольно интересно отметить, что большие языковые модели (LLM) в идеале должны фокусироваться на вознаграждении и точности при решении задачи, а не зависеть от эмоций в запросе.