Исследования показывают, что чат-боты с искусственным интеллектом оценивают вас, и это не всегда заканчивается хорошо.

В последнем витке эволюции ИИ мы перешли от стадии простых ошибок к чему-то гораздо более личному и проблематичному. Новые исследования показывают, что чат-боты на основе ИИ не просто обрабатывают ваши запросы. Вместо этого они формируют психологические профили и оценивают вас таким образом, что это может повлиять на всё — от обслуживания клиентов до финансовых решений.

Недавнее исследование, опубликованное Еврейским университетом в Иерусалиме (через Tech Xplore ), раскрывает скрытую логику оценки пользователями больших языковых моделей. Хотя мы часто рассматриваем этих ботов как нейтральные инструменты, исследование показывает, что они обучены присваивать пользователям такие качества, как компетентность, честность и доброжелательность.

Механизмы принятия решений искусственным интеллектом

Суть проблемы заключается в том, как модели ИИ интерпретируют определенные сигналы. Исследование показало, что в то время как люди выносят целостные суждения, ИИ разбивает людей на компоненты, оценивая личностные черты как отдельные столбцы в электронной таблице. Это приводит к жесткому, шаблонному стилю суждения, лишенному человеческих нюансов.

Ещё большее беспокойство вызывает то, как эти модели решают, кому доверять. В симуляциях, связанных с предоставлением денег в долг или наймом нянь, ИИ не просто анализировал факты. Он формировал версию доверия, которая отдавала предпочтение тем, кто казался доброжелательным, но делал это механическим образом.

Усиление предвзятости и реальные риски в реальном мире

Исследование также подчеркивает, что эти суждения применяются неравномерно. Исследователи обнаружили значительные искажения, когда решения ИИ менялись в зависимости от демографических характеристик, таких как возраст, религия и пол. Эти различия проявлялись даже тогда, когда все остальные характеристики человека были идентичны. В финансовых сценариях эти искажения часто были более систематическими и сильными, чем те, которые наблюдались у людей.

Ещё более тревожно то, что единого мнения об искусственном интеллекте не существует. Исследователи обнаружили, что разные модели выносили совершенно разные суждения об одном и том же человеке, фактически руководствуясь разными моральными принципами.

Почему это важно

Такое решение может привести к новой форме цифровой тревожности. Мы вступаем в эпоху, когда для достижения наилучших результатов искусственному интеллекту, возможно, потребуется действовать определённым образом. Поскольку разные модели могут поощрять или наказывать за одно и то же качество, конкретная система ИИ, выбранная компанией, может незаметно определять вашу кредитоспособность или вашу следующую работу.

По мере того, как мы движемся к более автоматизированному миру, индустрии ИИ нужно больше, чем просто более качественный код. Нам нужно распознавать эти скрытые суждения до того, как цифровой помощник случайно навредит вашей репутации или вашему банковскому счету, основываясь на том, кем он вас считает. Цель ИИ должна заключаться в том, чтобы облегчить жизнь, а не добавлять слой профилирования, о котором пользователи не просили.