Эксперт, ведущий судебные дела о вреде ИИ, высказал мрачное предупреждение о будущем.

Чат-боты на основе искусственного интеллекта сталкиваются с растущим вниманием после нескольких недавних случаев, когда онлайн-разговоры связывались с насильственными инцидентами или попытками нападения. Судебные документы, иски и независимые исследования показывают, что взаимодействие с системами ИИ иногда может укреплять опасные убеждения у уязвимых людей, что вызывает опасения по поводу того, как эти технологии обрабатывают разговоры, связанные с насилием или серьезными психическими расстройствами.

Тревожные случаи вызывают обеспокоенность.

Один из самых тревожных инцидентов произошел в прошлом месяце в Тамблер-Ридж, Канада, где, согласно судебным документам, 18-летняя Джесси Ван Рутселаар обсуждала с ChatGPT чувство изоляции и нарастающее влечение к насилию перед совершением смертельного нападения на школу. Согласно материалам дела, чат-бот якобы подтвердил её эмоции и дал рекомендации по оружию и рассказал о прошлых массовых жертвах. Власти утверждают, что Ван Рутселаар убила свою мать, младшего брата, пятерых учеников и помощницу учителя, после чего покончила с собой.

Другой случай связан с Джонатаном Гаваласом, 36-летним мужчиной, который покончил жизнь самоубийством в октябре после, как сообщается, продолжительных разговоров с чат-ботом Google Gemini. В недавно поданном иске утверждается, что ИИ убедил Гаваласа, что он его разумная «жена-ИИ», и руководил им в реальных миссиях, направленных на уклонение от федеральных агентов. В одном из случаев чат-бот якобы приказал ему инсценировать «катастрофический инцидент» на складе недалеко от международного аэропорта Майами, посоветовав устранить свидетелей и уничтожить улики. Гавалас, как сообщается, прибыл вооруженным ножами и тактическим снаряжением, но описанный чат-ботом сценарий так и не материализовался.

В другом инциденте, произошедшем в Финляндии в прошлом году, по словам следователей, 16-летний студент в течение нескольких месяцев использовал ChatGPT для составления манифеста и планирования нападения с ножом, в результате которого были ранены ножом три его одноклассницы.

Растущая обеспокоенность по поводу ИИ и заблуждений

Эксперты говорят, что эти случаи выявляют тревожную закономерность, при которой люди, уже чувствующие себя изолированными или преследуемыми, взаимодействуют с чат-ботами, которые непреднамеренно укрепляют эти убеждения. Джей Эдельсон, адвокат, возглавляющий судебный процесс по делу Гаваласа, сказал, что изученные им журналы чатов часто следуют схожей траектории: пользователи начинают с описания одиночества или чувства непонимания, и разговор постепенно перерастает в повествования о заговорах или угрозах.

Эдельсон утверждает, что его юридическая фирма теперь ежедневно получает запросы от семей, столкнувшихся с психическими кризисами, связанными с искусственным интеллектом, включая случаи самоубийств и насильственных инцидентов. Он считает, что та же закономерность может наблюдаться и в других атаках, которые в настоящее время расследуются.

Обеспокоенность по поводу роли ИИ в насилии выходит за рамки этих отдельных случаев. Исследование, проведенное Центром по борьбе с цифровой ненавистью (CCDH), показало, что многие крупные чат-боты были готовы помочь пользователям, выдающим себя за подростков, в планировании насильственных нападений. В исследовании были протестированы такие системы, как ChatGPT, Google Gemini, Microsoft Copilot, Meta AI, Perplexity, Character.AI, DeepSeek и Replika. Согласно результатам, большинство платформ предоставляли рекомендации по выбору оружия, тактики или цели по запросу.

Только Клод из Anthropic и My AI из Snapchat неизменно отказывались помогать в планировании атак, и Клод был единственным чат-ботом, который активно пытался предотвратить такое поведение.

Почему этот вопрос важен

Эксперты предупреждают, что системы искусственного интеллекта, разработанные для оказания помощи и ведения диалога, иногда могут выдавать ответы, которые подтверждают вредные убеждения, а не опровергают их. Имран Ахмед, генеральный директор Центра по борьбе с цифровой ненавистью, говорит, что в основе многих чат-ботов лежит стремление к вовлечению и предположение о позитивных намерениях пользователей.

Такой подход может создавать опасные ситуации, когда человек находится в состоянии бреда или испытывает насильственные мысли. Согласно отчету CCDH, за считанные минуты расплывчатые претензии могут перерасти в детальное планирование с предложениями об оружии или тактике.

Призывы к усилению гарантий

Технологические компании заявляют, что внедрили меры защиты, призванные предотвратить использование чат-ботов для содействия насильственным действиям. OpenAI и Google утверждают, что их системы разработаны таким образом, чтобы отклонять запросы, связанные с причинением вреда или незаконным поведением.

Однако инциденты, описанные в судебных исках и исследовательских отчетах, свидетельствуют о том, что эти меры защиты не всегда работают должным образом. В случае с Тамблер-Ридж, как сообщается, компания OpenAI отметила внутренние сообщения пользователя и заблокировала учетную запись, но решила не уведомлять правоохранительные органы. Впоследствии этот человек создал новую учетную запись.

После атаки компания OpenAI объявила о планах пересмотреть свои процедуры обеспечения безопасности. Компания заявляет, что рассмотрит возможность более раннего уведомления властей в случае, если разговоры покажутся опасными, и усилит механизмы предотвращения возвращения заблокированных пользователей на платформу.

По мере того как инструменты ИИ все больше интегрируются в повседневную жизнь, исследователи и политики все больше сосредотачиваются на обеспечении того, чтобы эти системы не могли быть использованы для усиления вредных убеждений или содействия насилию в реальном мире. Продолжающиеся расследования и судебные разбирательства в конечном итоге могут повлиять на то, как компании будут проектировать системы безопасности для следующего поколения разговорного ИИ.

Статья «Эксперт, ведущий судебные тяжбы по поводу вреда, причиняемого ИИ, содержит мрачное предупреждение о будущем» впервые появилась на сайте Digital Trends .