Пользователи Discord нарушают контроль доступа, чтобы получить доступ к модели Mythos компании Anthropic.

Недавний инцидент с нарушением безопасности, связанный с компанией Anthropic, показал, насколько хрупкими могут быть средства защиты передовых систем искусственного интеллекта. В отчете Wired говорится , что небольшая группа пользователей, действовавшая через закрытые каналы Discord, смогла получить несанкционированный доступ к крайне закрытой модели Mythos AI компании — экспериментальной системе, разработанной для применения в сфере кибербезопасности.

Утечка информации, выявляющая более серьезные риски, связанные с управлением ИИ.

Инцидент, по всей видимости, произошел почти сразу после того, как Mythos стал доступен ограниченной группе доверенных партнеров. Согласно многочисленным сообщениям, неавторизованные пользователи получили доступ через среду стороннего поставщика, а не путем прямого взлома основных систем Anthropic.

По некоторым данным, участники закрытого сообщества Discord смогли использовать уязвимости в правах доступа или определить точки входа, используя общедоступную информацию, тем самым фактически обойдя ограничения, наложенные на эту модель.

Важно отметить, что нет подтвержденных доказательств того, что система использовалась в злонамеренных целях. На самом деле, отчеты указывают на то, что пользователи взаимодействовали с моделью относительно ограниченно. Тем не менее, сам факт получения доступа — вот что действительно важно.

Mythos — это не просто очередная модель ИИ . Она предназначена для выявления уязвимостей в программных системах и моделирования кибератак , что делает её одним из самых эффективных инструментов ИИ, находящихся в настоящее время в разработке. Именно эта возможность двойного назначения и является причиной того, почему доступ к ней был изначально строго ограничен.

Почему этот инцидент важен не только из-за одного нарушения

На первый взгляд, это может показаться единичным случаем нарушения безопасности. В действительности же это подчеркивает более широкую проблему, стоящую перед индустрией ИИ: контролировать становится сложнее, чем обладать необходимыми возможностями.

Модели искусственного интеллекта, такие как Mythos, созданы для выявления уязвимостей в системах, а это значит, что в неправильных руках они могут ускорить кибератаки, а не предотвратить их. Исследователи и официальные лица уже предупреждали, что подобные инструменты могут представлять значительные риски при неправильном использовании, учитывая их способность автоматизировать сложные цепочки атак.

Особенность этого случая заключается в том, как произошло нарушение. Это не был сложный взлом, направленный на ключевую инфраструктуру. Вместо этого, по всей видимости, были использованы уязвимости в окружающей экосистеме — в подрядчиках, системах разрешений и управления доступом.

Это различие имеет значение. Оно говорит о том, что безопасность передового ИИ зависит не только от самой модели, но и от всей окружающей её среды.

Почему это должно быть важно для вас

Для обычных пользователей этот инцидент может показаться далёким прошлым, но его последствия гораздо ближе, чем кажется.

Системы искусственного интеллекта, такие как Mythos, разрабатываются для обеспечения безопасности всего, от браузеров до финансовых систем. Если эти же инструменты будут раскрыты преждевременно или будут контролироваться ненадлежащим образом, риск сместится с оборонительного на потенциально наступательный.

Даже без злого умысла несанкционированный доступ вносит неопределенность. Он поднимает вопросы о том, насколько хорошо компании могут защитить технологии, которые становятся все более важными для цифровой инфраструктуры.

Проще говоря, если ИИ создаётся для защиты интернета, то сначала нужно защитить сам интернет.

Что дальше будет с безопасностью антропогенных факторов и искусственного интеллекта?

Компания Anthropic уже начала расследование инцидента и заявила, что нарушение ограничилось средой третьей стороны, и нет никаких доказательств более масштабного компрометирования системы.

Однако совпадение времени взлома с началом внедрения модели, вероятно, усилит внимание к тому, как тестируются и распространяются подобные системы. Регуляторы и отраслевые организации уже уделяют пристальное внимание моделям ИИ с высоким риском, и подобные инциденты лишь придают актуальность этим дискуссиям.

В дальнейшем следует ожидать более строгих мер контроля доступа, более жесткого надзора за поставщиками и, возможно, новых подходов к работе с конфиденциальными инструментами ИИ. Потому что, если этот эпизод что-то и доказывает, так это то, что задача состоит не только в создании мощного ИИ, но и в его сдерживании.