Microsoft утверждает, что ваш ИИ-агент может стать двойным агентом.

Microsoft предупреждает, что поспешное внедрение ИИ-агентов на рабочих местах может создать новый вид внутренней угрозы — двойного агента ИИ. В своем отчете Cyber ​​Pulse компания утверждает, что злоумышленники могут получить доступ к помощнику или передать ему недоверенные данные , а затем использовать это для нанесения ущерба внутри организации.

Проблема не в том, что ИИ — это нечто новое. Проблема в неравномерном контроле. Microsoft утверждает, что агенты распространяются по различным отраслям, в то время как некоторые развертывания ускользают от внимания ИТ-отдела, а команды безопасности теряют из виду, что работает и к чему они могут получить доступ.

Эта «слепая зона» становится еще опаснее, когда агент может запоминать и действовать. Microsoft указывает на недавнюю мошенническую кампанию, расследованную ее командой Defender, в которой использовалось отравление памяти для изменения сохраненного контекста ИИ-помощника и управления будущими результатами.

Теневые агенты расширяют радиус поражения.

Microsoft связывает риск появления двойных агентов со скоростью. Когда развертывание опережает безопасность и соответствие нормативным требованиям, теневой ИИ появляется быстро, и у злоумышленников появляется больше возможностей захватить инструмент, который уже имеет законный доступ. Это кошмарный сценарий.

В отчете это рассматривается не только как проблема искусственного интеллекта, но и как проблема доступа. Предоставьте агенту широкие привилегии, и один обманный рабочий процесс сможет получить доступ к данным и системам, к которым он никогда не должен был прикасаться. Microsoft продвигает наблюдаемость и централизованное управление, чтобы группы безопасности могли видеть каждого агента, задействованного в работе, включая инструменты, которые появляются вне утвержденных каналов.

Распространение таких систем уже происходит. Microsoft ссылается на результаты опроса, показавшего, что 29% сотрудников использовали несанкционированных агентов ИИ для выполнения рабочих задач. Это такое незаметное расширение, которое затрудняет выявление попыток вмешательства на ранней стадии.

Дело не только в плохих подсказках.

Это касается не только случаев, когда кто-то вводит неправильный запрос. Microsoft выделяет отравление памяти как устойчивую атаку, способную внедрять изменения, влияющие на последующие ответы и подрывающие доверие с течением времени.

Команда разработчиков ИИ также обнаружила, что агентов обманывают с помощью вводящих в заблуждение элементов интерфейса, включая вредоносные инструкции, скрытые в повседневном контенте, а также формулировки задач, которые незаметно перенаправляют рассуждения. Это может выглядеть нормально. В этом и суть.

Что делать дальше?

В Microsoft рекомендуют рассматривать агентов ИИ как новый класс цифровой идентификации, а не просто как дополнение. В отчете предлагается придерживаться принципа «нулевого доверия» для агентов, проверять личность, жестко контролировать права доступа и постоянно отслеживать поведение, чтобы необычные действия выделялись.

Централизованное управление важно по той же причине. Если группы безопасности могут вести учет агентов, понимать, к чему они имеют доступ, и обеспечивать согласованные меры контроля, проблема двойного агента становится менее значительной.

Прежде чем развертывать больше агентов, определите, к чему каждый из них имеет доступ, примените принцип минимальных привилегий и настройте мониторинг, который сможет выявлять попытки изменения инструкций. Если вы пока не можете решить эти основные задачи, не торопитесь и сначала устраните проблему.

Статья " Microsoft утверждает, что ваш ИИ-агент может стать двойным агентом" впервые появилась на сайте Digital Trends .