Google заявляет, что ИИ используется в промышленных масштабах для кибератак, и компания только что предотвратила одну из них.

В течение многих лет эксперты по безопасности предупреждали, что искусственный интеллект в конечном итоге даст хакерам опасное новое преимущество. Этот момент настал.

Группа Google по анализу угроз опубликовала отчет, подтверждающий, что преступная хакерская группа использовала модель искусственного интеллекта для обнаружения уязвимости нулевого дня и едва не совершила массированную кибератаку. Google заявляет, что обнаружила и остановила атаку до того, как хакеры смогли развернуть ее в больших масштабах.

Что именно произошло и насколько серьёзными были последствия?

Уязвимость была направлена ​​на популярный веб-инструмент администрирования систем с открытым исходным кодом, который предприятия используют для удаленного управления серверами, учетными записями сотрудников и настройками безопасности.

Если бы это осталось незамеченным, хакеры смогли бы обойти двухфакторную аутентификацию, которая часто является последней линией защиты учетных записей.

Злоумышленники планировали использовать его для массовой атаки, нацеленной одновременно на несколько организаций. Google вовремя уведомил разработчика инструмента, и до того, как был выпущен патч, удалось избежать нанесения ущерба.

Компания отказалась назвать хакерскую группу, конкретное программное обеспечение, ставшее целью атаки, или используемую модель ИИ, но подтвердила, что это не собственная разработка Google — Gemini .

По данным Google, группы, связанные с Китаем и Северной Кореей, также проявили значительный интерес к использованию инструментов искусственного интеллекта, таких как OpenClaw, для обнаружения уязвимостей.

Становится ли искусственный интеллект самым слабым звеном в кибербезопасности?

Атака на Google вызывает тревогу, но она далеко не единичный случай. Исследователи из Технологического института Джорджии недавно обнаружили VillainNet, скрытую лазейку, которая внедряется в искусственный интеллект беспилотных автомобилей и срабатывает в 99% случаев при активации.

Тем временем корейская исследовательская группа показала, что модели ИИ можно удаленно реконструировать с помощью небольшой антенны, проходящей сквозь стены , без необходимости доступа к системе. Недавно группа пользователей Discord обошла средства контроля доступа и получила доступ к закрытой модели Mythos от Anthropic через среду стороннего поставщика.

В сфере защиты от угроз набирает популярность новая дисциплина, называемая пентестингом ИИ, которая позволяет проверить, как языковые модели ведут себя при воздействии враждебных входных данных, однако эта область все еще находится на ранней стадии развития.