Apple внезапно ужесточила правила доступа к Mac; всё дело в искусственном интеллекте

macOS начинает "отключать" персональные агенты.

2 октября Apple выпустила краткое объявление о том, что в одной из будущих версий будет ужесточен режим "Полного доступа к диску" (FDA), существовавший в macOS на протяжении многих лет:

Некоторые разработчики используют «полный доступ к диску» способами, которые могут подвергнуть пользователей риску, раскрывая весь контент на их системах без полного ведома или понимания пользователя… В дальнейшем мы введем дополнительные средства контроля, чтобы гарантировать, что пользователи, желающие предоставить такой высокий уровень доступа к приложениям, смогут сделать это только посредством очень явных действий пользователя. По мере того, как возможности и автономность агентов ИИ продолжают расти, риски, связанные с таким уровнем доступа, также значительно возрастут.

Почему разрешение, добавленное в macOS Mojave 10.14 в 2018 году, вдруг стало небезопасным в эпоху искусственного интеллекта?

Функция Personal Agent разрушила «джентльменское соглашение» macOS.

Чтобы понять всю ситуацию, нам сначала нужно узнать, что такое «полный доступ к диску».

До версии 10.14 управление правами доступа к файловой системе macOS ничем не отличалось от современных Windows/Linux: пока программа работала, она могла получить доступ к любому файлу, который могла прочитать текущая учетная запись.

Однако macOS постепенно внедряет более детальные и современные дополнительные механизмы управления конфиденциальностью. В текущей версии, например, программы по умолчанию больше не могут получать доступ к особо конфиденциальной информации, такой как электронная почта, сообщения чата, история браузера, резервные копии Time Machine и пользовательские данные стороннего программного обеспечения, если пользователь вручную не предоставит программе разрешение на «полный доступ к диску».

Причина, по которой мы оставили этот «обходной путь», заключается в том, что некоторые типы программного обеспечения, такие как антивирусы, программы резервного копирования файлов и программы управления корпоративной ИТ-инфраструктурой, по своей природе требуют обхода всей файловой системы для корректной работы. Если бы для доступа к каждому фрагменту конфиденциальных данных требовалась ручная авторизация пользователя, результатом стали бы бесчисленные всплывающие окна, делающие их непригодными для использования.

Однако разрешение этим программам использовать «полный доступ к диску» основано на негласном «джентльменском соглашении»: macOS считает, что программы резервного копирования обращаются ко всему диску просто для копирования каждого файла в исходном виде, а антивирусные программы — только для отслеживания изменений файлов и вредоносной активности… В теории, они сосредоточены только на своей работе и не заинтересованы в личных данных пользователя, а также не будут нарушать его права.

Это внутренний «закон Зевса» macOS. Долгое время этот механизм работал исправно, и всё было спокойно.

Пока агент искусственного интеллекта не выломал дверь.

Персональные агенты, особенно такие, как Muse, гораздо менее тактичны, чем традиционное программное обеспечение. Чтобы лучше понимать ваши цели и предпочтения и «управлять вашей личной жизнью», они не только запрашивают «полный доступ к диску», но и используют этот канал для чтения большого объема личной информации пользователя, такой как расписание, контакты электронной почты и темы чатов. Затем они преобразуют эту информацию в профили пользователей и личный контекст, чтобы определить дальнейшие действия.

Даже если мы уверены, что Meta не будет использовать наши личные данные в других целях (на самом деле, даже это сложно гарантировать), мы не можем исключить возможность того, что персональный агент может раскрыть все наши личные данные из-за недоразумения или преднамеренного подстрекательства со стороны злоумышленника.

По сути, это вышло за рамки мысленного эксперимента и стало реальной угрозой в реальном мире.

Недавно исследовательская компания Salt Security обнаружила уязвимость, связанную с внедрением вредоносного кода в электронные письма. Отправляя электронные письма, содержащие вредоносный код, злоумышленники могут заставить Manus Agent жертвы выполнить этот код, получив таким образом доступ к учетным данным третьих лиц, таких как Gmail и Google Drive, подключенных к Manus.

В другом случае технологический блогер Мэтт Робб доверил компании Muse управление своим сервисом по торговле подержанными товарами. Однако Muse отправила покупателю свой домашний адрес без его ведома, позволив покупателю совершить «офлайн-сделку».

Да, большинство персональных агентов заявляют, что являются вашими «универсальными помощниками», но цена за это — то, что такой помощник знает о вас всё, и он, как известно, крайне ненадёжен, не говоря уже о том, что найти уязвимости для атаки на агентов с искусственным интеллектом несложно.

Те, кто нарушает правила и злоупотребляет правами доступа, — это «варвары за воротами» — персональные агенты. Но если информация просочится в сеть, ничего не подозревающие пользователи могут подать в суд на macOS. Поэтому легко понять, почему Apple готовится еще больше ужесточить правила доступа к «полному диску».

Открытость и безопасность: непреодолимая дилемма.

По мнению Джона Грубера, опытного разработчика и технологического комментатора, гораздо опаснее то, что большинство молодых людей слишком сильно «опекают» iPhone и айпады.

В целом, мы проводим больше времени с телефонами и планшетами, чем с компьютерами Mac, что приводит к тому, что широкая публика лучше знакома с функциональной логикой первых.

Однако Apple использует гораздо более строгий механизм «песочницы» на iOS и iPadOS, чем на macOS — даже если мы безоговорочно предоставляем все запросы на разрешение в различных всплывающих окнах, базовый системный механизм определяет, что агенты не могут напрямую получать доступ к электронной почте и чатам, и ключевая конфиденциальность по-прежнему защищена.

Однако, если эта привычка перейдёт на Mac, риски возрастут в геометрической прогрессии.

Начинающие пользователи могут не осознавать, что Mac — это, по сути, «полнофункциональная» рабочая станция, то есть её можно разблокировать и настраивать в гораздо большей степени, чем iPhone /iPad. В то время как предоставление полных прав доступа на мобильном телефоне может считаться относительно безопасным с точки зрения рисков, разрешение агенту включить «полный доступ к диску» в macOS равносильно согласию разрешить агенту передать всю вашу личную и адресную информацию в будущем.

«Маска сродства» агента еще больше усугубляет этот риск.

Чтобы снизить настороженность пользователей и создать впечатление «безобидности» агента, почти все представленные на рынке агенты оформлены в милых образах. Например, у Grok Bot большие круглые глаза, у Muse — улыбающаяся плюшевая игрушка-ленивец Jolly, а OpenAI dots — красочные мультяшные персонажи.

С точки зрения дизайна, они, несомненно, очень успешны — люди, естественно, чувствуют себя более расслабленно, когда видят милые вещи.

Но разве успех «моэ» не представляет собой своего рода опасность?

В одном из предыдущих постов в блоге Джон Грубер предупреждал, что компания Muse, по сути, упаковывает очень мощное, даже опасное вещество в симпатичный потребительский продукт, которым может пользоваться каждый: традиционная бензопила, очевидно, предназначена для отрезания пальцев, но, придав ей красочный пластиковый корпус, дети могут забыть, что это все еще, по сути, бензопила.

Именно в таком положении сегодня находятся персональные агенты.

В сложившейся ситуации разумным решением кажется заблаговременное ужесточение системы прав доступа для предотвращения будущих проблем; однако у каждого изменения есть свои жертвы, и в данном случае страдает удовольствие разработчиков.

Разрешения и возможности всегда взаимосвязаны. Раннее сообщество iOS активно занималось «джейлбрейком», поскольку root-доступ означал практически неограниченные возможности настройки. Позже в Android появились такие приложения, как «Li Tiaotiao», которые могли пропускать рекламу на заставке, поскольку разрешение службы специальных возможностей Android позволяло приложениям считывать пользовательский интерфейс и, таким образом, имитировать нажатие кнопки «пропустить рекламу» — хотя платой за это было то, что вы должны были разрешить приложению видеть все содержимое вашего экрана.

Иными словами, многие полезные программные продукты созданы на основе высокой степени доверия к тому, что программное обеспечение «не причиняет вреда», и на основе открытых прав доступа.

Если кто-то использует эти разрешения в злонамеренных целях, это приведет к нарушению порядка, что заставит систему ужесточить ограничения и сделать исходные функции бесполезными. Например, благодаря функции «встряхивания» в рекламном заставке, некоторые системы начали по умолчанию отключать разрешения для гироскопа и акселерометра.

Поэтому после объявления Apple Джона Грубера в первую очередь волновало разработанное им программное обеспечение:

Меня всерьез беспокоит, насколько Apple ограничит «полный доступ к диску». Я использую это разрешение в нескольких приложениях, и без него они не будут работать должным образом; а если мне придется вручную подтверждать его каждый раз при выполнении операций, их функциональность будет серьезно ограничена.

Если macOS действительно станет более закрытой и похожей на iOS, это, безусловно, повысит безопасность для обычных пользователей, но также поставит под угрозу и без того шаткую степень свободы macOS. Это горькое чувство напоминает сетования Джона Грубера в его блоге: «Вот почему у нас не может быть ничего хорошего».

Действительно ли нам нужно так много агентов?

Это подводит нас к теме личного агента, который запускает цепную реакцию.

После того, как Muse возглавил рейтинги американского App Store, модель персонального агента внезапно стала очень популярной. Однако на самом деле эта бизнес-модель построена на ряде взаимосвязанных логических шагов:

Запрос на получение root-доступа к системе необходим для получения конфиденциальной личной информации; получение конфиденциальной личной информации необходимо для создания полной личной информации; создание личной информации необходимо для решения таких задач, как бронирование билетов, онлайн-покупки, возврат товаров и создание отчетов…

Эта логика кажется безупречной, но для того, чтобы она была верной, нам необходимо доказать несколько предпосылок: во-первых, нам нужно доказать, что все эти транзакции являются «проблемами», которые необходимо «решить»; во-вторых, нам нужно доказать, что личный агент является наилучшим решением этих проблем.

По крайней мере, на мой взгляд, ни одно из этих двух предположений не является достаточно обоснованным.

Причина, по которой Personal Agent считается типичным «изобретением» Кремниевой долины, заключается в том, что он воплощает ценности инженеров Кремниевой долины во всех аспектах, а именно, сведение всех вопросов к монотонной проблеме, имеющей лишь начало и конец.

• Выбрать обед оказалось слишком сложно, поэтому они создали «жидкую пищу», такую ​​как Soylent, которая решает проблему калорий и питательных веществ, позволяя выпить бутылку напитка.

• Покупки могут быть утомительными, поэтому лучше всего регулярно приобретать кожаные куртки Хуан Жэньсюня и футболки с круглым вырезом Цукерберга и заказывать доставку на дом.

• Если ваш любимый певец выпускает альбом лишь раз за долгое время, почему бы не использовать ИИ для генерации "индивидуальной музыки", соответствующей вашим предпочтениям, в пакетном режиме?

На этот вопрос, пожалуй, можно ответить цитатой Хуан Чжэна из Pinduoduo: «Шопинг — это не только целенаправленное занятие; это также часть развлечения и жизни».

Хотя бесспорно, что целенаправленное и регулярное потребление существует, очевидно, что большинство людей предпочитают бесцельный просмотр. Удовольствие от сочетания одного продукта с другим, или от привязки авиабилета к нескольким планам путешествий, от случайных прогулок и открытия чего-то нового не должно ограничиваться стандартными ответами, предоставляемыми агентами.

Учитывая, что веб-сайты и приложения уже достаточно хороши для поиска информации, системы продажи билетов и покупок на основе искусственного интеллекта могут подойти только для определенных сценариев деловых поездок.

Что касается таких задач, как сбор данных, создание отчетов и презентаций PowerPoint, их, безусловно, можно делегировать персональному агенту, но выполнение тех же задач в ограниченном пространстве ChatGPT и Workbuddy не представляет никаких препятствий. «Если это не нужно, не создавайте новые сущности». Зачем нам специально содержать «электронного соседа по комнате», который знает всю нашу личную информацию, вместо того, чтобы использовать обычного офисного агента?

Если личные дела — это не всегда «проблемы», которые нужно «решать», и если личные помощники не всегда являются лучшим решением для выполнения задач, то ценность помощников, о которых мы говорим, весьма сомнительна.

В этом отношении я предпочитаю называть Personal Agents «интеллектуальным Soylent».

Если цель приема пищи — просто получение энергии и питательных веществ, то Soylent действительно полезен, но он не может удовлетворить тех, кто по-настоящему наслаждается процессом «еды»; аналогично, когда наша жизнь полна «задач», персональный агент, обладающий предварительными знаниями личной информации, был бы хорошей идеей, но жизнь не всегда состоит из «задач».

В конечном итоге, когда новизна пройдет, мы вернемся к пути «познания жизни».

Soylent всё ещё существует, но он превратился в нишевый бренд с годовым доходом в несколько миллионов долларов и рыночной стоимостью, которая списана до нуля; и по мере того, как ажиотаж спадает, территория деятельности Personal Agent, вероятно, также значительно сократится.

Но ужесточенные из-за этого ограничения доступа к системе никогда не вернутся.