«Просто используй свой рот!» Новая Siri следующего года позволит вам пользоваться iPhone без помощи рук.

Одной из революций, привнесённых iPhone в индустрию смартфонов, стало появление сенсорного экрана. За последующие 18 лет сенсорный экран стал основным способом взаимодействия людей с электронными устройствами.

Но в Apple считают: прикосновений недостаточно.

Фактически, мы уже видели чистое взаимодействие жестов, основанное на визуальном распознавании, на Vision Pro, которое является едва ли не самым незаметным решением среди современных устройств дополненной реальности.

Последние новые данные свидетельствуют о том, что Apple также пробует другое решение для голосового взаимодействия человека с компьютером на основе Siri.

Изображение создано с помощью Gemini, поскольку Image Playground использовать невозможно.

Буквально вчера репортер Bloomberg Марк Гурман в своем последнем прогнозе указал: искусственный интеллект Siri, запуск которого откладывался на протяжении 26 лет, может косвенно позволить пользователям управлять iPhone полностью с помощью голосового дистанционного управления за счет усиления функции App Intents.

Это большой пирог, который Apple уже расписала на WWDC 2024. В рекламе, которую обвинили в ложной рекламе, Apple показала, как актриса Белла Рэмси задает вопросы Siri, а Siri собирает информацию из приложений и дает ответы:

В рекламе Белла спрашивает Siri об именах участников мероприятия, и Siri отвечает, быстро открывая свой календарь. | YouTube @QuirkyFilms

Поскольку Apple Intelligence так и не удалось реализовать подобную функцию, рекламный ролик был убран с полок Apple, а запуск «более умной Siri» был отложен до 2026 года.

По словам Марка Гурмана, постоянные задержки в работе ИИ Siri сами по себе не являются серьёзной проблемой. Вместо этого, внимания заслуживает базовая функция, на которой эта функция основана.

Если новый ИИ Siri хочет воплотить в жизнь большие обещания, данные Apple на двух WWDC и пресс-конференциях, функция App Intents в iOS должна быть существенно улучшена в будущем.

Изображение: Fast Company

Возможно, вы не слышали о названии App Intents, что неудивительно, ведь это не отдельная функция, а системная структура функций, запущенная Apple в iOS 16 в 2022 году, которая заменила более раннюю функцию SiriKit Intents и предназначена в основном для разработчиков.

Изображение: Разработчики Apple

Функция App Intents соответствует своему названию и в основном используется для отображения «намерения» приложения.

Возьмём, к примеру, поиск Spotlight в iOS. Помимо непосредственного поиска приложений, вы также можете ввести здесь подсказки для функций, например, «Создать» или «Сканировать», и система автоматически предложит вам выбрать некоторые функции в приложении:

Это также наглядно демонстрирует базовую функцию App Intents — создание «быстрого канала» для различных функций, изначально встроенных в приложение, и интеграция входов этих быстрых каналов с функциями уровня системы iOS (такими как Siri, Focus Search, Shortcuts и т. д.), что позволяет пользователям быстро вызывать их, не открывая приложение .

Изображение: Разработчики Apple

Именно это и предсказал Марк Гурман: новый ИИ Siri в будущем сможет выполнять более сложные операции.

По совпадению, подобные сочетания клавиш для функций доступны не только в Apple. В HarmonyOS от Huawei также есть похожий сервис под названием Intents Kit, который отвечает за связь входов в систему с функциями в приложениях или метасервисах:

Рисунок｜Альянс разработчиков Huawei

Однако из-за рекламных усилий Apple и ограничений на вход только три основных элемента, упомянутых выше — Siri, Focus Search и Shortcuts — могут вызывать App Intents для выполнения операций в iOS.

Учитывая ограниченную базу пользователей Siri и ограниченное число пользователей, способных выполнять целенаправленный поиск, чаще всего используются быстрые команды. Такие функции, как быстрое сохранение учётной записи, обрезка фотографий и добавление водяных знаков, а также отправка фотографий предыдущего дня в WeChat для передачи файлов, по сути, работают через App Intents.

Прямой переход к функции внутреннего сканирования Alipay с помощью целенаправленного поиска

Что касается будущих автоматизированных операций под руководством ИИ Siri, то, ссылаясь на текущий метод быстрого вызова намерений приложений, iFanr полагает, что это будет очень простая «двухшаговая» логика:

1. Улучшить функции приложения, которые можно вызывать напрямую через App Intents. Текущая платформа App Intents требует от разработчиков активного написания кода, а количество приложений, которые она может охватить, весьма ограничено. Apple может впоследствии создать новый API, который позволит системе напрямую читать список функций приложения, расширяя область вызовов App Intents.
2. Голосовая модель Apple Intelligence может помочь Siri лучше сегментировать и понимать голосовые команды пользователя, а также использовать модель на стороне устройства iPhone для преобразования команд на естественном языке в комбинацию последовательно вызывающих намерений приложений, тем самым обеспечивая автоматическое выполнение сложных шагов.

Марк Гурман прогнозирует, что Apple может представить эту новую комбинацию ИИ Siri + App Intents уже на весенней конференции 2026 года. К тому времени операции, которые можно будет выполнить, будут похожи на: «Привет, Siri, обрежь все фотографии вчерашнего ужина в квадраты, отправь их в WeChat пользователя XXX и создай такое же расписание на следующую субботу», и для этого вообще не понадобится прикасаться к iPhone.

Изображение: Lifehacker

Однако перед этим новый метод голосового управления ещё должен пройти длительные испытания, особенно в некоторых сценариях с высоким уровнем риска (таких как оплата через Alipay или управление медицинскими устройствами через интернет и т. д.), которые требуют более строгого контроля модели Siri. Не исключено, что запуск будет снова отложен весной следующего года.

С точки зрения продукта, хотя этот полностью голосовой метод управления может быть впервые реализован на iPhone, в будущем он, несомненно, найдет применение и в других сценариях, выходящих за рамки смартфонов.

Вместо этого Apple Watch, HomePod и даже, по слухам, центральный экран управления умным домом и настольный робот, а также устройства дополненной реальности, такие как Vision Pro, станут основными бенефициарами чистого голосового взаимодействия Siri.

Другими словами, это «комбинированное сочетание» искусственного интеллекта Siri и усовершенствованных намерений приложений представляет собой новую интерактивную систему, которая приносит пользу как пользователям с ограниченными возможностями, так и новым формам продуктов, что очень соответствует нашему предыдущему представлению о мощной способности Apple объединять программное обеспечение и оборудование.

Теперь Apple осталось только выполнить поставленную задачу в срок.

#Приглашаем вас следить за официальным публичным аккаунтом WeChat проекта iFaner: iFaner (WeChat ID: ifanr), где в ближайшее время вам будет представлен еще более интересный контент.

iFanr | Исходная ссылка · Просмотреть комментарии · Sina Weibo