Первым роботом Apple с искусственным интеллектом может стать анимированный HomeView

На прошлой неделе Apple представила более десятка новых продуктов для умного дома, самым привлекательным из которых стал HomeView с центральным экраном, цена которого начинается от 299 долларов.

В тот момент, когда все еще пытались понять, на что способен этот экран, репортер Bloomberg Марк Гурман преподнес еще одну сенсационную новость:
Компания Apple втайне разрабатывает еще более радикальную модель высокого класса под кодовым названием J595.
Устройство оснащено экраном диагональю около 9 дюймов и базой, соединенной с электрическим роботизированным манипулятором, который может определять говорящего с помощью распознавания голоса и автоматически поворачивать экран в его сторону. Ожидается, что оно поступит в продажу уже в 2027 или 2028 году.
Вчера в информационном бюллетене Power On Гурман пожаловался на то, что в официальном рекламном видеоролике Apple для HomeView члены семьи по очереди толпились вокруг экрана: одни проверяли календарь, другие отправляли сообщения, но первым делом, оказавшись там, все протягивали руки и силой регулировали угол наклона экрана.

Рекламный ролик, призванный продемонстрировать бесперебойную работу устройства всей семьей по очереди, непреднамеренно выявил ограничения стационарного экрана. Очевидно, сама Apple осознала этот недостаток — простого распознавания вашей личности недостаточно. Следующий шаг — заставить устройство «находить» вас самостоятельно.
Этот экран живой.
Представьте себе такую ситуацию: вы на кухне, моете овощи и готовите ингредиенты, и между делом спрашиваете у расположенного в нескольких метрах от вас устройства HomeView, пошагово приготовление блюда.

К сожалению, HomeView на другой стороне экрана отображает лишь холодный, не реагирующий профиль. Вы не только не видите содержимое на экране, но и не уверены, слышит ли вас устройство вообще.
Как рассказал Гурман, роботизированная рука HomeView нацелена именно на эту проблему.
Нынешняя модель HomeView имеет полусферическое основание с соединительным валом из нержавеющей стали — дизайн, отдающий дань уважения классическому настольному светильнику iMac G4 2002 года.
Больше всего Стив Джобс тогда гордился той хромированной механической рукой, которую можно было легко перемещать одной рукой, а экран можно было подвешивать под любым углом, как подсолнух.

Но будь то iMac G4 прошлых лет или HomeView сегодня, в конечном итоге все сводится к тому, что вас тянет рука: куда бы вы ни пошли, вам нужно протянуть руку и потянуть в этом направлении.
Ключевое изменение в роботизированной руке HomeView заключается в том, что ее шея наконец-то может двигаться: в полусферическое основание встроен бесщеточный двигатель, обеспечивающий горизонтальное вращение на 360 градусов; серводвигатели расположены внутри кронштейна для обеспечения вертикального наклона экрана.

Благодаря массиву микрофонов и распознаванию голосовых отпечатков, двигатель автоматически повернет экран лицом к говорящему, как только услышит, что кто-то его зовет.
Компания Apple потратила десять лет, пытаясь узнать вас поближе.
Но научиться поворачивать голову — это лишь самый поверхностный шаг. Если кто-то ходит по комнате или телевизор показывает какую-нибудь фразу, оно будет поворачиваться случайным образом. Каким бы умным ни было механическое устройство, оно станет источником беспокойства в доме.
Настоящая сила этой версии роботизированной руки заключается в сенсорных технологиях, которые Apple накопила за последнее десятилетие в различных аппаратных продуктах.
Все началось с iPhone X, дебютировавшего осенью 2017 года. Face ID полностью изменил взаимодействие людей с телефонами. Раньше людям приходилось тянуться, чтобы найти кнопки; начиная с iPhone X, все стало проще: нужно было поднять телефон, он «распознал» вас, и разблокировка происходила незаметно.

Но ситуация меняется, когда вы переносите эту возможность в гостиную. Мобильный телефон всегда остается личным предметом, который вы держите в руке, и он обращен только к вам с утра до вечера; а экран в гостиной должен быть обращен ко всей семье и даже к гостям.
Вот почему ему нужно научиться «читать между строк» — он должен быть очень осторожен в отношении того, кто приходит и что они видят, а также в отношении соблюдения конфиденциальности личных сообщений и расписаний.

В последние несколько лет Apple постепенно собирала воедино головоломку, позволяющую машинам понимать «пространство и людей» на различных устройствах: сначала в гостиной компания научила HomePod распознавать людей по голосу, различая, спрашивает ли взрослый о расписании или ребенок заказывает музыку;
Далее, технология UWB используется для того, чтобы AirTag и мобильные телефоны могли определять ориентацию и расстояние друг от друга в комнате; затем есть камера Center Stage на iPad, которая может автоматически перемещать камеру и центрировать изображение при видеозвонках.
Эти функции разбросаны по разным продуктам, но все они обучают устройства одному и тому же: определять, где находятся люди в помещении и что они делают.

С выходом HomeView компания Apple официально внедрила эту технологию распознавания в гостиную. Фронтальная камера может распознавать до шести членов семьи и переключаться на их домашний экран, когда кто-то проходит мимо.
Однако простого распознавания лица недостаточно. Для защиты конфиденциальности Apple также требует, чтобы сопряженный с вами iPhone находился поблизости и был разблокирован.

Стремление Apple "познакомиться с вами" на самом деле прокладывает путь к более масштабной цели: придать Siri по-настоящему личный и семейный контекст.
В своих кроссплатформенных экосистемах Apple создала полноценный персональный профиль для персональных устройств. На iPhone хранятся списки дел, на компьютерах Mac управляется расписание, а на Apple Watch отслеживаются действия пользователя — и все это легко распознается искусственным интеллектом Siri.
Однако экосистема Apple уже давно отсутствует в вашей гостиной. Хотя HomePod и Apple TV могут предоставлять некоторые персонализированные услуги, они по-прежнему не знают, кто сидит перед ними, и могут давать лишь простые ответы, такие как проверка погоды и установка будильников, или рекомендация различного контента разным членам семьи на главном экране телевизора.

HomeView заполняет этот пробел. Как только устройство может объединить людей и экосистему в одном пространстве, поток данных, который изначально был разрознен между личными устройствами, находит точку опоры в общей домашней среде.
Сначала нужно распознать людей в пространстве, понять их намерения, учитывая экологический контекст, а затем реализовать результат посредством физических действий — в этом, по сути, заключается логика воплощенного интеллекта в домашней обстановке.
Переместить его легко, но понять его сложно.
«Заставить экран вращаться самостоятельно» — это не совсем секрет в индустрии потребительской электроники.
В 2020 году Amazon выпустила Echo Show 10 с вращающимся экраном. В основание был встроен бесщеточный двигатель, позволяющий 10,1-дюймовому экрану вращаться на 350 градусов по горизонтали.

Но подход Amazon в то время был слишком упрощенным и грубым: микрофон определял источник любого шума, а камера поворачивала свое основание, когда видела человека. Чтобы избежать споров о конфиденциальности, система вообще не распознавала лица, только человеческие фигуры.
Изначально разработчики хотели избежать подозрений, чтобы система не распознавала лица, но в реальных гостиных и на кухне недостатки быстро проявились.
Всякий раз, когда кто-то говорит по телевизору или мимо пробегает кошка или собака, экран нервно трясется во все стороны; еще более тревожным является легкое гудение вращающихся шестеренок двигателя поздней ночью.
Многие пользователи Echo Show 10, купившие устройство и некоторое время им пользовавшиеся, в итоге отключили автоматическое вращение экрана в настройках.

Исследования Amazon в то время действительно были новаторскими, но им, по сути, не хватало воплощенного интеллекта: они обладали лишь механическим перемещением, но не имели контекстной осведомленности.
Устройство не знает, кто перед ним, что он делает и нужно ли ему это в данный момент. В деликатном домашнем пространстве устройство, не понимающее намерений другого человека, может легко превратиться из средства проактивного обслуживания в ненужное помеху.
Помимо умения вовремя переместить устройство, существует еще один, более тонкий критерий – уместность самого движения: как следует поворачивать устройство на столе, чтобы никого не обидеть?
На близком расстоянии от полуметра до двух метров, если устройство услышит звук и немедленно резко повернет голову в сторону человека по кратчайшему пути, подобно камере видеонаблюдения, нацелившейся на подозрительную цель, это вызовет у пользователя психологическую бдительность.
В опубликованной ранее в этом году статье Apple о взаимодействии человека с компьютером «ELEGNT» мы можем получить представление об их подходе к решению проблем. Главной темой этой статьи является именно роботизированная рука, закрепленная на столе.

Исследовательская группа провела ряд очень интересных сравнительных экспериментов:
- Одна из причин – «функциональное смещение» в мышлении инженера: двигатель просто вращается с постоянной скоростью по кратчайшему пути, который кажется жестким и резким.
- Другой тип — это «выразительная анимация», которая включает в себя нелинейные движения: роботизированная рука добавляет колебания ускорения и небольшой наклон при повороте, а затем ненадолго останавливается, прежде чем повернуться лицом к говорящему.
Первый вариант создает ощущение давящего наблюдения, тогда как второй гораздо естественнее, например, когда кто-то поворачивает голову, чтобы послушать, что вы говорите.

Но как бы ни были похожи на человеческие движения, в реальных, сложных ситуациях они все равно могут растеряться.
Представьте себе пару, которая готовит еду и болтает, и вдруг их ребенок кричит, что хочет посмотреть мультфильмы. На какой мультфильм должна повернуться роботизированная рука? Когда пользователь идет от плиты к холодильнику за ингредиентами, должен ли экран следовать за ним шаг за шагом или же он должен оставлять ему пространство для движения?
Роботизированная рука с длинной шеей, способная в любой момент развернуться — любое дополнительное движение с её стороны заставит опасаться слежки.
Если вы не можете выбрать подходящий момент или понять, с кем поговорить, в конечном итоге большинство людей, вероятно, просто зайдут в настройки и выключат его, чтобы насладиться тишиной и покоем.
За последнее десятилетие Apple научила свои устройства «распознавать вас» прямо у вас в руке; и, по слухам, этот анимированный HomeView — попытка заставить его «активно вас находить».
Хотя до официального релиза ещё несколько лет, это, пожалуй, самый ожидаемый домашний гаджет Apple за последние годы. В конце концов, кто бы не хотел, чтобы этот настольный робот поворачивал голову в его сторону, когда он непринужденно зовёт Siri во время нарезки овощей или готовки?
Читайте также: