Эксклюзивное интервью с командой AirPods: как крошечная гарнитура научилась отслеживать 50 видов спорта?
Наушники с функцией мониторинга сердечного ритма — не первое изобретение Apple.
За последнее десятилетие в этом направлении пробовали себя Jabra, Sennheiser и Beats, но ни одно из этих изобретений не впечатлило Ника Харриса-Фрая , опытного бегуна и фитнес-редактора Tom's Guide. Он перепробовал наушники для измерения пульса практически всех брендов, но его вывод остался прежним: никакие наушники не сравнятся с точностью нагрудного ремня.
Нагрудный ремень — это немного неудобное устройство, которое располагается на груди, — остается самым надежным пульсометром, доступным потребителям.
До появления AirPods Pro 3.
Ник Харрис-Фрай использовал для сравнения нагрудный ремень Garmin HRM600 (точность на уровне электрического сигнала) и обнаружил, что кривая сердечного ритма AirPods Pro 3 практически совпадала с кривой нагрудного ремня, особенно в таких сценариях, как равномерный бег и интервальный бег, которые требуют чрезвычайно высокой точности; две кривые совпадают, как зеркальные отражения.
Но что еще более удивительно, так это то, что устройство может измерять частоту сердечных сокращений, оценивать темп и определять более 50 видов упражнений в режиме реального времени, одновременно проигрывая музыку.
Как AirPods Pro 3 достигают этого?
Чтобы найти ответ, iFanr взял интервью у Рона Хуанга, вице-президента Apple по восприятию и связям, и Стива Уэйдо, директора по восприятию здоровья . В этой беседе мы попытались понять не только, как работает новая технология, но и что Apple думает об идеальном интерфейсе «тела».
Ваш слуховой проход может понимать вас лучше, чем ваше запястье
С физиологической точки зрения слуховой проход представляет собой естественную сенсорную «золотую зону». Он расположен рядом с поверхностной височной артерией, имеет стабильный кровоток и окружен наружным ухом, что делает его практически защищённым от внешнего светового воздействия.
Эти характеристики делают ушной канал более идеальной точкой сбора физиологического сигнала, чем запястье.
В статье, опубликованной в США под названием «Принципы анализа носимых фотоплетизмографических устройств и их применение в физиологическом мониторинге», четко говорится:
Сигнал фотоплетизмографии (ФПГ) наружного слухового прохода превосходит сигнал с запястья и кончиков пальцев с точки зрения распределения сосудов, помех движению и подавления внешнего света.
Запястье, напротив, представляет собой поле измерения, полное переменных. Частые движения мышц, резкие взмахи рук, пот, волосы и даже цвет кожи могут помешать распространению световых сигналов.
Стив Уэйдо, директор Apple по восприятию здоровья, неоднократно проверял это в ходе экспериментов: в таких сценариях, как силовые тренировки и гребля, где требуется захватное оборудование, устройствам на запястье часто трудно стабильно измерять частоту сердечных сокращений, в то время как сигналы кровотока, измеренные с помощью наушников, более когерентны.
В темном ушном канале AirPods Pro 3 использует решение инфракрасного PPG (IR PPG), которое отличается от зеленого светодиодного источника света, используемого в большинстве устройств на рынке.
Стив Уэйдо объяснил, что инфракрасный свет потребляет меньше энергии и позволяет избежать неловкого эффекта «зеленого света, исходящего из ушей».
Более важным фактором является то, что инфракрасные волны обладают большей глубиной и проникающей способностью, что позволяет им проникать глубоко в густо васкуляризированные ткани слухового прохода и улавливать более чистые и стабильные импульсные сигналы.
Датчик AirPods Pro 3 посылает инфракрасный свет с частотой примерно 250–256 раз в секунду и объединяет его с данными IMU (акселерометра и гироскопа), чтобы устранить артефакты движения, такие как ритмичные вибрации, вызванные ударом ноги о землю во время бега, или изменения ускорения, вызванные поворотом головы.
Этот алгоритм, объединяющий оптические сигналы с динамическими данными, является ключом к точности измерения сердечного ритма AirPods Pro 3 во время тренировки. Это не результат работы одного датчика, а результат координации мультимодальных данных.
Рон Хуан, вице-президент Apple по восприятию и подключению, добавил:
Когда пользователь одновременно носит Apple Watch и AirPods Pro 3, система прокручивает и сравнивает сигналы за последние 5 минут и автоматически выбирает более надежный источник.
Например, во время силовых тренировок руки совершают больше хватательных движений, что мешает получению данных с запястного устройства. В этом случае система отдаёт приоритет сигналу сердечного ритма из ушного канала.
С этой точки зрения Apple Watch и AirPods Pro не призваны заменять друг друга, а дополнять друг друга в различных сценариях, совместно создавая более полное и реалистичное цифровое зеркало одного и того же тела.
Ухудшение результатов десяти лет работы алгоритмов
Команда Уэйдо занимается разработкой алгоритмов с первых дней существования Apple Watch. Нейронная сеть изначально была разработана для запястья и фокусировалась на оптических свойствах кровеносных сосудов запястья, характере взмахов рук и характере рассеивания света кожной тканью.
Но, что удивительно, смена платформы не свела на нет все десятилетние наработки — они легли в основу разработки датчика сердечного ритма AirPods.
Поскольку пространство в наушниках крайне ограничено, AirPods Pro 3 использует «миниатюрную версию» алгоритма измерения сердечного ритма Apple Watch.
Они использовали обширные данные, собранные с прототипов наушников, для дальнейшей настройки модели, что позволило ей точно отслеживать частоту сердечных сокращений в экстремальных условиях. Тестирование включало различные оттенки кожи, формы ушей, температуру и влажность, а также интенсивность упражнений, сохраняя стабильность даже в холодном климате.
«Подгонка» — ключевое слово, неоднократно упоминавшееся в интервью. Оно не только связано с акустическим опытом — эффектом активного шумоподавления и ощущением погружения в пространственный звук, но и напрямую определяет точность физиологических данных.
Если наушники сидят правильно, показания частоты сердечных сокращений в обоих ушах очень точны.
сказал Стив Уэйдо.
Это также скрытая причина, по которой Apple переработала конструкцию наушников, оптимизировала форму силиконовых амбушюр и обновила алгоритм адаптивной настройки AirPods Pro 3 — эти улучшения, которые, казалось бы, касаются звука, также открывают путь для физиологического мониторинга.
Как большая языковая модель: как заставить наушники понимать 50 типов движений?
Точный мониторинг сердечного ритма — это только начало.
Цель Apple — предоставить AirPods Prio спортивные возможности, сопоставимые с возможностями Apple Watch: они будут не только определять частоту вашего пульса, но и понимать, какие упражнения вы делаете, сколько калорий вы сожгли и как далеко вы пробежали.
Это означает, что Apple придется выжать «все возможные сенсоры».
AirPods Pro 3 по сути представляют собой «мини-экосистему» с точки зрения сенсорной системы. В наушниках используются акселерометр, гироскоп и датчик сердечного ритма, а в iPhone — GPS и барометр. Потоки данных, генерируемые этими датчиками, необходимо интегрировать, анализировать и преобразовывать в значимые показатели движения в режиме реального времени.
Рон Хуан отметил, что Apple Watch накопили богатый опыт работы с сигналами движения, такими как взмахи рук во время бега и паттерны движений во время тренировок на гребном тренажёре. Перенос этой функции на AirPods требует «перевода» исходных наблюдений за движением запястья в наблюдения за движением головы.
Для этого команда заимствовала идеи обучения из Большой языковой модели (LLM), изучая общую «грамматику действий» с помощью больших объемов данных, а не жестко кодируя правила для каждого движения.
Они обучили новую модель Motion Foundation на основе примерно 50 миллионов часов данных о реальных движениях из исследования Apple Heart and Movement.
Это было открытое исследование, запущенное Apple несколько лет назад для общественности, участники которого добровольно предоставляли данные о своих тренировках с Apple Watch и iPhone.
По сути, это регрессионная модель, которая понимает, какую деятельность вы выполняете, работаете ли вы с сопротивлением, задействуете ли вы большие или малые группы мышц, плоскость движения и положение вашего тела.
Чтобы убедиться, что алгоритм может охватывать различные типы упражнений, такие как пилатес, интервальные тренировки высокой интенсивности и эллиптические тренажеры, Apple пригласила участников с разным уровнем физической подготовки и навыков для тестирования и калибровки.
В лабораторных условиях: Они использовали метод, который считается «золотым стандартом» — ношение кислородной маски и использование метаболической тележки для наблюдения за фактической скоростью обмена кислорода с целью проверки точности модели потребления калорий.
Для отслеживания количества шагов и пройденного расстояния команда разработала новую нейронную сеть для отслеживания движений пешеходов. Они пригласили сотни людей в биомеханическую лабораторию, где использовали калиброванные беговые дорожки для регистрации расстояния, датчики давления, размещённые на подошвах обуви, для отслеживания момента шага и отталкивания, а также камеры для съёмки всего пути.
В конечном итоге им удалось запустить отслеживание «более 50 видов спорта одновременно» на AirPods, на что в эпоху Apple Watch ушли годы.
От акустики к телу: конечная цель технологий
Как устройство, которое всегда находится рядом с телом, AirPods, естественно, находятся в деликатном положении: они обращены к внешнему миру, усиливая звук, фильтруя шум и реконструируя пространство; они также обращены к внутреннему «я», считывая дыхание и отслеживая пульс.
Когда акустическое устройство начинает распознавать частоту сердечных сокращений, ритм шагов и язык тела, оно перестает быть просто устройством вывода, а становится двусторонним интерфейсом восприятия.
От «слушания мира» к «слушанию тела» этот путь продолжает последовательную философию продуктов Apple — технологии в конечном итоге должны вернуться к человеческому восприятию.
Когда-то наушники были просто источником музыки и плеером для контента. Теперь они становятся порталом к телу и сенсором самосознания. Когда технологии научатся слышать тело, они по-настоящему научатся слышать людей.
#Приглашаем вас следить за официальным публичным аккаунтом WeChat проекта iFaner: iFaner (WeChat ID: ifanr), где в ближайшее время вам будет представлен еще более интересный контент.
iFanr | Исходная ссылка · Просмотреть комментарии · Sina Weibo