Первая публичная демонстрация Apple iPad, «управляемого силой мысли»: человек с параличом снова принимает мир одной мыслью

Он лежал в постели, едва в силах пошевелиться, его конечности совершенно не слушались. Казалось, он не мог даже просто коснуться экрана. Но его взгляд задержался на главном экране iPad — через несколько секунд экран загорелся, был выбран значок, и он успешно «открыл» устройство одним усилием мысли.

Марк Джексон — один из первых в мире людей с БАС, способных управлять устройствами Apple силой мысли. Это стало возможным благодаря «стентроду» — крошечному металлическому стенту, имплантированному в кровеносные сосуды мозга для улавливания нейронных сигналов, разработанному компанией Synchron, занимающейся разработкой интерфейсов «мозг-компьютер».

В дополнение к этому Apple представила новый набор протоколов взаимодействия человека с компьютером: BCI HID (Brain-Computer Interface Human-Computer Interaction Standard). Это первый случай, когда Apple включила «сигналы мозга» в собственный метод ввода своей операционной системы, наряду с сенсорным экраном, клавиатурой и голосом.

Короче говоря, мозг становится следующим «методом ввода» на устройствах Apple.

Система Brainwave + Apple: сильнейшее «киберсоюз»

Стентрод, используемый Джексоном, представляет собой тонкое, как волос, устройство, напоминающее стент, для взаимодействия мозга и компьютера. Он имплантируется в вену рядом с двигательной корой головного мозга. Электродная решетка устройства регистрирует нейронные сигналы, а затем с помощью алгоритмов определяет намерения пользователя и, в конечном итоге, управляет цифровыми устройствами.

Что ещё важнее, это первое устройство, добившееся нативной интеграции с экосистемой Apple. Ключ к этой интеграции кроется в новом протоколе, запущенном Apple в мае этого года — BCI HID (Brain-Computer Interface Human Interface Device), который представляет собой стандарт взаимодействия человека с компьютером для интерфейса «мозг-компьютер».

Он действует как «универсальный язык» взаимодействия между мозгом и iOS, iPadOS и VisionOS, официально объявляя мозговые импульсы полноправным способом ввода наряду с сенсорным экраном, клавиатурой и голосом. Благодаря интеграции с функцией специальных возможностей Switch Control в iOS пользователи Stentrode теперь могут использовать мозговые импульсы вместо кнопок, нажатий или свайпов.

Марк Джексон был одним из первых пациентов, получивших Стентрод. Он страдает БАС (боковым амиотрофическим склерозом) и не может стоять или выходить из дома в пригороде Питтсбурга, но эта технология подарила ему новую свободу передвижения.

В августе 2023 года ему сделали операцию. После имплантации стентрода Джексон начал тренироваться, чтобы управлять Vision Pro силой мысли. Он «видел» себя стоящим на краю альпийской скалы и «чувствовал», как дрожат его ноги, хотя его тело уже не могло стоять.

Позже он постепенно освоил более сложные операции: запуск приложений, отправку сообщений и открытие электронных писем посредством управления мозгом. «В оставшееся время я надеюсь способствовать развитию технологий и улучшить понимание людьми», — сказал Джексон.

Его слова также раскрывают основную миссию команды Synchron — сделать так, чтобы эта технология приносила пользу большему количеству людей.

Питер, старший директор по нейронауке и алгоритмам в Synchron, сказал: «Наша цель — сделать интерфейсы «мозг-компьютер» такими же популярными, как клавиатуры и мыши». Он пояснил, что сложность BCI заключается не только в самой технологии, но и в отсутствии стандартизированного «языка взаимодействия».

Поэтому они совместно с Apple разработали протокол BCI HID на основе стандарта HID. «Это как универсальный язык для компьютеров и клавиатур. Теперь мы дали мозгу собственный протокол ввода».

BCI HID не только передаёт нейронное намерение пользователя, но и обеспечивает визуальную обратную связь. Когда Марк намеревается нажать кнопку, на экране появляется цветной прямоугольник. Чем темнее цвет, тем сильнее нейронный сигнал и тем больше вероятность, что система полагает, что Марк намеревался нажать именно эту кнопку. Затем Марк может «заполнить» этот цветовой прямоугольник силой мысли, достигая точного выбора.

«Такая визуальная обратная связь критически важна для пользователей имплантируемых нейрокомпьютерных интерфейсов. Они могут в режиме реального времени видеть, достаточно ли сильны их нейронные сигналы, что помогает им эффективнее концентрироваться», — пояснил Курт Хаггстром, директор по развитию бизнеса Synchron. Вся система подключается по Bluetooth, не требуя дополнительного оборудования или ухода. Марк просто «думает», и устройство активируется.

В отличие от традиционных вспомогательных устройств, BCI HID представляет собой замкнутую интерактивную систему, которая не только распознает намерения пользователя, но и предоставляет контекстную информацию в режиме реального времени, повышая точность декодирования и скорость реагирования.

Он также может напрямую связывать мыслительные действия с системными ярлыками: представьте, что вы касаетесь экрана пальцем, чтобы вернуться на главный экран, представьте, что вы сжимаете кулак, чтобы открыть сообщение, представьте, что вы взмахнули рукой, чтобы начать видеозвонок. Это не только увеличивает свободу управления, но и делает взаимодействие с системой по-настоящему «нулевым вмешательством».

Кроме того, BCI HID обеспечивает высокую степень конфиденциальности — сигналы мозга уникальны для пользователя и не могут быть изменены или прочитаны другими устройствами. Synchron будет продвигать BCI HID как кроссплатформенный и кросс-вендорный стандарт нейронного взаимодействия, позволяющий всем BCI-устройствам беспрепятственно подключаться к цифровому миру.

Участие Apple было воспринято как последний гвоздь в крышку гроба. «Способность Apple распознавать потребности пользователей и реагировать на них демонстрирует их стремление к обеспечению безупречного пользовательского опыта», — сказал Курт Хаггстром.

Интерфейсы «мозг-компьютер», не требующие краниотомии, могут превзойти Маска

Когда речь заходит об интерфейсах «мозг-компьютер», большинство людей вспоминают Neuralink Маска. Предыдущие прямые трансляции Neuralink и твиты о X вызвали широкий интерес к интерфейсам «мозг-компьютер».

Напротив, Synchro относительно неизвестен за пределами отрасли.

Однако интересы двух компаний пересекались уже давно. Однажды, три года назад, когда Synchron впервые в США имплантировала пациенту устройство нейрокомпьютерного интерфейса, Маск позвонил основателю и генеральному директору Synchro Тому Оксли.

Оксли позже вспоминал, что Маск считал, что решение для интерфейса «мозг-компьютер» должно заключаться в удалении большей части черепа и замене его встроенной титановой оболочкой. Однако он твёрдо убеждён, что этой цели можно достичь, не прикасаясь к черепу.

Маск также предложил Oxley помощь, если у компании закончатся средства для достижения её целей, особенно в отношении нейрокомпьютерных интерфейсов. Однако, возможно, из-за разногласий в философских концепциях, это партнёрство в конечном итоге ни к чему не привело.

На самом деле, исследователи уже два десятилетия тестируют чипы, вживляемые в мозг людям, однако почти все эти устройства требуют разреза черепа и введения в мозг электродов со свисающими с головы проводами.

Проще говоря, в макушке головы делается отверстие, через которое вставляется устройство размером примерно с Apple Watch. Не говоря уже о рисках операции, даже если процедура пройдет успешно, человеческий мозг может отторгнуть устройство, что является одной из технических сложностей инвазивных интерфейсов «мозг-компьютер».

У препарата Стентроде такой болевой точки нет.

Процедура аналогична имплантации сердечного стента. Устройство имплантируется через яремную вену в двигательную кору головного мозга (область, отвечающую за двигательные намерения человека). Мозг отторгает стентрод, проталкивая его в мозговую ткань, и в течение нескольких недель стентрод закрепляется в тканях и фиксируется.

Все мозговые сигналы, регистрируемые стентродом, передаются по проводу, который проходит по вене и подключается к приемнику размером с iPod Shuffle, вшитому в грудь пациента.

Срок службы батареи приемника, как и батареи кардиостимулятора, составляет до 10 лет.

Приёмник передаёт инструкции по Bluetooth на компьютер или iPad пациента, позволяя ему получать доступ к текстовым сообщениям и управлять другими приложениями. После установки Stentrode пациенты выполняют калибровочные упражнения, под руководством специалистов Synchron мысленно двигая различными частями тела.

Различия в методах и концепциях имплантации естественным образом приводят к различиям в технических характеристиках.

Например, устройство N1 от Neuralink имеет более 1000 электродов, собирающих больше нейронных данных, тогда как у Stentrode их всего 16. Электроды N1 имплантируются непосредственно в мозговую ткань, собирая более подробные данные, которые преобразуются в более чувствительные щелчки мыши и ввод с клавиатуры.

В предыдущих отчетах пользователи Neuralink также могли перемещать курсор силой мысли, причем скорость была даже выше, чем у некоторых обычных пользователей при работе с мышью.

Несмотря на это, почему Apple в конечном итоге решила тесно сотрудничать с Synchron, а не с Neuralink Маска? За этим стоит ещё один вопрос, который Apple предлагает для интерфейсов «мозг-компьютер»: безопасность.

Как упоминалось выше, Neuralink N1 — это инвазивный имплант высокой плотности. Инвазивные операции сопряжены с повышенным риском и могут спровоцировать воспаление или тканевую реакцию. Synchron Stentrode, напротив, использует неинвазивный имплант низкой плотности, что обеспечивает меньшие хирургические риски и более короткое время восстановления, что делает его особенно подходящим для пациентов, которым противопоказана краниотомия.

Конечно, стоимость Stentrode заключается в том, что, поскольку электроды не контактируют напрямую с нейронами, качество сигнала и разрешение низкие, пропускная способность данных невелика, и он подходит только для декодирования нейронных сигналов базового уровня.

Мысль, твит

Технические параметры — лишь часть общей картины. Что действительно привлекает внимание в Synchron, так это то, что он уже сделал.

В марте 2024 года пациент Neuralink опубликовал твит на платформе X. Однако тремя годами ранее 62-летний пациент с БАС Филипп О'Киф уже набрал первое предложение на платформе X, используя интерфейс «мозг-компьютер» Synchron:

Привет, мир!

Обратите внимание, что это первый твит в истории человечества, «отправленный» посредством мозговых волн. Не было ни клавиатуры, ни голоса, ни даже отслеживания взгляда; всё было «продумано». Хотя твит короткий, он может быть для него ценнее романа на 100 000 слов.

Конечно, история Synchron на этом не заканчивается.

Когда весь мир был захвачен ChatGPT, многие думали о том, как использовать его для написания статей, кодов и любовных писем, в то время как Synchron думал о том, как использовать ИИ для улучшения технологии интерфейса мозг-компьютер.

64-летний Марк — один из первых пользователей, ощутивших интеграцию искусственного интеллекта с мозгом и компьютером. Несмотря на потерю большей части физических и вербальных способностей из-за бокового амиотрофического склероза, он всё ещё может использовать свои мозговые волны, чтобы играть в Apple Solitaire, смотреть Apple TV и даже смотреть на звёзды на своём Vision Pro.

В частности, Synchron позволяет крупным языковым моделям, таким как ChatGPT, фиксировать соответствующий контекст в форме текста, аудио и изображения, предсказывать, что пользователь захочет сказать, и предоставлять ему меню действий на выбор.

Более того, после добавления GPT-4o, интерфейс «мозг-компьютер» Synchron привнес четыре существенных изменения:

1. Вспомогательная коммуникация: GPT генерирует предопределенные варианты ответов, избавляя пользователей от необходимости вводить их дословно.
2. Интеллектуальное прогнозирование: GPT объединяет контекст для прогнозирования возможных потребностей, значительно сокращая количество необходимых шагов.
3. Мультимодальный ввод: GPT-4o принимает текстовый, аудио- и видеоввод, предоставляя информацию несколькими способами.
4. Адаптивное обучение: система постепенно изучает предпочтения пользователя для достижения эффективной персонализации.

Что ещё важнее, этот мультимодальный режим ввода информации, реализуемый с помощью интерфейса «ИИ + мозг-компьютер», имеет некоторое сходство с поведенческими паттернами самого мозга. Команда Synchron пояснила:

Причина, по которой мы это делаем, заключается в том, что мультимодальный 4o отличается тем, что использует входные данные из окружающей среды, которая действует как продолжение мозга пользователя. Когда пользователь начинает взаимодействовать с подсказкой, он получает поток информации в режиме реального времени обо всем, что происходит в окружающей среде.

В интервью СМИ Марк рассказал, что больше всего его впечатлило приложение в Vision Pro для наблюдения за созвездиями на ночном небе:

Это так круто, что оно действительно оживает. Использование этой технологии дополненной реальности невероятно эффективно, и я думаю, что она будет столь же эффективна для людей в моей ситуации или для тех, кто потерял способность жить обычной жизнью. Она может перенести вас в места, которые вы никогда не думали увидеть или посетить снова, предоставляя мне ещё один способ ощутить независимость.

Это новый опыт Марка, а также предел мечтаний многих людей об интерфейсе мозг-компьютер.

И Synchron действительно это сделал.

На конференции NVIDIA GTC 2025 года компания Synchron представила первую в мире когнитивную модель ИИ на основе мозга Chiral. , и принесли весьма шокирующее демонстрационное видео.

У пациента с БАС по имени Родни полностью отсутствует рука, но благодаря интерфейсу «мозг-компьютер» и Vision Pro его мозг становится пультом дистанционного управления, что позволяет ему управлять своим умным домом силой мысли: регулировать свет, воспроизводить музыку, управлять комнатой и включать бытовую технику.

В то время Оксли выразил уверенность:

«Мы используем технологию генеративного предварительного обучения для создания настоящей «модели мозга». Обучение непосредственно на основе нейронных данных, абстрагируясь от источника человеческого познания, позволяет нам создавать функции, которые действительно улучшают жизнь пользователей. Всё это основано на нашей способности масштабного доступа к нейронным данным, подобно тому, как мы делаем технологию BCI такой же доступной, как имплантация стентов.

Так что, будь то интерфейс GPT-4o или EEG, их конечная цель на самом деле одна и та же: найти новый способ общения с компьютерами для всех, особенно для тех, кого игнорируют технологии.

Таким пользователям, как Марк, наконец-то больше не нужно полагаться на других, и они снова могут говорить то, что хотят, видеть те звезды, которые хотят видеть, и даже играть в несколько карточных игр.

Если это не высшая степень романтики человеческих технологий, то что это?

Гуманистическая забота всегда является конечной основой науки и техники.

Но для кого в конечном итоге предназначены эти разработки?

Возможно, нам стоит внимательнее рассмотреть, что эта технология означает для некоторых людей.

Генеральный директор Synchron Том Оксли заявил, что в настоящее время компаниям, разрабатывающим интерфейсы «мозг-компьютер», приходится «обманывать» компьютер, заставляя его думать, что сигнал с имплантированного устройства исходит от мыши. Но если появятся стандарты, разработанные специально для таких устройств, потенциал технологии будет раскрыт ещё больше.

Теперь, по сообщениям зарубежных СМИ, компания Apple использует аналогичный подход для содействия интеграции устройств интерфейса «мозг-компьютер» с экосистемой Apple и планирует выпустить этот новый стандартный программный интерфейс позднее в этом году, чтобы сторонние разработчики могли использовать его для содействия дальнейшему применению технологии управления мозгом.

С 2019 года компания Synchron имплантировала Стентрод 10 пациентам.

По оценкам Morgan Stanley, около 150 000 человек в США страдают тяжёлой дисфункцией верхних конечностей и являются потенциальными первыми пользователями устройств интерфейса «мозг-компьютер». По данным за 2021 год, около 15,4 миллиона человек во всём мире страдают от травм спинного мозга, которые являются одной из основных причин паралича.

Когда вы жалуетесь, что ваш мобильный телефон неудобен в использовании, некоторые люди даже считают роскошью «пользоваться мобильным телефоном».

Для пациентов с параличом или БАС управление устройством никогда не было чем-то само собой разумеющимся. Они не могут даже нажать кнопки, прокрутить экран или даже поднять руку, чтобы отдать простую команду.

Определение понятия «операция» в человеческом обществе всегда было слишком узким.

Раньше мы думали, что «операция» означает щелчки, слайды, голос и жесты, и мы искали «более естественные» способы взаимодействия, но это определение никогда не предусматривало для них места с самого начала.

Появление интерфейсов «мозг-компьютер» изменило ситуацию. Когда мысли становятся способом действия, это означает, что людям больше не нужно адаптироваться к устройству, а устройство понимает их. Даже если человек не может двигаться или говорить, имея лишь ясный, мыслящий мозг, он всё равно может общаться с миром. Истинная доступность заключается в том, чтобы сделать мир адаптируемым к любому образу жизни.

#Приглашаем вас следить за официальным публичным аккаунтом WeChat проекта iFaner: iFaner (WeChat ID: ifanr), где в ближайшее время вам будет представлен еще более интересный контент.

iFanr | Исходная ссылка · Просмотреть комментарии · Sina Weibo