Технология дополненной реальности нового поколения превращает любую поверхность в сенсорный экран без использования какого-либо специального оборудования.

Печатать на виртуальной клавиатуре, парящей в воздухе, звучит круто, пока у вас не устанут руки. Такова реальность многих современных гарнитур дополненной и смешанной реальности. Вам приходится либо возиться с ручными контроллерами, либо слишком долго держать руки поднятыми, что приводит к усталости.

Исследователи из Университета Тохоку считают, что нашли более эффективный способ. Команда разработала систему, которая превращает любую обычную плоскую поверхность в сенсорную область ввода для гарнитур дополненной и смешанной реальности . Никаких дополнительных датчиков. Никаких специальных маркеров. Ничего не нужно настраивать.

Как это работает?

Когда вы прижимаете кончик пальца к твердой поверхности, кожа под ним на мгновение белеет. Это явление известно как эффект побледнения, и исследователи разработали метод его обнаружения с помощью камер гарнитуры.

Исследователи обучили модель искусственного интеллекта обнаруживать это изменение цвета в реальном времени. Когда камера распознает эффект обесцвечивания, она регистрирует сенсорный ввод, который сопоставляется с тем, что отображается на поверхности в среде дополненной реальности.

«Это исследование означает, что обычные поверхности вокруг нас — стены, столы или перегородки — могут использоваться в качестве зоны сенсорного ввода», — сказал Гуанхань Чжао, руководитель исследования. «Более того, этот метод не требует специальных датчиков, маркеров или дополнительных устройств. Им может легко пользоваться любой человек».

Хорошо ли это работает?

В ходе исследования было установлено, что система надежно распознает касания на нескольких распространенных поверхностях, а участники с высокой точностью выполняют задачи взаимодействия.

«Нашей главной целью было разработать технологию, позволяющую вводить данные с помощью сенсорного экрана на обычных физических поверхностях для дополненной и смешанной реальности без необходимости использования специального оборудования», — сказал Гуанхань. И держать пальцы на поверхности гораздо удобнее, чем поднимать руки вверх.

Результаты исследования были представлены на 33-й конференции IEEE по виртуальной реальности и 3D-пользовательским интерфейсам в Южной Корее на прошлой неделе. Статья также одобрена для публикации в цифровой библиотеке IEEE Computer Society.