Это прозрачное «умное» кольцо переводит язык жестов и работает практически как по волшебству.

Для людей с нарушениями слуха язык жестов — это не просто средство общения; это их основной язык. Проблема в том, что язык жестов не преподают людям с нормальным слухом, что создает труднопреодолимый барьер. Теперь же группа исследователей из Южной Кореи, возможно, нашла удивительно элегантное решение этой давней проблемы.

Согласно новому исследованию, опубликованному в журнале Science Advances , система под названием WRSLT (беспроводной кольцевой переводчик жестового языка) может распознавать и переводить слова как американского, так и международного жестового языка с точностью около 88%. И да, она работает в режиме реального времени.

Как семь колец позволяют перевести целый язык?

Каждое «умное» кольцо содержит трехосевой акселерометр, способный распознавать движения пальцев. Когда человек надевает кольца и начинает подписывать документы, датчики отслеживают ориентацию пальцев и движение руки. Все эти данные передаются по беспроводной связи через Bluetooth на смартфон или компьютер, где искусственный интеллект интерпретирует движения и преобразует их в письменный текст.

Главное преимущество перед существующими решениями — это свобода движений. Современные инструменты перевода языка жестов используют громоздкие перчатки или проводные сенсорные системы, которые ограничивают естественные движения рук и требуют перенастройки для каждого пользователя. У WRSLT таких проблем нет.

Действительно ли это может подойти всем?

Результаты тестов весьма позитивны, и исследователи считают, что их система может работать для всех. Они обучили систему на одной группе пользователей, а затем протестировали её на совершенно другой группе. Система правильно распознала слова на языке жестов ISL с точностью 88,5% и слова на языке жестов ASL с точностью 88,3%, что впечатляет, учитывая естественные различия в том, как разные люди используют жестовый язык.

В настоящий момент система способна распознавать 100 слов на каждом языке, что является хорошим началом. Команда планирует еще больше миниатюризировать кольца и расширить словарный запас ИИ, чтобы охватить больше слов и языков жестов.

Пока еще рано делать выводы, но это одно из наиболее многообещающих решений для перевода языка жестов, которые мы видели за последнее время.