Этот робот научился синхронизировать движения губ с речью, как люди, благодаря просмотру видео на YouTube.

Исследователи из Колумбийского инженерного факультета обучили человекоподобного робота по имени Эмо синхронизировать речь и песни с движениями губ, изучая видеоролики в интернете. Это демонстрирует, как машины теперь могут изучать сложное человеческое поведение, просто наблюдая за ним.

Эмо — это не полностью человекоподобное тело, а высокореалистичное роботизированное лицо, созданное для изучения способов общения людей. Лицо покрыто силиконовой кожей и приводится в движение 26 независимо управляемыми лицевыми моторами, которые двигают губы, челюсть и щеки.

Эти моторы позволяют Эмо формировать детальные формы рта, охватывающие 24 согласных и 16 гласных звуков, что имеет решающее значение для естественной речи и пения. Цель состояла в том, чтобы уменьшить эффект «зловещей долины», когда роботы выглядят почти как люди, но все равно вызывают чувство дискомфорта, потому что движения их лица не соответствуют их голосу.

Как Эмо научилась петь под фонограмму, как настоящий человек

Процесс обучения проходил поэтапно. Сначала Эмо изучал собственное лицо, двигая моторами и наблюдая за собой в зеркале. Это помогло системе понять, как команды управления моторами изменяют форму лица.

Затем исследователи внедрили алгоритм обучения, который связывает звук с движением. Эмо часами просматривал видео на YouTube, где люди говорили и пели, а модель искусственного интеллекта анализировала взаимосвязь между звуком и видимым движением губ.

Вместо того чтобы фокусироваться на языке или значении, система изучала исходные звуки речи. Трансформатор мимических движений преобразовывал эти усвоенные паттерны в двигательные команды в реальном времени.

Этот подход позволил Эмо синхронизировать движения губ не только на английском, но и на языках, которым он никогда не обучался, включая французский, арабский и китайский. Тот же метод сработал и для пения, которое сложнее из-за растянутых гласных и изменений ритма.

Исследователи говорят, что это важно, потому что будущим роботам потребуется общаться естественным образом, чтобы работать бок о бок с людьми. Этот прогресс произошел в то время, когда интерес к роботам для дома и рабочих мест быстро растет.

На выставке CES 2026 этот импульс был продемонстрирован во всей красе: от человекоподобного робота Atlas от Boston Dynamics , готового к использованию на рабочем месте, до ориентированного на домашнее хозяйство робота SwitchBot , который может готовить еду и стирать белье, и будущего домашнего робота-помощника от LG, призванного облегчить повседневную жизнь.

Добавьте к этому такие достижения, как искусственная кожа, которая наделяет роботов чувствительностью, подобной человеческой , и реалистичную синхронизацию губ, и станет ясно, как роботы начинают ощущаться не столько как машины, сколько как социальные компаньоны. Emo — это пока исследовательский проект, но он показывает, как роботы однажды смогут осваивать человеческие навыки так же, как это делаем мы, наблюдая и слушая.

Статья " Этот робот научился петь под фонограмму, как человек, благодаря просмотру YouTube" впервые появилась на сайте Digital Trends .