Только что Google выпустил Genie 4, и эти 120 секунд визуального ряда показали мне будущее искусственного интеллекта

Этот мир может просуществовать всего 120 секунд, после чего всё начинает рушиться. Однако за эти две минуты вы можете изменить погоду, призвать драконов или даже заставить город подняться из-под земли.

Компания Google DeepMind официально представила свою модель мира следующего поколения, Genie 4, что знаменует собой еще один значительный шаг вперед в направлении создания виртуальных миров с помощью ИИ к реальности.

По сравнению со своим предшественником, Genie 4 не только делает графику более реалистичной, но и генерирует звук в реальном времени, имитирует физические законы и даже позволяет пользователям напрямую попадать в мир, созданный искусственным интеллектом, менять погоду, добавлять персонажей и общаться с виртуальными персонажами в любое время.

Что еще более важно, Google также внедряет Gemini в симуляцию мира, позволяя большой языковой модели планировать действия, а Genie 4 — генерировать окружающую среду в реальном времени. Видеоролики, созданные с помощью ИИ, которые ранее можно было только просматривать, теперь превращаются в виртуальный мир, который можно свободно исследовать и с которым можно постоянно взаимодействовать.

Следующий шаг в развитии видео с использованием ИИ — это мир, в который мы действительно сможем войти.

В 2024 году Google DeepMind запустила Genie 1, пытаясь изучить взаимосвязь между действиями и изменениями окружающей среды на основе видео. Впоследствии Genie 2 расширила свои возможности, включив в них исследование трехмерных сред, а Genie 3, выпущенная в 2025 году, обеспечила генерацию и взаимодействие в реальном времени.

Теперь Genie 4 снова улучшен с точки зрения реализма, моделирования физики и интерактивности, а продолжительность одной симуляции увеличена примерно с одной минуты до двух.

Согласно демонстрации, опубликованной Google, пользователи могут создать исследуемый виртуальный мир, просто введя фрагмент текста, управлять движением персонажа и настраивать камеру с помощью клавиатуры, и даже продолжать вводить подсказки в процессе, чтобы изменить всю сцену.

Например, на небольшой плавучей платформе на озере мужчина в коричневом костюме играет на саксофоне. Вокруг него — туманная вода озера, леса и растения, колышущиеся на ветру.

Пользователи могут свободно перемещать камеру, чтобы наблюдать за движениями исполнителя и изменениями поверхности озера, а также временно менять погоду, добавлять персонажей или объекты. Gemini будет понимать инструкции, исходя из текущей обстановки, помогая Genie 4 поддерживать непрерывность сцены.

Итан Морлик, профессор Уортонской школы бизнеса, которому довелось ознакомиться с Genie 4, создал виртуальный город за минуту, используя всего лишь фразу «неоготический бруталистский город, населенный роботами и лошадьми», а затем в реальном времени добавил дракона и дружелюбного персонажа-выдру.

С другой стороны, инвестор a16z Джастин Мур также продемонстрировал демоверсию, которую он в шутку назвал "GTA Waymo", позволяющую пользователям свободно исследовать городскую среду, полностью сгенерированную в реальном времени искусственным интеллектом, с прямым взаимодействием на протяжении всего процесса.

Мур также продемонстрировал виртуальный мир, созданный исключительно с помощью команд, обозначающих окружение и персонажей, где пользователи могли продолжать отдавать команды, менять сцены и слышать звуковое сопровождение, синхронизированное с окружающим миром, по мере развития игры.

Эти реальные примеры также показывают, что особенность Genie 4 заключается в том, что весь процесс не требует заранее созданной 3D-карты или фиксированных сцен; ИИ будет непрерывно генерировать дальнейшие действия на основе действий пользователя.

Что касается моделирования физических явлений, Google также продемонстрировал примеры, такие как столкновение арбузов, падение семян клена с воздуха и переполненные сельские железнодорожные станции, показав столкновения, аэродинамику, гравитацию и сложное поведение толпы.

В частности, Genie 4 позволяет виртуальным персонажам двигаться более естественно и реагировать на изменения окружающей среды, а пользователи также могут направлять поведение персонажа в реальном времени.

Раньше видеоролики, созданные с помощью ИИ, обычно предоставлялись однократно, и пользователи могли просмотреть только конечный результат. Теперь Genie 4 пытается сделать каждое движение и каждое действие новой переменной, влияющей на развитие виртуального мира.

В мире, созданном искусственным интеллектом, наконец-то появился звук.

Еще одним значительным улучшением в Genie 4 является впервые появившаяся поддержка генерации звука нативно.

Ранее серия Genie в основном фокусировалась на визуальном оформлении и взаимодействии с помощью движений. Теперь Genie 4 может генерировать звуки окружающей среды, музыку и диалоги персонажей в реальном времени одновременно с созданием игрового мира.

Например, вы можете услышать шум волн на пляже, шум ветра в лесу, а когда едете верхом на гигантском драконе по долине, вы также можете услышать хлопанье крыльев, вой ветра и отдаленную вулканическую активность.

Что еще более примечательно, в Genie 4 виртуальным персонажам была предоставлена ​​возможность общаться в реальном времени.

В традиционных играх NPC обычно полагаются на заранее разработанные диалоги и логику поведения, в то время как Genie 4 может динамически генерировать речь и реакции персонажей на основе ввода пользователя и событий в сцене.

Это означает, что в будущем у игроков появится возможность войти в мир, созданный искусственным интеллектом, свободно взаимодействовать с персонажами и даже изменить ход сюжета своими собственными действиями.

Однако у Genie 4 по-прежнему есть проблемы с точностью звука и стабильностью в долгосрочной перспективе, и она всё ещё далека от того, чтобы по-настоящему поддерживать большие игры с открытым миром.

Компания Gemini также занимается режиссурой, и искусственный интеллект начинает понимать, как устроен мир.

Если визуальные эффекты и звук сделали Genie 4 более реалистичным, то добавление Gemini наделило модель мира сложными способностями к рассуждению и планированию.

По данным Google DeepMind, Genie 4 объединяет в себе множество возможностей семейства Gemini.

В частности, Gemini Omni обеспечивает реалистичную основу для моделирования внешнего вида и поведения, а Gemini 3.8 Flash выступает в качестве агента, управляющего процессом в реальном времени, непрерывно наблюдая за генерируемыми изображениями, разбивая задачу на несколько этапов и оценивая успешность каждого этапа.

Genie 4 отвечает за создание виртуального мира, а Gemini — за планирование дальнейших действий.

Например, если пользователь поручает роботу выполнить сложную задачу, Gemini может разбить задачу на несколько действий, понаблюдать за работой робота в смоделированной среде и скорректировать следующий шаг на основе полученных результатов.

Даже если пользователь изменит свои требования или изменится окружающая среда, Gemini сможет корректировать план действий в режиме реального времени.

Компания Google также представила результаты исследовательского эксперимента, объединяющего спутники Gemini 4 Argon и Genie 4.

В ходе демонстрации робот Gemini 4 Argon разбил задачу на последовательные этапы, а Genie 4 в реальном времени имитировал процесс игры в шашки человекоподобным роботом Apollo компании Apptronik.

По сравнению с простым созданием видеоролика, на котором робот играет в шахматы, этот подход делает больший упор на непрерывное моделирование и корректировку процесса выполнения задачи.

Эта возможность бесценна для обучения роботов.

Для обучения роботов в реальных условиях требуется обширное оборудование, помещения и эксперименты, а некоторые опасные или дорогостоящие сценарии сложно многократно тестировать. Если модель мира может точно имитировать физическую среду, роботы могут предварительно тренироваться в виртуальном мире, а затем переносить полученные навыки в реальность.

Теджас Кулкарни, директор по исследованиям в Google DeepMind, также заявил, что важным направлением развития в будущем станут гибридные модели мира, которые сочетают в себе возможности структурированного рассуждения языковых моделей с возможностями сенсорного моделирования моделей мира.

Близнецы могут отвечать за планирование и организацию сложных мероприятий, в то время как Джинн воплощает эти планы в визуальные, звуковые и физические эффекты, изменяющиеся в режиме реального времени.

Искусственный интеллект начинает предпринимать попытки предсказывать и проверять возможные последствия действий в мире, который он создает.

Амбиции этой мировой модели выходят далеко за рамки игр.

В настоящее время Google DeepMind пригласила тестировщиков из таких отраслей, как кино, игры, новости, образование и инженерия, для изучения практического применения Genie 4.

Одним из особенно оригинальных направлений является кинопроизводство.

Раньше, когда режиссёрам нужно было проверить сложные кадры, им обычно приходилось создавать раскадровки, строить 3D-сцены или организовывать предварительные репетиции с актёрами.

С помощью Genie 4 создатели могут генерировать виртуальную сцену, которую можно исследовать, используя текст, напрямую входить в нее, чтобы настраивать ракурсы камеры, освещение, движения персонажей и диалоги, а также быстро пробовать различные методы съемки.

Для разработчиков игр Genie 4 также может служить инструментом быстрого прототипирования. Разработчики могут создавать игровые окружения, используя подсказки, напрямую тестировать художественный стиль, рендеринг материалов и базовый интерактивный геймплей, а затем решать, стоит ли вкладывать ресурсы в формальную разработку.

Также существуют области применения в журналистике и образовании.

Компания Google отметила, что некоторые фотожурналисты пытаются преобразовать двухмерные исторические фотографии в интерактивные, динамичные сцены или имитировать развитие таких событий, как наводнения и лесные пожары. Однако изображения, полученные с помощью ИИ из исторических фотографий, нельзя напрямую считать точными реконструкциями исторических фактов.

В корпоративном секторе модели окружающего мира также могут использоваться для промышленного моделирования, исследований и разработок в области робототехники, а также для тестирования в сложных условиях, что позволяет сократить время и затраты, необходимые для проведения некоторых экспериментов в реальных условиях.

По мере того как перспективы применения становятся все яснее, модели мира превращаются в новую область конкуренции для гигантов в сфере искусственного интеллекта.

Помимо Google, компания Runway запустила GWM Worlds 2, поддерживающую аудио в реальном времени и интерактивное взаимодействие, а компания World Labs, основанная Фэй-Фэй Ли, выбрала иной путь пространственного интеллекта, делая акцент на реконструкции, редактировании и долгосрочной согласованности трехмерных сред.

В сентябре этого года AMD объявила о приобретении World Labs примерно за 8,2 миллиарда долларов, что достаточно наглядно демонстрирует, что ценность World Model распространилась от генерации контента до робототехники и вычислительной инфраструктуры для искусственного интеллекта.

Мир, длящийся всего 120 секунд, но он открывает путь в будущее искусственного интеллекта.

Несмотря на впечатляющие возможности, продемонстрированные Genie 4, до достижения по-настоящему полноценного цифрового мира ему еще далеко.

В настоящее время модель может поддерживать интерактивную симуляцию продолжительностью приблизительно две минуты. По мере увеличения времени симуляции детали объектов могут изменяться, и в сцене могут появляться несоответствия.

Если пользователи постоянно меняют подсказки или исследуют более обширную среду, модель может постепенно потерять точность в понимании исходной информации о сцене. Кроме того, необходимо улучшить сложные физические взаимодействия, пространственную точность, генерацию звука и читаемость текста на визуальных элементах.

В настоящее время Genie 4 доступен для предварительной исследовательской версии избранной группе приглашенных тестировщиков. В будущем он станет доступен подписчикам Google AI Ultra через Project Genie и постепенно будет предоставляться ранним партнерам Gemini API и Google AI Studio.

Оглядываясь на развитие генеративного ИИ за последние несколько лет — от текста к изображениям, от изображений к видео, а теперь и к виртуальным средам, которые можно исследовать в реальном времени и которые обладают звуком и человеческим поведением, — можно сказать, что границы контента, создаваемого ИИ, постоянно расширяются.

Что действительно примечательно в Genie 4, так это глубокая интеграция модели мира с возможностями логического мышления, предоставляемыми обширной языковой моделью.

Раньше ИИ мог предсказать, что увидит человек после открытия двери, а также сгенерировать видео процесса открытия. В будущем ему также потребуется понимать, почему дверь открывается, как отреагирует человек за дверью и каковы будут последствия последующих действий.

Для агентов и роботов с искусственным интеллектом, которые выйдут в реальный мир, способность предсказывать последствия действий и многократно проверять их в виртуальной среде может оказаться важнее, чем создание красивого видеоролика.

В то время как большие языковые модели позволяют ИИ мыслить, модели окружающего мира пытаются помочь ИИ понять последствия своих действий.

Возможно, один из важных способов для искусственного интеллекта понять реальный мир в будущем — это сначала научиться тому, как работает реальность, многократно изучая бесчисленные миры, которые он создает.