От одного предложения до полностью функционального мира — VAST открыла исходный код всей цепочки

В игре, если вы подходите к двери и не уверены, можете ли войти, обычно делают следующее: разворачиваются, делают два шага назад, а затем дважды прыгают, чтобы проверить, сможете ли перелезть через стену рядом с вами.

Все это совершенно обычные действия в играх, но представьте, что сцена перед вами создана искусственным интеллектом. Модель должна была бы успевать за каждым импульсивным действием игрока — внезапной остановкой, резким поворотом, бегом или прыжком. При этом каждый кадр должен был бы оставаться стабильным.

Вот что умеет новая модель мира в реальном времени EdenLive от VAST, имеющая открытый исходный код. Это генеративный рендерер в реальном времени из серии Project Eden. Правила и состояния интерактивного контента, такого как предварительный просмотр игр и анимации, по-прежнему поддерживаются исходной интерактивной системой. Белые модели, 2D/3D сцены или записи реального мира могут служить ориентирами для генерации визуальных эффектов. Когда вы перемещаете персонажа вперед или поворачиваете камеру назад, интерактивная система преобразует обновленное состояние в визуальные эффекты в виде серых прямоугольников и описания сцен, передает их в EdenLive, и модель рендерит соответствующие визуальные эффекты в реальном времени , позволяя вам видеть мир, созданный ИИ, во время игры.

В качестве референса не обязательно использовать идеально проработанную игру — подойдет любой визуальный материал. Грубая 3D-модель, 2D-сцена или даже существующий видеоролик могут обеспечить структуру и движение. Один и тот же референс может дать совершенно разные результаты — реалистичный, нарисованный от руки линейный рисунок, мультфильм, пиксельная графика или масляная живопись — путем изменения первого кадра или ключевого слова.

Используйте любые визуальные образы для создания изображений при взаимодействии с пользователем.

EdenLive — поистине универсальная система. Она может непрерывно генерировать игровое видео на основе действий игрока, сохранять траекторию движения и ракурсы камеры, а также изменять стиль персонажей и окружения. В реалистичных сценариях видео с управлением рукой от первого лица может быть переписано в версию с точки зрения роботизированной руки.

Для достижения этой цели EdenLive использует «разделение труда»: опорная система координат определяет структуру, движение и ракурсы камеры, а генеративная модель отвечает за переписывание того, как эти элементы в конечном итоге «выглядят». Три типа входных данных в EdenLive имеют четко определенные роли: опорное видео определяет компоновку сцены, движение камеры, траектории объектов и время событий; целевой первый кадр определяет объект, материалы, цветовую схему и художественный стиль; а текстовые подсказки дополняют стиль и детали, с возможностью добавления описания во время взаимодействия при возникновении событий. В конечном итоге это позволяет генеративному рендерингу выйти за рамки офлайн-генерации видео и применяться в различных сценариях, таких как длительные игровые взаимодействия, преобразования стиля видео и расширение данных.

существоватьКомпания EdenLive добилась значительных успехов в разработке возможностей долговременной генерации, необходимых для устойчивого взаимодействия. На основе попарной слепой оценки 45 долговременных сценариев с использованием Gemini-3.8-Flash (каждая пара оценивалась один раз в обратном порядке, а баллы Elo рассчитывались по параметрам) EdenLive 14B и 5B заняли первое и второе места соответственно по пяти параметрам: соответствие эталону, согласованность первого кадра, физическая правдоподобность, качество изображения и предотвращение утечек изображения. Например, по параметру соответствия эталону 14B набрал 1704 балла, что примерно на 200 баллов выше, чем у AgentGarten.

В предварительном просмотре сцен и анимации в качестве эталонов могут использоваться сцены с белыми моделями, черновые анимации, созданные художниками, или видео с картами нормалей, отрендеренные на основе детализированных моделей. Сохраняя эталон неизменным и изменяя только первый кадр и ключевые слова, можно сравнивать различные материалы, освещение и цветовые схемы в рамках одной и той же сцены и сегмента анимации. Когда камера перемещается из одного места, а затем возвращается, структура эталона остается неизменной, и EdenLive продолжает рендеринг в соответствии с той же структурой, без необходимости повторного анализа предыдущих видеоматериалов.

В игре эта непрерывность и согласованность также должны быть скоординированы с действиями игрока. Например, после входа в подъемное устройство, по мере его опускания, весь забор и сетка должны оставаться в своей правильной форме, но окружающая среда должна постепенно меняться.

Ещё один часто упускаемый из виду вариант использования — это улучшение качества воплощенных данных.

В процессе обучения роботов не хватает знаний о том, «как человек протирает стол», но отсутствуют учебные материалы о том, «как роботизированная рука приближается к объекту, захватывает его и выполняет действие с точки зрения робота ».

Получить аналогичную перспективу несложно: достаточно надеть камеру и снять, как человек протирает стол, открывает ящики и наливает воду — за день можно снять множество видеороликов. Однако на видео с живыми актерами видны руки и пальцы человека, в то время как робот, будучи развернутым, видит роботизированную руку и захват. Формы, диапазоны движений и методы окклюзии — все это разные вещи. Если модель в основном обучается с использованием видео с живыми актерами, она может столкнуться со значительными различиями в визуальном распределении при просмотре через камеру робота.

Заменив человеческие руки роботизированными с помощью EdenLive, данные преобразуются в данные, которые более точно соответствуют тому, что робот действительно видит во время своей работы. Например, сохраняются действия человека, поднимающего чайник, относительное положение чайника относительно стола и движение камеры от первого лица; заменяется только исполнитель на роботизированную руку, что помогает модели адаптироваться к «тому, что видит робот».

Различные типы исходных материалов дают разные эффекты и имеют свои ограничения. Существующие записи могут содержать только кадры и действия, и после повторной обработки они остаются просто видео; возможность воспроизведения обеспечивается исходным кодом. Однако в EdenLive существует набор правил и механизмов разделения труда, поэтому полученные результаты могут постоянно меняться в процессе работы.

В модели мира необходимо отделить состояние от рендеринга.

Глядя на эти демонстрации, легко предположить, что игрок напрямую манипулирует видеомоделью. В действительности, EdenLive не определяет происходящее в игре и не отвечает за функционирование игрового мира. В Project Eden, выпущенном в мае этого года, VAST разделяет исследование модели мира на трехслойную архитектуру: постоянно развивающееся состояние мира, записывающее положения и атрибуты объектов, правила взаимодействия и последствия действий; интерфейс от состояния к экрану, преобразующий текущее состояние в ограничения по компоновке, геометрии и событиям с определенной точки зрения; и генеративный рендерер, создающий высококачественные визуальные эффекты на основе этих ограничений. EdenLive реализует последние два слоя, но не ограничивается первым.

В качестве примера рассмотрим файтинги: когда игрок нажимает кнопку атаки, команда сначала поступает в систему взаимодействия. Она определяет, попадёт ли удар по противнику, сколько здоровья нужно снять, а затем обновляет полоски состояния и здоровья обоих персонажей.

Видеомодели отлично справляются с генерацией, казалось бы, правдоподобных визуальных образов, но они не могут самостоятельно поддерживать правила для таких вещей, как здоровье, столкновения, идентичность объектов и условия победы/поражения. Поэтому EdenLive оставляет детерминированные состояния системе взаимодействия, а визуальное представление доверяет генеративной модели.

платитьСистема преобразует каждое изменение в новое изображение в формате «серого прямоугольника», из которого специально настроенный визуальный кодировщик извлекает информацию о расположении объектов, ракурсах камеры и движении. Ей не требуется детальная проработка кожи, одежды и освещения; достаточно четко обозначить пространственное расположение, траектории движения и особенности перемещения камеры.

«Правила обрабатываются системой взаимодействия, а визуальные элементы — моделью». Такое разделение труда решает проблему, связанную с тем, что видеомодели плохо сохраняют правила в течение длительного времени, обеспечивая стабильное отображение визуальных элементов. Конечно, это разделение труда еще нуждается в тестировании на более длительных периодах и с более сложными взаимодействиями.

В представленной модели мира достаточно демонстрационных примеров, но отсутствуют примеры её использования.

В обзоре, проведенном учеными из Оксфорда в январе 2026 года, «визуальная путаница» была названа одной из проблем, которые необходимо решить моделям мира: реалистичные визуальные образы не означают, что модель понимает причинно-следственные связи и физические законы, и было высказано предположение, что модели мира должны перейти от визуальных механизмов, генерирующих изображения, к функционирующим симуляторам, способным представлять динамику и ограничения.

Прежде чем этот подход стал общепринятым для моделей миров, проект Eden, выпущенный компанией VAST в мае этого года, уже включил в свою архитектуру интерактивную систему, поддерживающую состояние мира, и генеративную модель, отвечающую за визуальное представление; несколько месяцев спустя EdenLive еще больше усовершенствовал свою генеративную визуализацию, доведя ее до работы в реальном времени и непрерывного режима.

Подобные предложения начали активно появляться на рынке лишь в августе и сентябре.

Этот релиз с открытым исходным кодом включает в себя 5B и 14B весов модели (каждый в двух версиях: двунаправленная генерация и потоковая генерация в несколько шагов), код для вывода данных в реальном времени, EdenGolem v0.1 и среду разработки, а также технический отчет. Разработчики могут получить доступ к собственным эталонным исходным кодам для измерения задержки, стабильности и соответствия эталонным данным.

Одновременно с EdenLive была запущена программа V·STAR — программа для молодых специалистов в области алгоритмов и исследований со всего мира, направленная на привлечение талантливых кадров. Набор персонала сосредоточен на трех направлениях: 3D-генеративные модели, 3D-понимание и агентный ИИ, а также модели мира. Независимо от того, работаете ли вы на полную ставку или стажируетесь, V·STAR предлагает возможности для непосредственного участия в ключевых проектах и ​​получения более конкурентоспособной заработной платы, чем в ведущих технологических компаниях, без верхнего предела для исключительно талантливых кандидатов, а также долгосрочные опционы на акции.

В прошлых демонстрациях моделей мира часто использовалось видео, чтобы доказать, что модель способна представить мир. EdenLive сделала значительный шаг вперед. По мере того, как все больше людей будут вносить свой код, сцены и визуальные материалы, технология постепенно будет развиваться в действительно удобный творческий рабочий процесс, открывая еще больше возможностей для создания мира.