Начиная с сегодняшнего дня «инструмент для создания миров» на основе искусственного интеллекта Ли Фэйфэя доступен каждому, позволяя вам создать трехмерный мир всего одним предложением Включено тестирование в реальных условиях.

Мрамор, он наконец-то здесь.

Всё верно, это трёхмерная модель генерации мира, которая стала вирусной в сообществе ИИ два месяца назад. World Labs под руководством Фэй-Фэй Ли только что официально объявила о её открытости для всех пользователей, а также сразу выпустила целый ряд новых функций.

• Мультимодальная генерация: поддерживает различные методы ввода, такие как текст, одно изображение, несколько изображений/видео и 3D-макеты.
• Редактирование с использованием искусственного интеллекта: позволяет производить частичную замену и структурные корректировки созданного трехмерного мира.
• Расширение и комбинирование мира: автоматически заполняет краевые области и объединяет несколько сцен.
• Chisel: создайте структуру из блоков и позвольте ИИ автоматически заполнить детали стиля.
• Экспорт во все форматы: поддерживает множество форматов, включая гауссовы облака точек, треугольные сетки и видео, которые можно напрямую импортировать в игровые движки.

Порог входа теперь довольно низкий. Просто введите описание или загрузите фотографию, и ИИ создаст полноценный трёхмерный мир. С таким мощным функционалом традиционным 3D-моделистам, возможно, придётся пересмотреть свой карьерный путь…

Вот ссылка, где можно попробовать: https://marble.worldlabs.ai/

Ли Фэйфэй демонстрирует свой главный талант: создание целого трехмерного мира с помощью одного предложения.

Давайте начнем с анализа конкретного случая, чтобы увидеть, насколько хорошо Marble справляется с генерацией текста.

Как показано на рисунке, перед нами предстает полноценная трехмерная сцена кухни с деревянной мебелью, медной утварью и деталями света и тени.

А вот ещё кое-что, что ещё сложнее понять. Взгляните на это абстрактное описание:

Даже сталкиваясь с этим эклектичным стилем, выходящим за рамки времени и пространства, ИИ все равно может точно его уловить.

Я также провёл ряд экспериментов. Попытавшись сгенерировать сцену леса, я обнаружил, что, хотя текстура мха была немного повторяющейся, текстура ствола дерева была чёткой и детальной, а туман, появляющийся и исчезающий в лесу, создавал нужную атмосферу.

Помимо обычного текста, Marble также поддерживает более широкий спектр методов создания:

• Генерация одного изображения: введите изображение, и ИИ автоматически создаст панорамный вид на 360 градусов.
• Генерация нескольких изображений/видео: сделайте несколько фотографий с разных ракурсов, и ИИ автоматически объединит их, чтобы создать единое трехмерное пространство.
• Генерация 3D-макета: каркас создается с использованием базовой геометрии, а ИИ отвечает за заполнение всех деталей.

Я также протестировал функцию генерации одного изображения. Загрузив фотографию обычной комнаты, я получил готовый продукт примерно за 6 минут. При ближайшем рассмотрении я обнаружил, что, как и в предварительной версии, проблема искажения краев всё ещё довольно серьёзная. Надеюсь, в будущем её удастся оптимизировать. Тем не менее, поскольку это ранний продукт, его текущий уровень готовности уже весьма впечатляет.

С точки зрения гибкости эта концепция проектирования многомодальных входов значительно превосходит большинство аналогичных инструментов на рынке.

Генерация — это только первый шаг; последующие возможности редактирования заслуживают еще большего внимания.

Marble также является первой в отрасли моделью, изначально интегрирующей инструменты редактирования на основе ИИ, что позволяет глубоко модифицировать сгенерированный мир. Например, при частичной замене нужно убрать мусорный бак? Одно предложение решает эту задачу; ИИ автоматически адаптирует сцену и освещение.

Если вы хотите кардинально изменить конструкцию, например, превратить заднюю стену ресторана в сцену или заменить столики низкими табуретами, обращенными к сцене, это также легко сделать. Другими словами, такой вид редактирования — это не просто обработка изображений, а интеллектуальная корректировка, основанная на истинном понимании трёхмерной пространственной структуры.

Кроме того, функция «Расширение мира» не менее мощна. Края сгенерированной сцены немного размыты? Нажмите кнопку «Расширить», и ИИ автоматически сгенерирует больше контента для заполнения этой области. Хотите ещё больше пространства? Используйте «Режим комбинирования», чтобы объединить несколько миров.

На официальной демонстрации был представлен полностью собранный вагон поезда. Использование этого набора инструментов значительно сократило время от творческой идеи до поставки готового продукта.

Если функции генерации и редактирования были ожидаемы, то Chisel — это инструмент, который производит впечатление революционного решения.

Проще говоря, Chisel полностью разделил «структуру» и «стиль»:

• Шаг 1: Постройте пространственную структуру, используя простые геометрические фигуры, такие как кубы и плоскости (как в игре «Лего»).
• Шаг 2: Напишите текст, описывающий визуальный стиль (например, «Музей современного искусства» или «Спальня в скандинавском стиле»).
• Шаг 3: ИИ автоматически заполняет каркас, превращая его в полноценный трехмерный мир.

Ещё более впечатляющей является возможность создавать совершенно разные сцены, используя одну и ту же структуру, но разные текстовые подсказки. Например, если сохранить структуру, но изменить подсказку на «Музей современного искусства», получится минималистичная белая стена в сочетании с абстрактными картинами.

В качестве альтернативы структура остается той же, но подсказка меняется на «Спальня в скандинавском стиле», представляя теплую деревянную мебель и вид из окна на ледник.

Этот подход в чём-то похож на логику определения структуры с помощью HTML и стиля с помощью CSS во фронтенд-разработке, но он исключительно эффективен применительно к 3D-моделированию. Как сказал Джастин Джонсон, соучредитель World Labs, в ходе демонстрации в интервью: «Я могу напрямую выбрать 3D-блок, представляющий диван, и перетащить его в другое место».

В Marble операции, требующие длительной корректировки в традиционном программном обеспечении для моделирования, сводятся к простому перетаскиванию блоков…

В этот момент разработчики моделей, должно быть, чувствуют себя очень сложно.

Итак, как использовать созданный 3D-мир? Marble предлагает три варианта экспорта:

• Gaussian Splats: представление с наивысшей точностью, подходящее для рендеринга в реальном времени и может запускаться непосредственно в браузере.
• Треугольные сетки: делятся на сетки столкновений низкой точности и сетки рендеринга высокой точности, которые можно напрямую импортировать в игровые движки, такие как Unity и Unreal Engine.
• Формат видео: поддерживает управление объективом на уровне пикселей, а также может быть «улучшен» с помощью ИИ — автоматически добавляя динамические эффекты, такие как дым, пламя и поток воды.

Большинство видео в официальном пресс-релизе были созданы непосредственно с помощью Marble Rendering. Благодаря подключению всего этого набора инструментов процесс от концепции до готового к использованию ресурса значительно упрощается.

Разработчики игр могут использовать Marble для создания фоновых сред, экспортировать их в движок, а затем добавлять интерактивную логику; команды, работающие над фильмами и телевидением, могут использовать его для быстрого создания превью сцен и планирования кадров; создатели VR-контента могут даже напрямую загрузить сгенерированный мир в Vision Pro или Quest 3 для экспериментов.

Боже мой, спустя столько времени мы снова вернулись к метавселенной.

С точки зрения ценовой стратегии Marble приняла многоуровневую модель подписки:

• Бесплатная версия: 7000 баллов в месяц, генерирует до 4 миров, поддерживает ввод текста, изображений и панорам. Подходит для первых пользователей, но расширенные функции заблокированы.
• Стандартная версия (20 долларов США в месяц): 20 000 кредитов в месяц, 12 миров, разблокирует ввод нескольких изображений/видео, режим Chisel и базовые функции экспорта.
• Pro-версия ($35/месяц, $1 за первый месяц): 40 000 кредитов, 25 миров, поддерживает расширение сцен, улучшение видео, экспорт сетки высокого разрешения и поставляется с коммерческой лицензией.
• Флагманское издание ($95/месяц): 120 000 кредитов, 75 миров, полностью разблокирован функционал.

Очевидно, что бесплатная версия имеет низкий порог входа, что привлекает множество пользователей. Однако, если вы хотите использовать её в производственной среде, вам, по сути, придётся выбрать профессиональную версию. Ограниченное по времени предложение в 1 доллар за первый месяц также очень заманчиво и явно создано для того, чтобы побудить вас опробовать продукт и лично убедиться в его эффективности.

Выпуск Marble вызвал крайне неоднозначную реакцию.

Генеральный директор Y Combinator Гарри Тан написал в Twitter: «Фэйфэй Ли — легендарная фигура, и этот релиз имеет большое значение». Некоторые независимые разработчики игр и создатели VR-контента также высказали своё мнение в социальных сетях, посчитав, что Marble значительно снизила барьер для входа в сферу создания 3D-контента.

Однако было и много сомнений.

Недавний опрос на Конференции разработчиков игр (GDC) показал, что треть респондентов считают, что генеративный ИИ оказывает негативное влияние на игровую индустрию, что на 12% больше, чем в предыдущем году. Среди проблем были: нарушение прав интеллектуальной собственности, чрезмерное энергопотребление, снижение качества контента, создаваемого ИИ, и увольнения в отрасли.

Ранее Wired сообщал, что игровые компании, включая Activision Blizzard, используют ИИ для сокращения расходов и решения проблемы текучести кадров.

Отвечая на эти вопросы, Джастин Джонсон заявил: «Marble не призван полностью заменить процесс разработки игр, а скорее предоставить вам ресурсы, которые вы сможете использовать напрямую». Однако то, будет ли ситуация на самом деле такой, как он утверждает, зависит от того, как её воспримет рынок.

Полярная звезда Ли Фэйфэй: космическая разведка

Всего за несколько дней до выхода Marble Фэй-Фэй Ли опубликовала длинную статью, в которой изложила свое видение — пространственный интеллект.

Основные точки зрения можно резюмировать следующим образом:

Хотя большие языковые модели обладают мощными языковыми возможностями, они практически ничего не знают о физическом мире. Они не могут точно оценивать расстояния и направления, не могут «вращать» объекты в уме и не могут предсказывать основные физические законы.

В отличие от этого, ядро ​​человеческого интеллекта — не язык, а способность понимать и манипулировать трёхмерным пространством. От вождения автомобиля до поиска ключа, от проектирования зданий до открытия двойной спирали ДНК — всё это основано на пространственном интеллекте.

По плану Ли Фэйфэя, применение пространственного интеллекта будет разделено на три этапа:

• Недавнее (творчество): игры, фильмы, архитектурный дизайн (в настоящее время работает над Marble).
• Среднесрочный курс (Робототехника): обучение роботов в моделируемых условиях с целью научить их действовать в реальном мире.
• Долгосрочные (научные прорывы): разработка лекарств, материаловедение, медицинская диагностика, иммерсивное образование

В своем сообщении в блоге Фэй-Фэй Ли четко заявила: «Без пространственного интеллекта наша мечта о по-настоящему интеллектуальных машинах не может быть реализована».

Видение грандиозное, но реальность гораздо сложнее.

World Labs — не единственная компания, конкурирующая на арене мирового моделирования.

В настоящее время на рынке присутствуют несколько других игроков: Decart запустил бесплатную демо-версию, ориентированную на генерацию в реальном времени; Odyssey также предлагает бесплатную пробную версию, но ее функции относительно базовые; Google Genie все еще находится на стадии исследований и предварительного просмотра и пока не выведен на рынок.

В сравнении с этим, основное преимущество Marble очевидно. Он создаёт постоянный, полный трёхмерный мир, а не модель, генерируемую по мере исследования, что может значительно снизить проблемы с деформациями и несоответствиями.

Что ещё важнее, Marble стал первым проектом, добившимся коммерциализации, и его бесплатная версия с платной подпиской уже начала приносить доход. С точки зрения полноты набора инструментов, Marble также является наиболее полным: весь процесс от создания до редактирования и экспорта проходит гладко, что исключает необходимость переключения между несколькими платформами.

От ImageNet до пространственного интеллекта, академическая карьера Фэй-Фэй Ли была сосредоточена на одном и том же: научить машины понимать визуальный мир. ImageNet научил ИИ, «что это такое». Цель Marble — научить ИИ, «где это находится, как оно движется и как с ним взаимодействовать».

Первое дало толчок революции глубокого обучения. Спровоцирует ли второе следующую смену парадигмы? Пока рано говорить. Но, по крайней мере, на данный момент это направление кажется одновременно и захватывающим, и перспективным.

OpenAI продолжает свое наступление на LLM, Фэй-Фэй Ли делает ставку на пространственный интеллект… Результат этой рискованной игры на технологических маршрутах может стать известен в ближайшие несколько лет.

#Добро пожаловать на официальный аккаунт iFanr в WeChat: iFanr (WeChat ID: ifanr), где вы сможете как можно скорее получить еще больше интересного контента.

ifanr | Исходная ссылка · Просмотреть комментарии · Sina Weibo