Нажав кнопку копирования в реальном мире, Хесай создал «пространственную камеру с искусственным интеллектом»

При подготовке к ремонту старого дома многие всегда хотят посмотреть, как он будет выглядеть с другой планировкой. Сделает ли более комфортной комнату перемещение дивана к другой стене, разворот обеденного стола или перенос письменного стола к окну?

Но перемещение этой мебели не только трудоемко, но и после всех этих усилий вы можете обнаружить, что первоначальное место было на самом деле более подходящим.

Удобно, когда ИИ сначала создает эскиз, но пространственные пропорции и размеры мебели на эскизе могут не соответствовать вашему собственному дому.

На этом этапе некоторые могут подумать: «Если бы мы могли отсканировать наш уже обставленный дом на компьютере, передвинуть диван и отрегулировать обеденный стол в виртуальном мире, увидеть результат с разных ракурсов и сделать это самостоятельно только в том случае, если нас всё устроит, это сэкономило бы много хлопот».

Именно этого и хочет добиться Хесай — создать редактируемую копию реального мира.

14 октября компания, известная своими автомобильными LiDAR-системами, выпустила Kosmo 3D World Data Engine, в состав которого входит портативная пространственная камера Kosmo One с искусственным интеллектом для сбора данных и облачная платформа Kosmo World для реконструкции, редактирования и управления 3D-объектами.

Цель соучредителя Hesai и технического директора Сян Шаоцина:

«Сделайте пространственное моделирование таким же простым, как фотографирование».

Компания Hesai также начнет расширять сферу своей деятельности, переходя от ведущего поставщика, глубоко укоренившегося в автомобильной промышленности, к области воплощенного интеллекта.

Создайте редактируемую копию своей комнаты.

Проще говоря, Kosmo One — это DJI Pocket, который выглядит как увеличенная версия оригинальной модели, оснащенная датчиком LiDAR.

Она объединяет лидар и камеру: лидар измеряет форму, расстояние и положение объектов, а система обработки изображений CMOS записывает цвет, текстуру, свет и тень. Затем эти две части информации выравниваются для восстановления реального пространства.

Компания Hesai довела геометрическую точность LiDAR до миллиметрового уровня, что позволило ей четко идентифицировать ячейки с шагом примерно 5 мм на теннисной ракетке. Эта способность воспроизводить такие тонкие структуры напрямую связана с точностью детализации трехмерной пространственной копии.

В устройстве обработки изображений используется дюймовый CMOS-сенсор, поддерживающий захват изображения с разрешением до 8K, а максимальное разрешение конечного экспортируемого файла составляет 6K.

Однако целевая аудитория этой CMOS-матрицы отличается от аудитории обычной камеры. Сян Шаоцин привёл в пример пол. Один и тот же пол, сфотографированный с разной высоты и с разных ракурсов, после обработки балансом белого, экспозицией и другими параметрами камеры может выглядеть по-разному.

Космо всячески старается избегать «тона» и «стилизации», о которых часто говорят в видеоиндустрии.

Для Kosmo ключевым моментом является сохранение исходных цветов и освещения сцены, а также минимизация различий в обработке между разными камерами и в разное время съемки, чтобы можно было объединить несколько перспектив для формирования целостной трехмерной сцены.

Поэтому компания Kosmo специально оптимизировала свою систему обработки изображений ISP для 3D-реконструкции, чтобы обеспечить единообразие изображений, полученных с разных камер и во времени.

В процессе сбора данных лидар, система визуализации и высокоточный инерциальный измерительный блок синхронизируются с точностью до микросекунды, что позволяет получать изображение, соответствующее текущему положению и ориентации устройства, обеспечивая точную пространственную привязку для реконструкции помещения.

Согласно данным, опубликованным компанией Hesai, в типичном помещении Kosmo One может просканировать пространство площадью около 100 квадратных метров примерно за 15 минут. Кроме того, Kosmo One поддерживает мгновенное сканирование, интеллектуальные подсказки и возобновление сканирования одним нажатием кнопки; даже если сканирование приостановлено на полпути, его можно возобновить с другого места.

После завершения сбора данных настала очередь компании Kosmo World выйти на сцену.

Компания Kosmo World несет основную ответственность за две вещи:

• Преобразование собранных данных в интеллектуальное пространство, которое ИИ может понимать, с которым может взаимодействовать и обучать.

• С помощью семантической сегментации на основе ИИ объекты в сцене идентифицируются и извлекаются как независимо редактируемые 3D-объекты.

Благодаря высокой точности, Kosmo способен выполнять множество задач, которые трудно выполнить современным системам искусственного интеллекта.

Хесаи провел сравнение на месте, используя модель GPT-6 Astra. Сначала они сделали 20 фотографий одной и той же комнаты с разных ракурсов, а затем использовали модель для воссоздания обстановки.

В сцене, сгенерированной GPT-6 Astra, возникли проблемы, связанные с неправильным положением и формой дивана, а также с несоответствиями в материалах и освещении. Без высокоточных данных GPT-6 Astra с трудом справляется с полным воссозданием реальной сцены.

Даже когда данные 3DGS, собранные Kosmo, передаются на GPT-6 Astra, позиционные соотношения объектов улучшаются, но такие детали, как форма стула и материал цветов, по-прежнему остаются неточными.

Сян Шаоцин сравнил постоянно развивающуюся универсальную модель с «мозгом», а Kosmo One отвечает за создание более точных «глаз». По мере того как модель становится все более интеллектуальной, ей также требуется реальная и надежная пространственная информация в качестве входных данных.

Kosmo сочетает высокоточный сбор данных с реконструкцией с помощью ИИ, позволяя «глазам» и «мозгу» лучше взаимодействовать. Развитие общих моделей также может способствовать улучшению возможностей реконструкции и генерации в Kosmo World.

Кроме того, в Kosmo World искусственный интеллект продолжит обрабатывать объекты на сцене.

Во время демонстрации на пресс-конференции система смогла идентифицировать диван по голосовым подсказкам, а также выделить его из всей сцены. После перемещения дивана открылся ранее скрытый ковер, и ИИ затем заполнил текстуру, основываясь на окружающей информации, чтобы создать целостный мир.

От «ручного стабилизатора» до «ручного лазера»

Если портативные камеры с гироскопическим стабилизатором изменили то, как многие люди документируют свою жизнь, то Kosmo, благодаря добавлению пространственных данных, может также изменить то, как многие люди работают.

По крайней мере, это изменило подход Pixar к работе.

RenderMan, промышленный рендерер от Pixar, — это инструмент, использованный в ряде таких всемирно известных работ, как «История игрушек», «Мандалорец» и «Парк Юрского периода».

Дилан Сиссен, креативный директор RenderMan, отсканировал культовые лампы и красочные скульптуры в виде шаров с площади кампуса Pixar и перенёс их в Kosmo.

Сканирование сохраняет внешний вид сцены, а положение, размер и прозрачность данных затем можно скорректировать в программном обеспечении для дальнейшего определения стиля изображения.

Это означает, что захваченные сцены можно многократно использовать на разных этапах производства, что позволяет профессионалам быстро вносить изменения в виртуальные сцены, созданные Kosmo, и пробовать разные способы выражения.

Отсканированное пространство также может служить тренировочной площадкой для роботов. Разработчики могут изменять расположение объектов и угол обзора в среде моделирования для многократного обучения и тестирования робота.

По словам Хесаи, воплощенный в интеллектуальном роботе Шарпа использовал Kosmo для воссоздания магазина DQ, создания среды обучения и завершения развертывания путем объединения аппаратного обеспечения робота и моделей, достигнув 99% успеха.

Будущее космических камер во многом зависит от того, можно ли интегрировать собранные ими данные в непосредственно используемые 3D-модели, а также от того, можно ли интегрировать эти модели в различное программное обеспечение и многократно использовать их в различных сценариях.

Генеральный директор компании Hesai Ли Ифань считает, что рынок космической разведки, включая космические камеры, в долгосрочной перспективе превзойдет рынок LiDAR.

Космические камеры станут частью повседневной жизни.

От «космических видеороликов» на iPhone до возможностей моделирования GPT-6 Astra и космических камер — нетрудно заметить, что виртуальный мир становится все более «трехмерным».

На пресс-конференции Ли Ифань выразил надежду, что компания Hesai сможет сыграть роль инфраструктурного партнера, дополнив роботов возможностями восприятия, пространственными данными и передвижения, чтобы больше компаний могли создавать собственных роботов на этой основе.

Фактически, индустрия интеллектуальных автомобилей, в которой изначально работает компания Hesai, и воплощенный интеллект — это две стороны одной медали. Автомобиль, способный понимать окружающую обстановку, принимать решения о действиях за рулем и применять их в реальных условиях посредством рулевого управления и торможения, уже обладает характеристиками воплощенного интеллекта.

Разработка технологии LiDAR для автомобилей означает, что компания Hesai уже принимала участие в разработке системы распознавания объектов в транспортном средстве.

Кроме того, компания Hesai также поставляет силовые модули, позволяющие роботам двигаться. Согласно данным Hesai, по состоянию на конец второго квартала 2026 года было поставлено более 10 000 таких модулей, и ассортимент продукции расширяется от модулей для управления движениями рук до модулей с шарнирами всего тела.

От радаров и камер до шарниров роботов — компания Hesai использует опыт, накопленный ее подразделением LiDAR, для решения инженерных задач в своей продукции.

Однако на данный момент Kosmo в основном ориентирован на профессиональных пользователей, выполняющих специфические задачи. Чтобы стать устройством повседневного использования для обычных людей, ему необходимо более портативное оборудование и более удобный интерфейс — от сбора и обработки данных до применения приложений.

Плохая новость заключается в том, что компания Hesai еще не объявила розничную цену Kosmo, и в краткосрочной перспективе вы, возможно, не сможете использовать его для сканирования и перепланировки своей комнаты.

Хорошая новость заключается в том, что Kosmo продолжит совершенствоваться, и благодаря сотрудничеству Hesai и её партнёров устройства для получения космических данных смогут войти в повседневную жизнь не только в виде портативных устройств.

В конце пресс-конференции Хесай также оставил еще кое-что:

Было объявлено о сотрудничестве с ведущей отечественной компанией по производству дронов. В коротком видеоролике, показанном на мероприятии, продемонстрирована перспектива сканирования, позволяющая поднять дрон в воздух и расширить диапазон сбора данных на наружные здания и большие пространства.

Пространственный интеллект действительно достиг того уровня, когда ему необходимо начать стремительно развиваться.