Этот искусственный интеллект позволяет беспилотным автомобилям «запоминать» предыдущие поездки для планирования более безопасных маршрутов.

Одна из главных проблем систем автономного вождения заключается в том, что они, прекрасно видя дорогу, всё равно принимают неуверенные краткосрочные решения в условиях плотного городского движения. Современные системы с трудом справляются со сложными и изменчивыми дорожными условиями. Однако новое исследование утверждает, что этим автомобилям нужно не лучшее зрение, а лучшая память.

В рецензируемой статье KEPT (Knowledge-Enhanced Prediction of Trajectories from Consecutive Driving Frames with Vision-Language Models) исследователи из Университета Тунцзи и их коллеги разработали систему, которая помогает автономным транспортным средствам «запоминать» прошлые сцены вождения, прежде чем выбирать дальнейшие действия.

Как работает эта новая технология автономного вождения?

Метод, называемый KEPT, использует видео с фронтальной камеры, сравнивает его с обширной библиотекой более ранних видеороликов с реальных поездок, а затем прогнозирует более безопасную краткосрочную траекторию на основе как текущей ситуации, так и извлеченных примеров из прошлого. Основная идея довольно интуитивна. Вместо того чтобы просить модель ИИ реагировать на каждую ситуацию так, как будто она никогда раньше ничего подобного не видела, KEPT позволяет ей вспоминать похожие моменты из предыдущих поездок.

Затем эти примеры подаются в модель визуально-языкового восприятия в рамках структурированного процесса рассуждения. Это важно, поскольку, по словам исследователей, большие модели визуально-языкового восприятия могут в противном случае давать галлюцинации, игнорировать физические ограничения или предлагать движение, которое выглядит правдоподобно на бумаге, но не подходит для реального автомобиля. Таким образом, KEPT, по сути, действует как ограничители, чтобы модель оставалась в рамках того, как выглядели аналогичные дорожные ситуации в реальном мире.

Лучше ли она, чем традиционные автономные системы?

Исследователи протестировали KEPT на широко используемом бенчмарке nuScenes и заявили, что он превзошел как традиционные сквозные системы планирования, так и более новые планировщики на основе визуального языка по показателям разомкнутого контура. Ему даже удалось уменьшить ошибку прогнозирования и снизить количество потенциальных индикаторов столкновений, сохранив при этом достаточную скорость получения данных для обеспечения возможности использования в режиме реального времени.

На первый взгляд, это может показаться очевидным выбором для беспилотных автомобилей следующего поколения, но пока это не готово к эксплуатации на дорогах. Тем не менее, сама идея убедительна. Если автономные автомобили смогут сочетать восприятие в реальном времени с запоминанием того, как развивались подобные ситуации раньше, они могут в конечном итоге принимать решения, которые будут казаться менее негибкими и более человечными.