Датчик LiDAR на вашем iPhone вскоре позволит вам видеть за углами.

Исследователи из лаборатории MIT Media Lab обнаружили поистине потрясающее применение датчику LiDAR , встроенному в ваши iPhone и iPad Pro . Он может обнаруживать и отслеживать объекты, которые находятся полностью за пределами поля зрения камеры. Да, это означает, что нужно видеть за углами.

Такой способ получения изображений, называемый визуализацией вне прямой видимости (NLOS), не является новой концепцией. Однако в прошлых демонстрациях использовались мощные и дорогостоящие лабораторные лазеры, имеющие ограниченное применение в реальных условиях.

Что делает это исследование захватывающим, так это то, что команда из Массачусетского технологического института добилась успеха, используя тот же маломощный лидарный датчик, который уже встроен в наши смартфоны.

Как это работает?

Команда использует датчик LiDAR, чтобы позволить нам заглядывать за углы и видеть объекты, которые не находятся непосредственно в поле нашего зрения. Секрет заключается в движении. По мере движения вашего устройства система одновременно отслеживает форму объекта, его положение и положение камеры во времени.

Команда называет это моделью апертурной выборки, и по сути она объединяет серию зашумленных, несовершенных показаний в нечто осмысленное. На выходе получаются не четкие фотографии того, что скрывается за углом. Вместо этого вы получаете постепенно наращивающиеся объемы информации. Система может сообщить вам, что что-то находится там, как оно движется и какова его приблизительная форма. Представьте себе это как эхолокацию, но со светом.

Что оно на самом деле умеет?

Команда продемонстрировала четыре конкретные возможности: отслеживание одного объекта, восстановление его формы, отслеживание нескольких объектов одновременно, а также нечто особенно интересное для робототехники — самолокализацию камеры с использованием скрытых ориентиров.

Последний пункт имеет огромное значение. Робот или автономная система, способная ориентироваться по объектам, которые она не может видеть напрямую, обладает огромным преимуществом в реальном мире. Это также может помочь улучшить технологии автономного вождения или дроны-доставщики, например, в предотвращении аварий.

К сожалению, прямо сейчас вы не можете попробовать это на своем смартфоне, «поскольку для этого этим компаниям пришлось бы публиковать свои необработанные данные, чего они часто не делают», — сказал Сиддхарт Сомасундарам, один из исследователей этого проекта. Тем не менее, исследователи сделали свой код общедоступным, и аппаратную часть датчика можно собрать менее чем за 50 долларов.