Лидары и камеры являются стандартными элементами, входящими в аппаратный состав всех робототехнических автомобилей. Оба этих устройства используют в своей работе эффект отражаения света. Причем, камеры находятся в пассивном варианте работы, т.е. улавливают отражение постороннего источника света, а лидары при этом сами являются источниками лазерных импульсов, измеряя таким образом  отраженную волну света, которая пришла от близлежащих объектов. Камеры формируют двумерную картинку, а лидары — объемную, нечто вроде «облака точек». Компания Ouster разработала гибридное устройство, которое работает как камера, так и как лидар. Называется эта система OS-1. У этого девайса апертура больше, чем у большинства зеркалок, при этом сенсор, созданный компанией, очень чувствительный.

Изображения, получаемые системой, состоят из трех слоев. Первый — это изображение, полученное как бы обычной камерой. Второе — «лазерный» слой, полученный с использованием отражения луча лазера. И третий — это «глубинный» слой, который позволяет оценивать расстояние между отдельными пикселями первых двух слоев.

Стоит отметить, что у изображений по-прежнему есть существенные ограничения. Во-первых, это изображения низкого разрешения. Во-вторых, они черно-белые, не цветные. В-третьих, лидар работает не с видимым источником света, он имеет дело со спектром, близким к инфракрасному.

В настоящий момент стоимость лидара достаточно высокая — около $12 000. На первый взгляд, смысла в системе, которая получает изображения более низкого разрешения, чем стандартные камеры, а стоит, как чугунный мост, нет. Но разработчики утверждают, что здесь используется иной принцип работы, чем в обычном случае.

Это графические материалы, предоставленные компанией Ouster. Здесь показаны три слоя изображений и общая «картинка», что получается в результате

В обычной ситуации робомобили совмещают данные с нескольких различных источников, что требует времени. Камеры и лидары работают в разных режимах, результат работы — тоже разный. Кроме того, они обычно смонтированы в различных местах корпуса автомобиля, так что компьютеру приходится еще и заниматься корреляцией изображений, чтобы они были совместимы. Более того, сенсоры требуют регулярной рекалибровки, что сделать не так просто.

Некоторые разработчики лидаров уже пробовали совмещать камеру с лидаром. Но результаты получались не очень. Это была система «стандартная камера+лидар», что не слишком отличалось от существующих схем.

Ouster вместо этого использует систему, позволяющую OS-1 собирать все данные в одном стандарте и из одного положения. Все три слоя изображения превосходно коррелируют, как во времени, так и в пространстве. При этом компьютер понимает, какое расстояние между отдельными пикселями финального изображения.

По словам авторов проекта, именно такая схема практически идеальна для машинного обучения. Для компьютерных систем обработка такого рода изображений не представляет особого труда. «Скормив» системе несколько сотен снимков, ее можно обучить точно понимать, что изображено на финальной «картинке».

Некоторые разновидности нейронных сетей спроектированы таким образом, чтобы без проблем работать с мультислоями пиксельных карт. Кроме того, изображения могут содержать красный, синий и зеленый слой. Обучить такие системы работать с результатом работы OS-1 не составляет особенного труда. Компания Ouster уже решила эту задачу.

В качестве исходного материала они взяли несколько нейросетей, которые разработаны для распознавания RGB-изображений, и модифицировали их под свои нужды, научив работать с разными слоями своих изображений. Обработка данных ведется на оборудовании с Nvidia GTX 1060. При помощи нейросетей компьютер автомобиля научили «раскрашивать» дорогу в желтый цвет, а потенциальные препятствия — другие автомобили — в красный.

По мнению разработчиков, их система является дополнением к уже существующим, а не заменой. Лучше всего совмещать разного рода датчики, сенсоры, камеры, лидары и гибридные системы для формирования четкой картины окружающей среды, которая поможет автомобилю ориентироваться.

Справка:

Принцип действия лидара прост. Объект (поверхность) освещается коротким световым импульсом, и измеряется время, через которое сигнал вернется к источнику. Когда вы светите фонариком на объект (поверхность), то вы видите свет, отраженный от объекта и вернувшийся на вашу сетчатку. Свет распространяется очень быстро – около 300000 километров в секунду, или 0,3 метра за наносекунду, поэтому включение света кажется мгновенным. Однако это не так. Свет возвращается с некоторой задержкой, которая зависит от расстояния до объекта.

Расстояние, которое прошел фотон на пути до объекта и обратно, можно рассчитать по формуле: расстояние = (скорость света х время пролета) / 2. Оборудование, необходимое для измерения этого малого промежутка времени, должно работать чрезвычайно быстро. Это стало возможным только с достижениями в современной электронике и вычислительной техники.

Лидар запускает быстрые короткие импульсы лазерного излучения на объект (поверхность) с частотой до 150000 импульсов в секунду. Датчик на приборе измеряет промежуток времени, необходимый для возврата импульса. Свет движется с постоянной и известной скоростью, поэтому лидар может вычислить расстояние между ним и цели с высокой точностью. Существует два типа лидарных методов измерения: прямой метод измерения (также известный как некогерентный), и когерентное детектирование.

Когерентные системы лучше всего подходят для доплеровских или фазочувствительных измерений и, как правило, используют оптическое гетеродинное детектирование. Это позволяет им работать при гораздо меньшей мощности, но за при этом конструкция фотоприемной схемы намного сложнее.

Существуют две основные категории импульсных лидаров: микроимпульсные и высокоэнергетические системы. Микроимпульсные лидары работают на более мощной компьютерной технике с большими вычислительными возможностями. Эти лазеры меньшей мощности и классифицируются как “безопасные для глаз”, что позволяет использовать их практически без особых мер предосторожности.

Лидары с большой энергией импульса в основном применяются для исследования атмосферы, где они часто используются для измерения различных параметров атмосферы, таких как высота, наслоение и плотность облаков, свойства частиц облака, температуру, давление, ветер, влажность и концентрацию газов в атмосфере.