Вячеслав Мурашкин, Яндекс: как беспилотные автомобили распознают 3D-объекты

Материал подготовил: Аркадий Софрыгин, основатель сайта Беспилот.
Присоединяйтесь к обсуждению темы в Facebook

Друзья, сегодня читаем транскрипт лекции Вячеслава Мурашкина "Как беспилотные автомобили распознают 3D-объекты: обзор современных методов". Весь текст ниже - выступление Вячеслава. 

О чем пойдет речь в нашем докладе? Я сделаю небольшой обзор сенсоров и датчиков, которые сегодня актуальны для беспилотного транспорта. Далее обсудим как формулируется задача распознавания 3D-объектов, поговорим про данные, которые используются для обучения и валидации моделей. И в заключении поговорим про алгоритмы и про методы распознавания 3D-объектов. 

Наверняка вы уже видели разные прототипы беспилотников. Для того, чтобы успешно осуществлять навигацию в сложных условиях, автомобилю необходимы специальные сенсоры, которые будут оценивать ситуацию вокруг него, для того чтобы понимать какие объекты находятся вокруг беспилота, что это за объекты, как они двигаются. На основе этой детекции можно будет делать прогноз движения машины.

Датчики и сенсоры беспилотного автомобиля Яндекс.

Давайте посмотрим на коробочку, которая находится сверху у беспилотника чуть более подробнее. Мы видим здесь такие сенсоры как антенны GPS, GSM модули. Они нам позволяют локализоваться и поддерживать связь с автомобилем. 

Также у нас есть видеокамеры. Они позволяют нам видеть что происходит вокруг автомобиля. Нам нужно видеть на 360 градусов вокруг и один из самых важных сенсоров беспилотного автомобиля это лидар. Лидары позволяют оценивать расстояние до объектов вокруг, которые окружают автомобиль, с точностью до нескольких миллиметров. 

Так выглядит лидарное облако. Это то, что получает беспилотник на входе от лидара для того, чтобы оценивать ситуацию вокруг. С этим облаком мы работаем для детектирования объектов.  

Облако точек, которое формирует лидар.

Задача детекции 3D-объектов

Помимо лидарного облака у нас есть картинка с камеры. Эти данные мы синхронизируем во времени. И это одна из задач, которая не так уж просто решается. Имея изображения с камер и 3D-точки, нам необходимо задетектировать объекты, которые находятся вокруг нас. 

Перед тем как строить любой детектор, любую модель машинного обучения, нам нужно договориться про метрики качества, как мы будем оценивать качество нашей модели. Здесь мы используем стандартные метрики качества для детекции. Есть коэффициент Жаккарда (ioU), который используется для понимания насколько наше предсказание корректно заматчено с разметкой. 

Коэффициент Жаккарда.

В зависимости от того, как хорошо мы сделали предсказание, мы принимаем решение засчитывать его или нет. Вообще есть стандартные для 3D-объектов значения ioU, при которых считается что детекция заматчилась с разметкой (т.е. точно соответствует разметке). Для машин это значение равно 0.7. 

Оценка точности

Помимо предсказания положения и размеров автомобиля нам нужно еще предсказать конфиденс. То есть уверенность. Насколько мы уверены, что в этом месте находится именно автомобиль, а не другой объект. Качество этого предсказания тоже нужно мерять. Конфиденс мы оцениваем с помощью Precision Recall. 

В данном примере приведены кривые Precision Recall для различных сегментов. Как правило датасет еще разделяется по сложности детекции. Это зависит от того насколько далеко находится машина, как она загорожена другими участниками движения и выходит ли она частично из кадра или нет. 

Средняя точность (AP).

Качество 3D-детекции можно оценивать непосредственно в 3D и также можно оценивать на виде сверху, это так называемый bird`s eye view. На самом деле для того чтобы успешно детектировать объекты для беспилотника, достаточно этого вида сверху. То есть высота нам не так важна. Потому что мы передвигаемся на плоскости и делаем все маневры тоже на плоскости дороги.  

3D-детекция.

Bird`s eye view.

Продолжение лекции смотрите в видео ниже

Сайт беспилотов Яндекса: sdc.yandex.com и да пребудет с вами беспилот!  

Cмотрите полное видео лекции Вячеслава Мурашкина.

Материалы по теме:

Друзья, всё общение как всегда в моем фейсбуке: https://www.facebook.com/arksofrygin

Аркадий Софрыгин

основатель BesPilot.com

Добавляйтесь в Facebook

Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра. Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.