Дмитрий Хизбуллин, ex-Starship: постоянное саморазвитие - единственный способ выжить для инженера

Материал подготовил: Аркадий Софрыгин, основатель сайта Беспилот.
Присоединяйтесь к обсуждению темы в Facebook
Подписывайтесь на наш телеграм-канал

Поговорили с Дмитрием Хизбуллиным (нейросети, компьютерное зрение, сейчас ведущий инженер в московском офисе Huawei), который работал в знаменитом стартапе беспилотных доставщиков Starship Technologies в Эстонии.    

C чего ты начинал?

Еще в школе я увлекся разработкой электроники - электронные схемы, транзисторы, паяльник в руках. Когда захотелось собирать поделки посложнее, следующим логическим шагом было начать прошивать микроконтроллеры. Так, лет с 16, я начал заниматься программированием: это был суровый ассемблер для микроконтроллеров MCS-51. Сам я из инженерной семьи, поэтому “инженерные вещи” пошли у меня очень легко. 

Меня всегда тянуло к электронике, поэтому я без особых раздумий отправился на радиофизический факультет университета Лобачевского (ННГУ) в родном Нижнем Новгороде. Это не чисто технический ВУЗ, на радиофаке было очень много физики и фундаментальной математики.

Однако под конец обучения я понял, что электроника с россыпями резисторов да конденсаторов, так сиявшая в 20-м веке, в 21-м уже совсем не актуальна. Современная схемотехника переходит целиком внутрь чипов, на кремниевый кристалл. Если сейчас посмотреть на печатную плату любого устройства: телефона, материнскую плату компьютера - там стоит несколько чипов и куча дорожек. И никаких старинных дискретных элементов, ни примитивных дросселей, ни более сложных операционных усилителей, практически нет. 

В итоге в конце обучения я заинтересовался темой FPGA (ПЛИС) - программирование логических интегральных схем. Это фактически та же самая цифровая электроника, но в виде кода. Описывается на языках описания аппаратуры - Verilog и VHDL, это специфические языки, которые больше похожи на HTML. То есть они не описывают никакую программу, а описывают электронную схему, все эти дорожки, подключение между различными логическими элементами и ячейками памяти. 

У тебя в то время уже было понимание, кем ты хочешь работать? Были какие-то конкретные цели? 

В те времена никакой четкой карьеры я себе не представлял. Я просто занимался тем, что нравилось мне в этот момент и планировал всего на 1-2 года вперед. На тот момент мне нравились электроника и физика. 

Но, честно говоря, у меня всегда была мечта - делать электронную аппаратуру для самолетов. Потому что самолет - это сложная вещь, это очень круто. Наверное круче самолетов могли быть только космические аппараты. Но это было пассивное желание, я больше лежал в направлении мечты, нежели чем бежал или шел ) 

Соображение было такое, что нужно в любом случае получать высшее образование и прокачивать свои навыки. А там уже у меня будет 5 лет подумать о том, куда дальше пойти. 

Расскажи как ты попал в Starship Technologies.

Начну немного издалека. После универа я работал FPGA-разработчиком в Нижнем, но довольно быстро перешел в очень крутой, особенно по меркам Нижнего Новгорода, американский стартап IntelliVision, который занимался компьютерным зрением. Мне была очень интересна эта тема, так как там много алгоритмики и этот стартап предлагал делать зрение именно на FPGA. Это довольно сложные алгоритмы обработки потока видео в реальном времени. Головной офис компании находился в Сан-Хосе, но у нее были офисы разработки в России и Индии.

В начале 10-х годов IntelliVision занимался большим количеством прорывных для своего времени проектов. Это то, что сейчас называется Edge Analytics, то есть компьютерное зрение на конечном устройстве, например на камере видеонаблюдения.

В конце 2000-х и в начале 2010-х годов, когда я пришел в команду, это было делать довольно сложно. Приходилось запускать ресурсоемкие алгоритмы сегментации на одном слабеньком ядре ARM, зачастую без векторных расширений NEON. А в камерах видеонаблюдения ARM ядра ставились исключительно для того, чтобы крутить на них веб-интерфейс с настройками камеры. Чип ставился очень слабый, но мы пытались запустить очень ресурсоемкие алгоритмы обработки видео-потока и у нас это успешно получалось. Мы продавали это большому количеству заказчиков, в том числе AT&T, Comcast, LG.

В одном из проектов мы сотрудничали с калифорнийской компанией Ring. Я поехал в Санта Монику, США, чтобы помочь им с интеграцией нашей библиотеки. Тогда они сидели буквально в подвале. Это был даже не офис, а склад, где они делали свои интеллектуальные дверные звонки с трансляцией видео на телефон. На этом складе они делали всё: производили, упаковывали и тут же сидели разработчики в комнатах без окон. А уже через год после того как мы с ними сотрудничали, они продали свой стартап Амазону за $1 млрд.  

Мы писали на Беспилоте про Ring. В него в свое время инвестировал Дмитрий Гришин из Mail ru Group и Grishin Robotics. Дмитрий активно инвестирует в робототехнику и новые технологии, в том числе в США.

Значит они удачно проинвестировали :) 

Получается вы в Нижнем делали технологию, которой заинтересовались ребята в Америке. Которые, в свою очередь, потом стали очень успешными. Можешь рассказать какие задачи решал ваш продукт?  

Основным продуктом IntelliVision была библиотека детекции динамических объектов (людей, автомобилей) в помещениях и на улице. Сейчас это уже делается при помощи нейронных сетей, но не стоит забывать, что до 2012 года нейронных сетей для зрения практически не существовало. До нейросетей задачка решалась классическими алгоритмами background-foreground сегментации. Когда у нас есть обрамляющие прямоугольники объектов с идентификаторами, мы можем навешивать высокоуровневую аналитику. 

Для ритейла мы считали количество входящих и выходящих из магазина людей, чтобы маркетологи могли определить конверсию. Для безопасности домов мы детектировали странное или подозрительное поведение людей около дома. Например если в ваш двор (в США) зашел человек и находится там длительное время. 

Тут есть конкретные сценарии - например нахождение человека там, где он не может находиться. Например в ЖД-транспорте не должно быть людей на путях. Есть визуальный регион с участком путей и если там находится bounding-box с ярлыком “человек”, то отправляется какое-то визуальное или звуковое оповещение.

Может возникнуть мысль, что для человека достаточно одного взгляда на сцену, чтобы понять, что на ней происходит. Зачем городить огород, писать какие-то алгоритмы? Для компьютера любая картинка выглядит как набор чисел. Это числа от 0 до 255 и есть сто тысяч таких чисел. Если открыть текстовый файл с этими числами, то вы ничего не поймете. При этом алгоритм должен понимать что это за числа и какие из них соответствуют человеку и есть ли вообще люди в кадре.

Это и есть та самая неинтуитивная сложность в проблематике компьютерного зрения: любой человек, увидев картинку, сразу скажет есть на ней люди или нет. А для компьютера это видео - просто набор чисел и мы, как программисты, должны написать алгоритм, который из этого низкоуровневого сырого представления в виде чисел делает высокоуровневое семантическое представление, то есть список людей на сцене, их позиции и другие характеристики. 

То есть сейчас вся эта работа ушла в нейросети и ты, логическим образом, тоже ушел в эту сферу? 

Примерно в 2016 году некоторые тендеры были выиграны не нами, потому что конкуренты предложили решения на первых имплементациях нейронных сетей. И сразу стало понятно, что если мы не изучим эту технологию и быстро не перейдем на нее, наша компания быстро потеряет конкурентоспособность. А для меня, как для разработчика, было очень интересно изучить новую сферу.

С одной стороны всегда есть боязнь чего-то нового. Изучение новой технологии - это выход из зоны комфорта. Но очень важно, особенно для инженера, уметь преодолевать себя и не замыкаться на какой-то одной области. Постоянное саморазвитие - единственный способ выжить для инженера. 

Быть открытым к изменениям - это универсальный метод, в том числе и для стартапов и крупного бизнеса. Есть процесс, называющийся pivot, когда компания периодически делает резкий или плавный разворот в сторону новых бизнес-возможностей. 

То же самое в карьере. Я выработал для себя такую ментальную модель, что раз в 5 лет вполне резонно разворачивать карьеру, может быть не на 90 градусов, а под каким-то углом. И в этом нет ничего плохого, потому что накопленные знания не теряются и новый этап развития карьеры строится на базе старого, но при этом ты переходишь в более актуальную область. 

То есть Starship заметили тебя из-за твоей работы с компьютерным зрением? И они сами на тебя вышли или ты с ними связался? 

Я всегда поддерживаю себя в тонусе и периодически собеседуюсь в разных компаниях, даже если не планирую туда переходить. И рекрутер из Украины вышла на меня по вакансиям Starship. Эта девушка отлично сделала свое дело и получила лично от меня звание “лучшего рекрутера, за всю историю”, из тех, с кем я общался. Она предложила пособеседоваться в эстонский стартап Starship Technologies. 

Мое внимание сразу привлекло то, что сооснователь компании - это один из первых инженеров Skype Ахти Хейнла, то есть будет у кого поучиться технологиям. И во-вторых, я уже давно подумывал поработать в другой стране и, в частности, в Европе. Одной из причин была возможность подтянуть английский язык. И в Эстонии по факту пришлось большую часть времени общаться на английском - не только на работе, но и в повседневной жизни. 

Вместе с одним из основателей Starship и Skype Aнти Хейнла в таллинском офисе компании.

Еще мне понравилось собеседование. Компании действительно не хватало специалистов по компьютерному зрению и в то время (2017 год) мало кто на рынке что-то знал о том, как дизайнить нейронные сети. Для роботов одно из важных направлений - это как раз зрение при помощи камер, которые расположены по периметру робота, у доставщиков Starship по 10 таких камер. 

Также мне понравилось тестовое задание от Starship. Это была computer-vision задачка, в которой нужно было ставить соответствие между автомобилями. Был дан набор изображений машин, были известны пары изображений, где находился один и тот же автомобиль и таких пар было несколько. Нужно было написать алгоритм, которые будет по паре маленьких картинок определять, что на них одна и та же машина или разные. Эта задача называется реидентификация и очень похожа на задачу распознавания лиц. 

Реидентификация нужна, чтобы корректно протрекать автомобиль. Например, если он заезжает за столб, куст или рекламный щит. После того, как машина выезжает из-за препятствия, неплохо бы знать, что это тот же самый автомобиль, тогда можно более точно оценить его скорость и направление движения.

Получается, что команде Starship не так просто было искать специалистов, которые имеют опыт работы с нейросетями, ведь в то время эта тема только начиналась. И это была сложная вакансия, в которой ты увидел определенный вызов и для себя? 

Да, определенно. Во-первых мне понравились задачи, которые ставила компания, сами по себе. На собеседовании вице-президент по инжинирингу Starship показал по удаленной связи (по видео) офис. И в офисе было расставлено большое количество разобранных роботов, внутри которых все свободное пространство было упаковано электронными платами и вязанками проводов. Я увидел, что с электронной точки зрения это очень крутое устройство, что это не просто слова или концепт, нарисованный на бумаге. 

Стало ясно, что Starship - компания с большими амбициями, у которых есть приличное количество роботов, для которых нужно довести до ума софт. 

Сколько времени ты проработал в Starship и какие были твои основные задачи в компании? 

Основной задачей было улучшать нейронную сеть, которая детектирует динамические объекты. Робот должен маневрировать на тротуаре между людьми и не врезаться в них и еще более важная задача - переезжать дорогу, уступив всем автомобилям. 

В Эстонии уже в 2017 году в ПДД были добавлены правила для роботов и у роботов самый низкий приоритет перед всеми участниками движения, поэтому даже если они переезжают через пешеходный переход с одного тротуара на другой, они должны уступить дорогу автомобилям. Для этого надо задетектировать машины и делать это при помощи нейронной сети в том числе по камерам.   

Получается, что Эстония - первая в мире страна, которая внесла в ПДД правила движения роботов? 

Думаю, что точно одна из первых. Есть либеральные страны, типа Сингапура, где такие инициативы тоже проходят быстро. 

Насколько я знаю, в России Яндекс.Роверы сейчас ездят без каких-то специальных правил. Они просто ездят по тротуарам и считаются такими же участниками движения, как пешеходы. И в ПДД России нет такого понятия как робот на дороге, хотя в Эстонии это было уже несколько лет назад. 

Starship основаны в 2014 году, а правила для роботов появились в 2017 году, то есть, 3 года роботы ездили в этой “серой зоне”. Очень часто стартапы тестируют свои технологии в таких серых легальных зонах до того как будут приняты новые правила и законы. Мотто стартапов Кремниевой Долины - цукерберговское “Move fast and break things” - все еще актуально.

Сколько времени ты проработал в Starship? 

Я проработал у них год. Мне всегда хотелось работать с полноразмерными беспилотниками и они в то время тоже набирали популярность. И через год работы в Starship мне сделала предложение компания Intelligent Autonomous Driving из Мюнхена. В общем, я поехал в Мюнхен работать с полноразмерными беспилотными автомобилями 4 уровня автономии. 

Что тебе запомнилось в Starship? 

Могу сказать, что Starship Technologies - это лучшая компания, из всех, где я работал. Это непередаваемый дух стартапа, высокотехнологичные решения и т.п. Вся команда из 150 человек была выровнена в одном направлении и у всех было ощущение, что уже скоро они изменят мир к лучшему.  

По сделанным рободоставкам это сейчас компания №1 в мире, буквально недавно была новость о 1.5 млн пройденных километров роботами Starship. 

И всё это растет в геометрической прогрессии. В конце прошлого года у них был миллион км, а сейчас уже 1.5 млн, значит к концу этого года будет уже 2.5-3 млн пройденных км. 

Растет неплохо, но, к сожалению, не повторяет успех софтверных продуктов, которые очень легко масштабируются, как тот же Skype, например. Продукты, которые имеют какую-то электронную основу, масштабировать гораздо сложнее. Тем не менее, у Starship это успешно получается. За счет непрерывного увеличения автономии Starship масштабируют флот роботов без увеличения количества телеоператоров, которые присматривают за роботами.

А как ты думаешь, поработав в этой сфере, через 10-15-20 лет - какая будет ситуация с роботами-доставщиками в мире? 1 вариант - они не станут массовой технологией и будут использоваться на ограниченных территориях (больницы, кампусы, коттеджные поселки и т.д.), 2 вариант - рост будет, но не массовый и курьеров рободоставщики полностью не заменят, и работать они будут не во всех районах крупных городов (по разным причинам: плохие дороги или погода, вандализм и т.д.), 3 вариант -  они станут абсолютно естественной и массовой вещью, такой, как сейчас например мобильные телефоны. И во всех центральных районах даже небольших городов, таких как Архангельск или Нижний Новгород, роботы будут постоянно работать. Я имею в виду ездящие и ходячие роботы. Как ты думаешь, какой вариант наиболее реалистичен в рамках 15-20 лет? 

Я думаю, что роботы, которые есть сейчас очень сильно разовьются и улучшатся за это время. Работать они будут не во всех областях, скорее всего это будут пригороды со слабым дорожным трафиком и большими расстояниями. Но определенно рободоставка будет быстро развиваться и опыт 2020 года показал, что люди очень легко и с удовольствием переходят на доставку роботами. После такого опыта многие уже не могут жить без доставки и перестают ходить в магазины. 

Но в некоторых, особенно плотных районах, все-равно будет преобладать доставка людьми до тех пор, пока не сделают традиционного ходячего робота “из фантастических фильмов”. Сейчас многие компании работают над ходячими роботизированными платформами и я считаю что появление таких роботов неизбежно, потому что все новые технологии, которые приходят, не могут сильно изменять сложившуюся инфраструктуру. И такие вещи как например доставка с помощью специальных труб могут появиться только в абсолютно новых городах. 

А в существующую инфраструктуру, где есть лестницы и дома без лифтов, органично впишутся только прямоходящие роботы.

Я тоже об этом думал и считаю, что массовое внедрение пойдет в сторону робособак и ходячих роботов, сразу как только они будут недорогими в производстве, быстрыми и полностью безопасными. А современные ездящие доставщики Starship и Яндекс.Ровер будут через 15-20 лет казаться современным детям и молодым людям очень устаревшими и даже смешными. Примерно как сейчас сравнить новый IPhone и первые модели мобильных телефонов. 

Если рассмотреть горизонт 10-15 лет, я думаю, что колесные роботы еще будут доминировать. Ходячие платформы гораздо сложнее и дороже. Даже если посмотреть в прошлое, колесные рободоставщики Starship появились в 2014 году, сейчас 2021 год, то есть прошло 7 лет, а признаков массовости все еще нет. 10-15 лет понадобится на то, чтобы они стали массовыми; в это же время начнет появляться много стартапов, которые делают ходячие роботизированные платформы. Причем ходячие не в стиле Boston Dynamics, которые записывают ролики с роботами в ограниченных условиях, а такие роботы, которых можно выпустить в город и они смогут там быстро и безопасно перемещаться и решать поставленные задачи. 

Пока что нет достаточно емких батарей а также мощных, легких и безопасных для людей приводов для ходячих роботов, которые сравнимы с мышцами человека. Также нет вычислительных платформ, которые будут обрабатывать большой поток информации с камер и лидаров. Да и самих дешевых и точных лидаров тоже пока нет. 

Лет через 10 по всем этим пунктам подтянутся компоненты для ходячих платформ и начнут появляться стартапы, которые разрабатывают ходячих роботов.  

То есть горизонт 10-15 лет - массовое распространение ездящих роботов-доставщиков в городах, а через 20-25 лет - ходящие и бегающие роботы, которые могут принести пиццу прямо до квартиры и даже на лифте самостоятельно подняться? 

Вполне возможно. И может быть это будет арендованный робот на примере каршеринга. И он может не только принести заказ из ресторана, но и уберется у вас дома, что-то отремонтирует, поменяет лампочки или постирает белье. У ходячих платформ гораздо большее количество сфер применения. 

Как ты думаешь - будет ли массовое развитие летающих беспилотных дронов?

Лично мое мнение, что в городских условиях у летающей доставки нет никаких шансов. Это очень опасно для людей, потому что всегда есть шанс, что дрон упадет кому-то на голову. Но в промышленности и сельском хозяйстве и вне городов, на стройплощадках и огороженных территориях дроны уже активно применяются. И есть приличное количество российских стартапов, которые делают беспилотные дроны и БПЛА для промышленных целей, но не для доставки в городах. 

Ну то есть, я сейчас смотрю в окно и вижу небо с облаками и птицами и через 20-30 лет не будет такого, что в небе городов постоянно будут летать дроны? Просто многие люди опасаются этого.  

Это будет только тогда, когда дроны будут летать полностью бесшумно и иметь механизм, предотвращающий падения. Может быть скоро откроют какой-то вид антиматерии, который отталкивается от земли, многие фантасты уже писали об этом. И тогда это возможно.

Есть еще варианты активной безопасности - например при падении дрон уходит в сторону от человека или животного и падает не землю. 

В Automotive для примера упор всегда делается на пассивную безопасность. Пример из темы автомобилей - сама конструкция машины делается прочной, чтобы не уповать на подушки безопасности. А если говорить о безопасности пешехода, то уже запретили все дизайны автомобилей с острыми углами и кенгурятники обязали всех убрать. Это пассивная безопасность, когда у вас более гладкий капот и, в случае ЧП, человек получит минимальные повреждения.   

Ты поработал в Automotive и беспилотах в Мюнхене и сейчас ушел в московский офис Huawei. Подскажи, твоя работа сейчас связана с беспилотными автомобилями? 

Мне сложно про это говорить, потому что есть NDA (договор о неразглашении). Я не могу рассказать, с чем сейчас связана моя работа, но могу в целом описать концепт исследовательского центра Huawei в Москве. Huawei - это большая компания, в которой работает 80 тыс. человек, и это сравнимо с компаниями IT-гигантами из США. 

Как и у многих крупных продуктовых компаний, у Huawei есть исследовательский отдел, который занимается перспективными разработками. То есть не поддерживает и разрабатывает текущий продукт, а делает следующее поколение или даже продукты через одно поколение. В таком отделе Huawei я и работаю. 

В Москве, в исследовательском центре Huawei сейчас примерно 1000 человек в шикарном офисе на Смоленской. Примерно половина сотрудников в центре - это люди с кандидатской или докторской степенью. Это очень крутые специалисты, которые занимаются перспективными разработками, в том числе относящимся к нейронным сетям.

Из уже публично доступной информации есть видео, снятое в апреле 2021 г., где беспилотник Huawei 4 уровня автономности ездит по улицам Шанхая.

Как ты думаешь - какие из новых технологий станут массовыми? Что станет новым интернетом или новый мобильной связью? То есть технологией, которая сейчас только зарождается, но которой будут пользоваться половина людей на Земле, а в крупных городах почти все? 

Буквально вчера закончился трехдневный хакатон “Цифровой прорыв”, где я был ментором на одном из треков, конкретно на треке РЖД. И на этом треке, РЖД и подразделение, которое отвечает на МЦК занимается экспериментальной версией беспилотного состава. Сейчас в поезде есть машинист и еще какое-то количество персонала, которые следят за безопасностью на ЖД-транспорте. При этом ЖД-транспорт первый напрашивается на автоматизацию и автономию. 

Специалисты, которые занимаются этим проектом, уже показали экспериментальное решение и оно работает. Система определяет безопасно ли люди зашли и вышли из вагона и можно ли закрывать двери. И когда остановить поезд, если произошло что-то непредвиденное, например если кого-то зажало в дверях или если человек упал на рельсы.  

Все эти вещи можно автоматизировать с помощью компьютерного зрения. И РЖД решили эту задачу и предложили всем участникам хакатона предложить свои решения. 

И мне кажется, что транспорт будет автоматизирован в первую очередь. Сначала железнодорожный, потом грузовики, потом автобусы и городской маршрутный транспорт и потом - такси и в последнюю очередь личные автомобили.

Что ты бы ты посоветовал молодым ребятам лет 17-18, которые сейчас интересуются новыми технологиями? Что перспективно изучать и как правильно строить карьеру?

Делайте долгосрочные инвестиции в свою карьеру, не гонитесь за быстрыми деньгами в индустрии. Можно получить гораздо большее моральное и, что уж там говорить, материальное удовлетворение, если в начале своей карьеры максимально поднажать на изучение фундаментальных знаний: будь то наука о данных, или области статистики и обработки сигналов, а может быть проектирование ПО, например функциональное или параллельное программирование.

Если есть выбор между рутинной работой за мидловые деньги или перспективным проектом с ощутимым влиянием на мир за интернские деньги, я определенно порекомендую последнее. Направьте свою энергию и энтузиазм на pet-проекты, из которых вы сможете сформировать себе портфолио, и попутно, что немаловажно, получить уйму удовольствия от процесса. Всем удачной карьеры, у вас все обязательно получится!

Смотрите все свежие новости о беспилотниках. Закажите беспилоты и роботов или консультацию по роботизации и автоматизации и да пребудет с вами беспилот!

Материалы по теме:

Друзья, всё общение как всегда в моем фейсбуке: https://www.facebook.com/arksofrygin

Аркадий Софрыгин

основатель BesPilot.com

Добавляйтесь в Facebook

Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра. Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.