Современные беспилотные автомобили уже довольно хорошо «видят» окружающий мир. Но это работает в первую очередь при идеальном освещении. Как только в дело вмешиваются дождь, снег или внезапные вспышки света от машин экстренных служб, ситуация заметно усложняется. Миниатюрный новый сенсор размером примерно с песчинку может помочь решить эту проблему.
Новый датчик под названием photomemristor разработали исследователи из Penn State. Он отходит от привычного подхода к сенсорам компьютерного зрения и, по сути, вдохновлен человеческим глазом. Если говорить проще, это что-то вроде дополнительных искусственных глаз. В тестах устройство быстрее современных решений переключалось между ярким и темным освещением.
Человеческий глаз легко и почти автоматически адаптируется к свету и темноте. Если научить этому будущие автономные автомобили, они смогут работать надежнее, в том числе в плохую погоду. Такая помощь особенно пригодится сейчас, когда компании вроде Waymo и Zoox готовятся выводить все больше беспилотников на дороги в США и за их пределами. Результаты работы на этой неделе опубликовали в журнале Nature Communications.
«Подражая тому, как работает глаз, мы можем создавать photomemristor, которые гораздо надежнее работают в условиях смешанного освещения», — сказал в заявлении инженер Penn State и соавтор исследования Ларри Чанг.
Где компьютерное зрение дает сбой
Модели зрения для беспилотных автомобилей, как и любые системы компьютерного зрения, настолько хороши, насколько качественны данные, на которых их обучали. Несмотря на заметные усилия по улучшению работы в плохую погоду и при нестандартном освещении, достаточно взглянуть на города, где уже доступны сервисы беспилотного такси, чтобы увидеть знакомую картину: Phoenix, San Francisco и Austin известны долгими солнечными днями.
Но погода — не единственный фактор, способный сбить компьютерное зрение с толку. Если точнее, такие системы плохо справляются со смешанным освещением, как это называют исследователи нового сенсора. Один из типичных примеров — езда по длинной холмистой дороге ночью, когда навстречу внезапно выезжает машина с дальним светом. Резкий переход от темноты к свету фар и обратно дезориентирует, но большинство людей все же успевают сориентироваться и не теряют общее понимание того, что происходит вокруг.
Для машин это сложнее. В такой ситуации, отмечают авторы, беспилотник, ослепленный вспышкой встречного дальнего света, может на короткое время потерять из виду другие объекты рядом. Это может быть и тусклый красный сигнал светофора, и размытый силуэт выбежавшего оленя.
По образцу палочек и колбочек
Чтобы решить эту проблему, инженеры Penn State вернулись к основам и изучили, за счет чего человеческий глаз так хорошо справляется с подобными условиями. В наших глазах есть палочки и колбочки, которые помогают различать детали в темноте. Когда источник света резко становится ярче, пигменты в палочках временно «обесцвечиваются» и затем медленно восстанавливаются. Колбочки при этом не меняются, и именно это позволяет нам не терять контрастные детали, пока палочки заново адаптируются.
Вдохновившись этим естественным процессом, команда решила создать фотомемристор, который примерно повторяет взаимодействие палочек и колбочек в человеческом глазу. Сенсор собрали из двух материалов: эластичного гелеобразного пластика и порошкообразного соединения под названием titanium oxide, между которыми протекала вода. Titanium oxide улавливает свет из окружающей среды, после чего превращает его в электрический ток. Затем это напряжение проходит через проводящую поверхность пластика. На практике пластик впитывал больше воды и немного набухал в темных условиях, а при более ярком свете, наоборот, отдавал воду. Идея заключалась в том, чтобы создать сенсоры, похожие на глаз, которые могут «динамически адаптироваться к меняющимся условиям освещения».
Сам датчик выглядит как золотой квадрат с меньшим квадратом внутри и крошечными отверстиями по всей поверхности. Он еще и очень мал: одна сторона — всего полмиллиметра, то есть он тоньше большинства кредитных карт. Чтобы такой сенсор действительно работал в системе компьютерного зрения, несколько элементов нужно соединять в массивы.
Для проверки команда собрала несколько таких сенсоров в массив 4×4. Затем массив соединили с нейросетью, которая в этом случае играла роль компьютерного мозга беспилотника или робота. После этого исследователи прогнали новую систему машинного зрения через вариации стандартного теста, который можно увидеть у офтальмолога. Они поместили светодиодную букву «F» на фоне с регулируемым освещением. Системе с искусственными глазами нужно было отслеживать и распознавать букву F, пока фон менялся от очень яркого к очень темному.
После нескольких раундов начального обучения система показала точность 95% при распознавании буквы в условиях смешанного освещения. По словам команды, это лучше, чем у традиционных систем. Хотя по этому тесту она, вероятно, все же не обошла бы некоторых людей, у нее был и другой плюс: человеческому глазу обычно требуется от 20 до 30 минут, чтобы полностью адаптироваться к сильным изменениям света, а система справлялась за считаные секунды.
Потенциал не только для автомобилей
Хотя искусственные глаза хорошо показали себя в этом узком тесте, до установки таких сенсоров в реальные автомобили на дорогах еще далеко. Следующий шаг, по словам команды, — расширить набор сенсоров до мультимодальной системы, которая сможет одновременно обрабатывать и визуальные, и тактильные данные. В перспективе это может сделать автономные автомобили немного надежнее в восприятии окружающего мира.
Кроме того, исследователи считают, что версия этих искусственных глаз может помочь создать искусственную оптику, способную частично вернуть зрение людям с нарушениями зрения. Такие же глаза, по их словам, можно будет встроить и в гуманоидных роботов, чтобы они лучше ориентировались на складах и других объектах, где обычно работают люди. Звучит впечатляюще, хотя и начинает напоминать что-то из мрачной игры Cyberpunk 2077.
Разработка Penn State показывает, как можно повысить надежность систем компьютерного зрения в сложном освещении. Это особенно актуально для беспилотных автомобилей, которым приходится работать не только в ясную погоду, но и в дождь, снег или при резких перепадах света. Если технология дойдет до практического применения, она может улучшить безопасность автономного транспорта и других машин с «зрением» на основе сенсоров.
