Понимание применения 3D Vision в сфере AGV/AMR

Ключевой вывод:

3D-зрение позволяет мобильным роботам видеть, понимать и взаимодействовать с окружающей средой. Это многопрофильная технология, объединяющая компьютерную графику, компьютерное зрение и искусственный интеллект. Технология 3D-зрения захватывает трехмерные координаты каждой точки в поле зрения с помощью 3D-камер, реконструируя 3D-изображение с помощью алгоритмов. По сравнению с 2D-визуализацией 3D-зрение более стабильно, устойчиво к изменениям окружающей среды и освещения, а также обеспечивает лучший пользовательский опыт и более высокую безопасность.

Пути развития технологии 3D Vision

3D-датчики действуют как «глаза» 3D-зрения, используя комбинации нескольких камер и датчиков глубины для сбора данных о трехмерном положении и размере объектов. Основные доступные в настоящее время 3D-датчики зрения — это бинокулярные камеры, камеры структурированного света и камеры TOF (Time of Flight).

• Технология 3D-структурированного света: Этот метод использует инфракрасный свет, который проецируется на объект с определенной кодировкой. Когда свет отражается обратно, рисунок деформируется в зависимости от расстояния до объекта. Датчик изображения фиксирует деформированный рисунок, и с помощью триангуляции деформация каждого пикселя вычисляется для получения соответствующей диспаратности и дальнейшего расчета значения глубины.

• Принцип TOF (время пролета): Эта технология использует инфракрасный источник света для излучения высокочастотных световых импульсов на объект, затем принимает отраженные импульсы и вычисляет расстояние от камеры до объекта, измеряя время прохождения световых импульсов. В настоящее время на рынке есть два основных решения TOF: dTOF и iTOF. Эксперты отрасли полагают, что dTOF постепенно заменит iTOF из-за его превосходной производительности в ключевых аспектах, таких как разрешение, точность, сверхнизкое энергопотребление, сильные возможности защиты от помех и простая калибровка. Однако dTOF имеет высокие технические барьеры, высокую системную интеграцию и ограниченные ресурсы цепочки поставок.

• Технология бинокулярного стереозрения: Этот метод имитирует человеческое зрение, наблюдая за одним и тем же объектом с двух точек зрения, получая изображения объекта с разных перспектив. Используя триангуляцию, позиционное отклонение (несоответствие) между пикселями на изображениях вычисляется для получения трехмерного изображения объекта. Аппаратная структура бинокулярного стереозрения обычно использует две камеры в качестве устройств получения визуального сигнала. Эти камеры подключаются к компьютеру через карту получения изображений с двумя входными каналами, и аналоговые сигналы, собранные камерами, выбираются, фильтруются, улучшаются и преобразуются в цифровую форму, в конечном итоге предоставляя данные изображения компьютеру.

Применение 3D Vision в мобильных роботах

По мере того, как технология зрения развивается от 2D к 3D, 3D-датчики зрения становятся критически важными в мобильных роботах, предлагая восприятие глубины и позволяя осуществлять зондирование в реальном времени в трехмерных пространствах, точное распознавание объектов, обнаружение и избегание множества препятствий, интеллектуальное принятие решений и автоматизированное руководство. Эти возможности все чаще применяются в логистике, электронной коммерции, автоматизации, производстве, промышленных и сервисных роботах, коммерческих условиях и т. д., с расширяющимися границами применения.

В мобильной робототехнике 3D-зрение в основном используется для навигации, обхода препятствий, распознавания конечных материалов и стыковки.

• Навигация: Точное определение окружающей среды является основной задачей для мобильных роботов. «Окружающая среда» здесь включает в себя различные факторы, такие как помехи от различных условий освещения в помещении и на открытом воздухе, препятствия на пути, является ли маршрут чистым и ровным, типы объектов в окружающей среде, есть ли люди, которые могут заставить робота замедлиться или остановиться, пуст или полон поддон впереди, где находятся слоты для вставки загруженного поддона и как спланировать маршрут для забора. Упрощенно, логика заключается в том, что мобильный робот на основе зрения должен точно распознавать свое окружение, избегать динамических и статических препятствий, динамически приближаться к целевому объекту (навигация) и правильно взаимодействовать с целевым объектом (обнаружение объекта и распознавание позиционирования).

• Избегание препятствий: На рынке представлено множество датчиков обхода препятствий, таких как однолинейный LiDAR, ультразвук и полосы столкновений. Полосы столкновений обычно являются последней линией обороны для предотвращения насильственных столкновений; ультразвуковое обход препятствий часто приводит к ложным срабатываниям; однолинейный LiDAR имеет значительные слепые зоны (обнаруживает препятствия только в двухмерной плоскости, неспособен обнаруживать препятствия ниже или выше лазера, что представляет угрозу безопасности). Датчики 3D-зрения могут компенсировать эти недостатки. Лучшим на сегодняшний день решением для обхода препятствий для мобильных роботов является комбинация датчиков 3D-зрения и LiDAR, причем датчики 3D-зрения обеспечивают точное обход препятствий на коротких и средних расстояниях, а LiDAR — для двухмерного обхода препятствий на дальних расстояниях. Поскольку камеры TOF практически не имеют слепых зон, в настоящее время они являются наиболее широко используемыми камерами 3D-зрения для обхода препятствий AGV.

• Окончательное распознавание и стыковка: На некоторых складах размещение товаров является сложным, а ручное или транспортное размещение поддонов часто бывает неточным. Эта неточность затрудняет для беспилотного погрузчика точное определение поддона с использованием традиционных механических ограничений или распознавания монокулярной камеры, что приводит к частым ошибкам позиционирования во время стыковки поддонов и, как следствие, к низкой эффективности работы. Используя 3D-зрение для захвата изображений поддонов в сочетании с соответствующими алгоритмами обработки изображений, погрузчик может определять положение и координаты позы поддона, разумно корректировать направление для вставки и достигать беспилотной интеллектуальной обработки поддонов, решая проблему значительного углового отклонения во время стыковки поддонов беспилотным погрузчиком. Кроме того, алгоритмы ИИ могут использоваться для усиления и глубокого изучения моделей распознавания поддонов, что еще больше повышает точность распознавания и отслеживания поддонов.
•  

Будущие направления: более высокое разрешение, более высокая частота кадров, лучшая адаптация к окружающей среде

По мере того, как приложения мобильных роботов продолжают углубляться, спрос на более высокие возможности восприятия увеличивается, подталкивая развитие технологии 3D-зрения в этом направлении. Однако текущее применение 3D-зрения в мобильных роботах все еще находится на ранних стадиях. По мере того, как мобильные роботы продолжают развиваться, с более разнообразными средами применения, требования к системам 3D-зрения будут становиться все более строгими, что приведет к дальнейшим обновлениям в технологии 3D-зрения.

Нажмите на ссылку ниже, чтобы прочитать больше:

Представляем шасси робота Reeman Moon Knight

Представляем робота-доставщика еды Flash

Представляем робота-медсестру для доставки в больницу