Особенности 3D TOF камер
Современное высокотехнологичное производство немыслимо без точных систем контроля качества выпускаемой продукции, автоматизации и систематизации. Автоматизация позволяет ускорить многие процессы, удешевить производство и значительно снизить влияние человеческого фактора на продукцию. И одним из самых сложных аспектов автоматизации являются задачи по оптимизации сложных и скоростных производственных процессов, уменьшению влияния человеческого фактора, 100% контролю продукции. И совершенно очевидно, что такие сложные задачи возможно решить опираясь исключительно на современные цифровые технологии.
Привычная для человеческого восприятия бинокулярная модель зрения в ряде случаев оказывается недостаточно быстрой и точной. В большинстве технологических процессов и анализа состояния объекта двумерного отображения критически недостаточно. Именно этот «недостаток» и восполняют системы машинного зрения, элементом которых и являются камеры глубины.
Основа таких систем заключается в определении расстояния до объектов, идентификация, распознавание положения и объема. Иными словами, вычисление глубины сцены и объекта, при этом двумерное изображение трансформируется в трехмерное. Можно сказать, что двумерное изображение дополняется параметром глубины. Это камеры, которые снимают видео, в каждом пикселе которого хранится не только цвет, но и расстояние до объекта в точке съемки. Такое представление весьма отличается от привычного нам «зрения» бионических систем.
Системы, основанные на машинном зрении широко применяются в области аналитики, автоматизации, контроля и беспилотного движения. Одним из методов построения 3D изображения является метод, основанный на измерении задержки отраженного света.
Технология 3D Time-of-Flight (TOF) основана на измерении времени задержки света, отраженного от препятствия. Суть метода в том, что при освещении сцены модулированным источником света можно обнаружить и измерить фазовый сдвиг между прямым освещением и отражённым светом.
Зная скорость света, длину модулируемой волны и время накопления заряда на матрице сенсора, можно с достаточной точностью вычислить разность хода лучей, а следовательно, и расстояние до объекта, от которого произошло отражение. Чаще всего освещение осуществляется светодиодом или твердотельным лазером, работающим в ближнем инфракрасном диапазоне (~850 nm), невидимом для человеческих глаз.
В реальной практике более распространенной является прямоугольная модуляция, так как ее легче реализовать с помощью современных цифровых преобразователей.
Датчик изображения, предназначенный для работы в том же спектре, принимает свет и преобразует фотонную энергию в электрический сигнал. Следует отметить, что, увеличивая количество сенсоров с разным временем накопления заряда, можно существенно повысить точность измерения расстояния до объекта. При этом информация о расстоянии (глубине) слабо подвержена помехам и практически не зависит от общей освещенности сцены.
Еще один, часто используемый тип камер машинного зрения – это стереоскопические камеры. (Depth from Stereo) это более простая технология по отношению к ToF. Как видно из названия метода, он основан на применении двух разнесенных сенсоров и встроенной подсветки.
Понятно, что для построения и оценки глубины требуется как минимум две видеокамеры, разделенные определенным расстоянием. Подобно человеческому глазу, любая точка в пространстве будет находиться в разных положениях для каждой камеры.
Основным преимуществом стереоскопических систем является то, что для них, как правило, не требуется дополнительного активного освещения, то есть подсветки собственным источником света, в большинстве случаев достаточно. Кроме того, подобные системы дешевле, потому что для сбора данных требуются только две камеры без сложного аппаратного решения, хотя для нахождения соответствующей точки и разработки трехмерного изображения может понадобиться сложный прикладной процессор.
Еще один важный положительный момент заключается в том, что эти системы могут выводить для фиксации (например, для хранения данных) еще и обычные двумерные изображения с высоким разрешением. Основным недостатком стереокамер является требование контраста в наблюдаемой сцене. То есть, если нет явного контраста между изображениями с двух камер, расстояние не может быть рассчитано достаточно точно. Например, в средах с монохромным покрытием, где нет контраста между тем, что видят две камеры, и в средах с недостаточным освещением при отсутствии собственной подсветки.
Очевидно, что такой метод измерения глубины эффективен только на небольших расстояниях, так как увеличение расстояния до объекта увеличивает погрешность карты. Для решения этой проблемы потребуется разносить сами камеры, что не всегда возможно. Именно поэтому производители сборных стерео-модулей обязательно указывают такой важный параметр, как параметр допустимой глубины съемки. Как уже отмечалось, глубина из стерео - самый дешевый метод, так как сами камеры недорогие.
Важнейшим отличием камер машинного зрения от остальных камер является способ работы в применяемых CMOS матрицах.
Технический термин «Rolling shutter» относится к порядку считывания данных с цифровой матрицы. То есть он не связан с фиксацией изображения, а только с его получением.
Считывание изображения происходит построчно сверху вниз
На сегодняшний день подавляющее большинство CMOS-сенсоров в видеокамерах устроены именно так. Система «скользящего» считывания построчно «сканирует» матрицу, получая кадр по частям строка за строкой, чаще всего сверху вниз. Такая схема работы затвора относительно дешевле и не требует дополнительных ресурсов в обработке снимаемого изображения с матрицы.
Такой метод считывания информации с CMOS-сенсора в большинстве случаев оправдывает себя. Но главной проблемой такого метода является появления артефактов при съемке быстро движущихся объектов.
Этот эффект максимально заметен при съемке транспортных средств, проезжающих мимо камеры под углами, близкими к перпендикуляру. То есть, когда линейная скорость объекта соизмерима со скоростью построчного считывания скользящего затвора при формировании кадра.
Интересные эффекты можно обнаружить при съемке вращающихся объектов. Они могут очень причудливо изгибаться и даже прерываться, в зависимости от скорости вращения. В целом, чем быстрее движение в кадре, тем более заметен эффект.
На этом фото отлично видно, как искажается конечное изображение относительно реального при работе скользящего затвора.
Проблему появления артефактов и искажений при съемке подвижных объектов решает применение кадрового затвора (Global Shutter)
При этой технологии производится сканирование всего поля матрицы, то есть – кадр формируется весь сразу и одновременно. Такой метод сканирования исключает временные задержки построчного считывания заряда с матрицы и тем самым устраняет нежелательные искажения. Кадровый затвор позволяет захватывать «стоп-кадр» быстро движущихся или быстро меняющихся событий. Он может быть сконфигурирован для работы в режиме непрерывного «перекрытия», при котором считывание не меняется, пока предыдущая информация о заряде считывается для каждого пикселя матрицы. В этом режиме датчик имеет полный рабочий цикл 100%, что приводит к оптимальному временному разрешению и эффективности сбора фотонов.
В течение всего этого цикла не существует периода «кратковременного» считывания, как в скользящем затворе. Важно отметить, что режим Global Shutter очень прост в синхронизации и часто дает более высокую частоту кадров, чем попытки синхронизации с Rolling Shutter с тем же временем экспозиции. Помимо устранения артефактов, заметным достижением глобального затвора является возможность существенного увеличения скорости съемки, которая так необходима для процессов машинного контроля на промышленных предприятиях.
Однако метод глобального затвора имеет и свои недостатки – из-за высокой скорости сканирования появляется больше шумов и уменьшается динамический диапазон. Но при этом он намного эффективен в отображении кадров без артефактов и искажений.
Эти технологии нашла широчайшее применение в промышленных роботах, системах контроля и автоматизации, для которых ToF камеры — идеальное решение.