Базовые знания по обработке изображений

Что такое камера?

Мы все видели разные камеры, например

Что такое камера? В конечном счёте это устройство, преобразующее оптический сигнал в электрический. В компьютерном зрении простейшая модель камеры — это модель камеры-обскуры (pinhole):

Модель камеры-обскуры — это идеальная модель камеры, которая не учитывает кривизну поля, дисторсию и другие проблемы, существующие в реальных камерах. Однако на практике эти проблемы можно решить, введя параметры дисторсии в процессе калибровки, поэтому модель камеры-обскуры по-прежнему остаётся самой широко используемой моделью камеры.

Изображение проходит через объектив и попадает на светочувствительную микросхему. Светочувствительная микросхема может преобразовывать такую информацию, как длина волны и интенсивность света, в цифровой сигнал, понятный компьютеру (цифровой схеме). Светочувствительный элемент выглядит так:

(Квадратный элемент в центре — это светочувствительный элемент)

Что такое пиксели и разрешение?

Светочувствительный элемент состоит из множества светочувствительных точек, например 640480 точек, каждая точка — это пиксель, и значения пикселей каждой точки собираются и упорядочиваются, формируя изображение, поэтому разрешение такого изображения — 640480:

Что такое частота кадров

Частота кадров (FPS) — это количество обрабатываемых изображений в секунду. Если она превышает 20 кадров, человеческий глаз почти не замечает прерывистости. Разумеется, если система используется машиной, чем выше частота кадров, тем лучше. Сравнение максимальной частоты кадров OpenMV:\ Примечание: отсутствие пометки означает, что изображение не передаётся в IDE, поскольку этот процесс занимает много времени.

Что такое цвет

С физической точки зрения цвет — это электромагнитные волны разной длины.\ \

Однако с учётом визуального восприятия человеческого глаза цвет видимого света можно описать с помощью цветовых пространств RGB, CMYK, HSB и LAB.

Основные цвета RGB

Принцип трёх основных цветов обусловлен не физическими, а физиологическими причинами человека. В человеческом глазу есть несколько типов колбочек, различающих цвета, наиболее чувствительных к жёлто-зелёному, зелёному и сине-фиолетовому (или фиолетовому) свету (длины волн 564, 534 и 420 нанометров соответственно).

Поэтому RGB часто используется в мониторах для отображения изображений.

LAB — яркость-контраст

В цветовом пространстве Lab: L — яркость; положительное число a обозначает красный, отрицательное — зелёный; положительное число b обозначает жёлтый, отрицательное — синий. В отличие от цветовых пространств RGB и CMYK, пространство Lab спроектировано так, чтобы быть максимально близким к человеческому зрению.

Поэтому компонент L позволяет регулировать пару "яркость" и изменять выходные уровни цвета компонентов a и b для точной цветовой балансировки.

Примечание: в алгоритме поиска цветных блобов в OpenMV используется именно режим LAB!

Выбор источника света

Если ваше устройство используется в промышленности или работает круглые сутки, крайне важно поддерживать стабильный источник света, особенно при использовании цветовых алгоритмов. При изменении яркости значения всего цвета сильно изменятся!

Будет дополнено

Фокусное расстояние объектива

Поскольку изображение преломляется объективом и попадает на светочувствительный элемент, именно объектив определяет размер и расстояние всего изображения. Один из важнейших параметров — фокусное расстояние.

Фокусное расстояние объектива — это расстояние от главной точки объектива до фокуса после преломления, важный показатель характеристик объектива. Длина фокусного расстояния объектива определяет размер изображения, размер поля зрения, размер глубины резкости и перспективу изображения. При съёмке одного и того же объекта с одинакового расстояния изображение, сформированное объективом с длинным фокусным расстоянием, будет крупнее, а изображение, сформированное объективом с коротким фокусным расстоянием — мельче. Обратите внимание: чем больше фокусное расстояние, тем меньше угол обзора.\

Ещё один момент — дисторсия объектива. Из-за принципов оптики разные позиции на светочувствительной микросхеме находятся на разном расстоянии от объектива. Проще говоря, чем ближе изображение, тем оно меньше. Поэтому по краям кадра возникает эффект "рыбьего глаза" (бочкообразная дисторсия). Чтобы решить эту проблему, можно использовать алгоритм коррекции дисторсии в коде. Примечание: OpenMV использует image.lens_corr(1.8) для коррекции объектива с фокусным расстоянием 2,8 мм. Также можно напрямую использовать объектив без дисторсии. У объектива без дисторсии есть дополнительный корректирующий элемент, поэтому его цена, естественно, намного выше.

Ниже приведено сравнение объективов с разным фокусным расстоянием, когда OpenMV находится примерно в 20 см от стола\

Фильтр объектива

На объективе обычно установлен фильтр.

Для чего нужен этот фильтр?

Мы знаем, что свет разных цветов имеет разную длину волны. В обычной среде, помимо видимого света, присутствует также много инфракрасного излучения. В приборах ночного видения используется именно инфракрасный свет.

Однако в обычных приложениях с распознаванием цвета инфракрасный свет не нужен, поскольку он также воздействует на светочувствительный элемент, делая всё изображение белёсым. Поэтому на объектив устанавливается фильтр, пропускающий только волны длиной до 650 нм, чтобы отсечь инфракрасное излучение.