RGB, YUV, Bayer: в чём реальная разница между форматами пикселей?

Сегодня поговорим об одном важном параметре промышленных камер — формате пикселей.

1что такое формат пикселей?

Формат пикселей определяет метод хранения и структуру организации данных каждого пикселя при захвате изображения камерой. Промышленные камеры поддерживают различные форматы пикселей, что позволяет пользователям выбирать подходящий формат в зависимости от своих потребностей. К наиболее распространённым форматам относятся: Mono, Bayer, RGB, YUV и другие.

2. Распространённые форматы пикселей

(1) Формат Mono

Формат Mono, или монохромный режим, обычно используется для получения чёрно-белых изображений. В этом формате каждый пиксель содержит только информацию о яркости (освещённости) и не содержит цветовой информации. Например, формат Mono 10 означает, что каждый пиксель хранится с использованием 10 бит.

(2) Формат Bayer

Формат Байера используется для получения цветных изображений и применяет цветовой фильтр (CFA). Каждый пиксель содержит информацию о красном, зеленом и синем цветах, однако, как правило, каждый пиксель может записывать значение только одного из этих цветов. Остальные цветовые значения получаются путем интерполяции значений соседних пикселей.

Формат Байера имеет несколько различных схем размещения, например:

• RG, GB (обычно называется шаблоном RGGB, указывает цветовые каналы для строк с четными номерами)

• BG, GR (обычно называется шаблоном BGGR, другой распространенный порядок сканирования)

(3) Формат RGB

Формат RGB содержит три канала, в которых отдельно записывается информация об интенсивности красного, зеленого и синего цветов. Каждый пиксель содержит данные по всем трем цветам. В формате RGB каждый пиксель представлен тремя значениями, соответствующими R, G и B.

(4) Формат YUV

Формат YUV — это формат пикселей, commonly используемый в обработке видео. Он разделяет информацию изображения на компоненты яркости (Y) и цветности (U, V). Y представляет яркость (градации серого), а U и V представляют цветность (цветовую информацию). Формат YUV часто используется для сжатия видео, поскольку человеческий глаз более чувствителен к изменениям яркости, чем к изменениям цветности.

Распространённые форматы YUV включают:

• YUV 4:2:2

• YUV 4:4:4

• YUV 4:2:0

Эти форматы относятся к различным методам субдискретизации цветности. Как правило, меньшее число (например, в 4:2:0 по сравнению с 4:4:4) означает меньший объём информации о цветности и, как следствие, меньший размер файла.

3. Формат пикселей и упаковка

При обсуждении форматов пикселей иногда возникает понятие «упакованного» формата. Упаковка используется для экономии места в хранилище и пропускной ширины канала. В неупакованном формате данные пикселей часто хранятся в более крупном объёме памяти, выровненном по стандартным границам (например, 16 бит). Для оптимизации хранения данные могут быть упакованы в меньший объём памяти, который более точно соответствует их реальной глубине цвета в битах.

Например:

• Mono 10 может подразумевать неупакованный формат, при котором 10-битные данные занимают 16-битное пространство, что приводит к потере 6 бит.

• Mono 10 Packed будет хранить 10-битные данные более эффективно, например, упаковывая несколько 10-битных пикселей в последовательность байтов (например, 4 пикселя в 5 байтах), что позволяет сэкономить место в хранилище и полосу пропускания при передаче. Конкретный метод упаковки может различаться.

4. Характеристики различных форматов пикселей  

(1) Монохромные камеры: формат Mono

Необработанные данные от монохромных камер обычно находятся в формате Mono и содержат только информацию об оттенках серого. Поскольку цветовая информация отсутствует, объём данных изображения относительно мал, что обеспечивает более высокую эффективность хранения и передачи.

(2) Цветные камеры: формат Bayer

Необработанные данные от цветных камер обычно используют формат Bayer. Этот формат захватывает изображения с помощью различных цветовых фильтров (красный, зелёный, синий) на матрице датчика изображения. Объём данных в формате Bayer меньше, чем у полного RGB, однако, поскольку цветовая информация вычисляется путем интерполяции (дебайеринг/демозаикинг), качество изображения может быть немного хуже по сравнению с истинным RGB с точки зрения цветового разрешения и возможных артефактов.

(3) Формат RGB

Формат RGB подходит для получения цветных изображений высокого качества. Каждый пиксель содержит данные по всем трем каналам RGB, что обеспечивает более насыщенные цвета. Он подходит для сценариев, требующих тонкой цветовой обработки. Однако объём данных в формате RGB значителен.

(4) Формат YUV

Формат YUV используется для обработки видеосигнала. Он уменьшает объём данных за счёт разделения информации о яркости и цветности. Поскольку компонент яркости (Y) является основным, а человеческий глаз более чувствителен к нему, компоненты цветности (U, V) могут подвергаться субдискретизации (снижению разрешения), что позволяет эффективно сжимать данные изображения. Этот формат широко применяется при передаче и хранении видео.

5. Различия между форматами пикселей

(1) Значение на пиксель:

• Формат Mono: каждый пиксель содержит только значение серого цвета.

• Формат Bayer: каждый пиксель записывает значение только одного цвета (R, G или B); значения остальных цветов интерполируются из соседних пикселей.

• Формат RGB: каждый пиксель содержит значения R, G и B.

• Формат YUV: разделяет изображение на компоненты Y (яркость) и U, V (цветность).

(2) Размер данных на кадр:

• Формат Mono: как правило, 8, 10, 12 или 16 бит на пиксель.

• Формат Bayer: обычно имеет меньший размер необработанных данных по сравнению с RGB, зачастую 8, 10 или 12 бит на пиксель (до дебайеризации).

• Формат RGB: занимает больше места, обычно 24 бита на пиксель (8 бит на канал × 3 канала), часто обозначается как RGB8.

• Формат YUV: размер варьируется в зависимости от способа дискретизации (например, YUV422 в среднем использует 16 бит на пиксель, YUV420 — 12 бит на пиксель).

(3) Различия частоты кадров:

Из-за различного объёма данных достижимая частота кадров различается в зависимости от формата пикселей. Как правило, формат Bayer позволяет достичь более высокой частоты кадров, поскольку объём его сырых данных меньше. Формат RGB обычно обеспечивает более низкую частоту кадров из-за большего объёма данных. Частота кадров в формате YUV, как правило, находится между значениями для Bayer и RGB и зависит от метода субдискретизации.

(4) Различия в качестве изображения:  

Для цветных камер изображения в формате Bayer могут иметь несколько меньшее эффективное цветовое разрешение и потенциальные цветовые артефакты (например, муар), поскольку цвета интерполируются.

Формат RGB обеспечивает более точные и насыщенные цвета непосредственно на уровне пикселей, так как интерполяция цветов не требуется.

Цветовое насыщение в формате YUV может быть сопоставимо с RGB, но разделение яркости и цветности делает его более эффективным для многих задач обработки изображений и сжатия.

6. Как установить формат пикселей

Перед установкой формата пикселей необходимо остановить поток захвата изображения камерой. Затем с помощью программного обеспечения управления камерой или доступа к дереву свойств камеры (например, через GenICam) выберите нужный формат пикселей в настройке Pixel Format. После изменения формата поток захвата можно возобновить.