RGB, YUV, Bayer: в чому реальна різниця між форматами пікселів?

Сьогодні поговоримо про важливий параметр промислових камер – формат пікселів.

1. Що таке формат пікселів?

Формат пікселів вказує на метод зберігання та структуру організації даних кожного пікселя під час отримання зображення камерою. Промислові камери підтримують кілька форматів пікселів, що дозволяє користувачам вибирати відповідний формат залежно від своїх потреб. Поширені формати пікселів включають: Mono, Bayer, RGB, YUV тощо.

2. Поширені формати пікселів

(1) Формат Mono

Формат Mono або режим монохромного зображення зазвичай використовується для отримання чорно-білих зображень. У цьому форматі кожен піксель містить лише інформацію про яскравість (світність) і не містить кольорової інформації. Наприклад, Mono 10 означає, що кожен піксель зберігається за допомогою 10 біт.

(2) Формат Байєра

Формат Байєра використовується для отримання кольорових зображень і базується на масиві кольорових фільтрів (CFA). Кожен піксель містить інформацію про червоний, зелений та синій кольори, проте зазвичай кожен піксель може реєструвати значення лише одного з цих кольорів. Інші кольорові значення отримують шляхом інтерполяції даних сусідніх пікселів.

Формат Байєра має кілька різних схем розташування, наприклад:

• RG, GB (зазвичай називається шаблон RGGB, що вказує кольорові канали для парних рядків)

• BG, GR (зазвичай називається шаблон BGGR, інший поширений порядок сканування)

(3) Формат RGB

Формат RGB містить три канали, які записують інформацію про яскравість для червоного, зеленого та синього кольорів відповідно. Кожен піксель містить інформацію про всі три кольори. У форматі RGB кожен піксель представляється трьома значеннями, що відповідають R, G і B.

(4) Формат YUV

Формат YUV — це піксельний формат, який часто використовується при обробці відео. Він розділяє інформацію зображення на компоненти яскравості (Y) та кольоровості (U, V). Y представляє яскравість (ступінь сірого), тоді як U і V представляють кольоровість (кольорову інформацію). Формат YUV часто використовується для стиснення відео, оскільки людське око більш чутливе до змін яскравості, ніж до змін кольоровості.

Поширені формати YUV включають:

• YUV 4:2:2

• YUV 4:4:4

• YUV 4:2:0

Ці формати вказують на різні методи субдискретизації кольоровості. Зазвичай менше число (наприклад, у 4:2:0 порівняно з 4:4:4) означає менше інформації про кольоровість і менший розмір отриманого файлу.

3. Формат пікселів і упаковка

Під час обговорення форматів пікселів іноді згадується поняття «упакованого» формату. Упаковка використовується для економії місця в пам'яті та пропускної здатності. У неупакованому форматі дані пікселів часто зберігаються в більшому обсязі пам'яті, вирівняному за стандартними межами (наприклад, 16 біт). Для оптимізації зберігання дані можуть бути упаковані в менший обсяг пам'яті, який ближче відповідає їх реальній глибині біт.

Наприклад:

• Mono 10 може означати неупакований формат, у якому 10-бітні дані займають 16-бітний простір, витрачаючи марно 6 біт.

• Mono 10 Packed зберігатиме 10-бітні дані ефективніше, наприклад, шляхом упакування кількох 10-бітних пікселів у послідовність байтів (наприклад, 4 пікселі в 5 байтах), економлячи місце в пам'яті та пропускну здатність каналу передачі. Конкретний метод упаковки може варіюватися.

4. Характеристики різних форматів пікселів  

(1) Монохромні камери: формат Mono

Необроблені дані з монохромних камер, як правило, перебувають у форматі Mono і містять лише відтінки сірого. Оскільки немає кольорової інформації, обсяг даних зображення є порівняно невеликим, що забезпечує вищу ефективність зберігання та передавання.

(2) Кольорові камери: формат Bayer

Необроблені дані з кольорових камер зазвичай використовують формат Bayer. Цей формат реєструє зображення за допомогою різних кольорових фільтрів (червоний, зелений, синій) на матриці. Обсяг даних у форматі Bayer менший, ніж у повному RGB, але оскільки кольорова інформація обчислюється шляхом інтерполяції (дебайеризація/демозаїкування), якість зображення може бути трохи гіршою порівняно зі справжнім RGB з точки зору кольорової роздільної здатності та потенційних артефактів.

(3) Формат RGB

Формат RGB підходить для отримання кольорових зображень високої якості. Кожен піксель містить дані для всіх трьох каналів RGB, що забезпечує насиченіші кольори. Він підходить для сценаріїв, де потрібна точна обробка кольору. Однак обсяг даних у форматі RGB є великим.

(4) Формат YUV

Формат YUV використовується для обробки відеосигналу. Він зменшує обсяг даних шляхом розділення інформації про яскравість та кольоровість. Оскільки компонент яскравості (Y) є основним, а людське око більш чутливе саме до нього, компоненти кольоровості (U, V) можна піддавати субдискретизації (знижувати їх роздільну здатність), що дозволяє ефективно стискати дані зображення. Цей формат широко використовується для передачі та зберігання відео.

5. Різниця між форматами пікселів

(1) Значення на піксель:

• Формат Mono: кожен піксель містить лише значення відтінку сірого.

• Формат Bayer: кожен піксель записує значення лише одного кольору (R, G або B); інші кольорові значення інтерполюються з сусідніх пікселів.

• Формат RGB: кожен піксель містить значення R, G та B.

• Формат YUV: розділяє зображення на компоненти Y (яскравість) та U, V (кольоровість).

(2) Розмір даних на кадр:

• Формат Mono: зазвичай 8, 10, 12 або 16 біт на піксель.

• Формат Bayer: загалом має менший розмір необроблених даних, ніж RGB, часто 8, 10 або 12 біт на піксель (до дебайєрування).

• Формат RGB: Займає більше місця, зазвичай 24 біти на піксель (8 біт на канал × 3 канали), часто позначається як RGB8.

• Формат YUV: Розмір варіюється залежно від методу дискретизації (наприклад, YUV422 зазвичай використовує в середньому 16 біт на піксель, YUV420 — 12 біт на піксель).

(3) Відмінності частоти кадрів:

Через різний обсяг даних досяжна частота кадрів варіюється в залежності від формату пікселів. Як правило, формат Bayer може забезпечити вищу частоту кадрів, оскільки його необроблений вихідний сигнал менший. Формат RGB зазвичай призводить до нижчої частоти кадрів через більший обсяг даних. Частота кадрів у форматі YUV, як правило, знаходиться між Bayer і RGB, залежно від субдискретизації.

(4) Відмінності якості зображення:  

Для кольорових камер зображення у форматі Bayer можуть мати трохи нижчу ефективну кольорову роздільність і потенційні кольорові артефакти (наприклад, муар), оскільки кольори інтерполюються.

Формат RGB забезпечує точніші та насиченіші кольори безпосередньо на рівні пікселя, оскільки для кольору не потрібна інтерполяція.

Колірна насиченість у форматі YUV може бути подібною до RGB, але відокремлення яскравості та кольоровості робить його ефективнішим для багатьох завдань обробки зображень і стиснення.

6. Як встановити формат пікселів

Перш ніж встановити формат пікселів, необхідно зупинити потік отримання зображення з камери. Потім, використовуючи програмне забезпечення керування камерою або отримавши доступ до деревоподібної структури властивостей камери (наприклад, через GenICam), виберіть потрібний формат пікселів у налаштуванні Pixel Format. Після зміни формату потік отримання зображення можна поновити.