RGB, YUV, Bayer: Jaka jest rzeczywista różnica między formatami pikseli?

Dziś porozmawiajmy o ważnym parametrze kamer przemysłowych – formacie pikseli.

1. Co to jest format pikseli?

Format pikseli odnosi się do metody przechowywania i struktury organizacji danych dla każdego piksela podczas robienia zdjęcia przez kamerę. Kamery przemysłowe obsługują różne formaty pikseli, umożliwiając użytkownikom wybór odpowiedniego formatu zgodnie z ich potrzebami. Do najczęstszych formatów pikseli należą: Mono, Bayer, RGB, YUV itp.

2. Najczęstsze formaty pikseli

(1) Format Mono

Format Mono, czyli tryb monochromatyczny, jest zazwyczaj używany do pozyskiwania obrazów w odcieniach szarości. W tym formacie każdy piksel zawiera wyłącznie informacje o jasności (luminancji) i nie zawiera żadnych informacji kolorystycznych. Na przykład, Mono 10 oznacza, że każdy piksel jest przechowywany przy użyciu 10 bitów.

(2) Format Bayera

Format Bayera służy do pozyskiwania obrazów kolorowych i wykorzystuje macierz filtrów kolorowych (CFA). Każdy piksel zawiera informacje o kolorach czerwonym, zielonym i niebieskim, jednak zazwyczaj każdy piksel może rejestrować wartość tylko jednego z tych kolorów. Pozostałe wartości kolorów są uzyskiwane poprzez interpolację wartości z sąsiednich pikseli.

Format Bayera posiada kilka różnych wzorców rozmieszczenia, na przykład:

• RG, GB (powszechnie nazywany wzorcem RGGB, wskazującym kanały kolorowe dla parzystych wierszy)

• BG, GR (powszechnie nazywany wzorcem BGGR, kolejny popularny sposób skanowania)

(3) Format RGB

Format RGB zawiera trzy kanały, rejestrujące informacje o jasności dla czerwonego, zielonego i niebieskiego odpowiednio. Każdy piksel zawiera informacje dotyczące wszystkich trzech kolorów. W formacie RGB każdy piksel jest reprezentowany przez trzy wartości odpowiadające R, G i B.

(4) Format YUV

Format YUV to format pikseli powszechnie stosowany w przetwarzaniu wideo. Dzieli on informacje obrazu na składowe jasności (Y) i kolorowości (U, V). Y reprezentuje jasność (odcienie szarości), podczas gdy U i V reprezentują kolorowość (informacje o kolorze). Format YUV jest często używany do kompresji wideo, ponieważ ludzkie oko jest bardziej wrażliwe na zmiany jasności niż na zmiany kolorowości.

Do najczęstszych formatów YUV należą:

• YUV 4:2:2

• YUV 4:4:4

• YUV 4:2:0

Te formaty odnoszą się do różnych metod subsamplingu kolorowości. Ogólnie mniejsza liczba (np. w 4:2:0 w porównaniu do 4:4:4) oznacza mniej informacji o kolorowości i mniejszy rozmiar wynikowego pliku.

3. Format pikseli i pakowanie

Omawiając formaty pikseli, pojawia się czasem pojęcie formatu "spakowanego". Pakowanie służy oszczędzaniu miejsca w pamięci i przepustowości. W formacie niespakowanym dane pikseli są często przechowywane w większej przestrzeni pamięci wyrównanej do standardowych granic (np. 16 bitów). Aby zoptymalizować miejsce, dane mogą zostać spakowane do mniejszej przestrzeni pamięci, lepiej odpowiadającej rzeczywistej głębi bitowej.

Na przykład:

• Mono 10 może oznaczać format niespakowany, w którym dane 10-bitowe zajmują przestrzeń 16-bitową, marnując 6 bitów.

• Mono 10 Packed przechowywałoby dane 10-bitowe bardziej efektywnie, na przykład pakując wiele pikseli 10-bitowych w sekwencję bajtów (np. 4 piksele w 5 bajtach), co oszczędza miejsce w pamięci i przepustowość transmisji. Konkretna metoda pakowania może się różnić.

4. Charakterystyka różnych formatów pikseli  

(1) Kamery monochromatyczne: Format Mono

Dane surowe z kamer monochromatycznych są zazwyczaj w formacie Mono, zawierającym wyłącznie informacje w odcieniach szarości. Ze względu na brak informacji kolorowych objętość danych obrazu jest stosunkowo niewielka, co przekłada się na wyższą efektywność przechowywania i transmisji.

(2) Kamery kolorowe: format Bayer

Dane surowe z kamer kolorowych zazwyczaj wykorzystują format Bayer. Format ten rejestruje obrazy za pomocą różnych filtrów barwnych (czerwony, zielony, niebieski) umieszczonych na czujniku obrazu. Objętość danych w formacie Bayer jest mniejsza niż w pełnym RGB, jednak ponieważ informacja kolorowa jest obliczana poprzez interpolację (debayering/demosaicing), jakość obrazu może być nieco gorsza od prawdziwego RGB pod względem rozdzielczości kolorów i potencjalnych artefaktów.

(3) Format RGB

Format RGB jest odpowiedni do pozyskiwania wysokiej jakości obrazów kolorowych. Każdy piksel zawiera dane dla wszystkich trzech kanałów RGB, co zapewnia bogatsze kolory. Nadaje się do scenariuszy wymagających precyzyjnej obróbki kolorów. Jednakże objętość danych w formacie RGB jest duża.

(4) Format YUV

Format YUV jest używany w przetwarzaniu sygnału wideo. Zmniejsza objętość danych poprzez oddzielenie informacji o jasności i kolorze. Ponieważ składowa jasności (Y) jest podstawowym elementem, a ludzkie oko jest bardziej wrażliwe na nią, składowe koloru (U, V) mogą być podpróbkowane (zmniejszone pod względem rozdzielczości), co pozwala na efektywne kompresowanie danych obrazu. Format ten jest powszechnie stosowany w transmisji i zapisie wideo.

5. Różnice między formatami pikseli

(1) Wartość na piksel:

• Format Mono: Każdy piksel zawiera tylko wartość odcienia szarości.

• Format Bayer: Każdy piksel rejestruje wartość tylko jednego koloru (R, G lub B); pozostałe wartości kolorów są interpolowane z sąsiednich pikseli.

• Format RGB: Każdy piksel zawiera wartości R, G i B.

• Format YUV: Oddziela obraz na składowe Y (jasność) oraz U, V (kolor).

(2) Rozmiar danych na klatkę:

• Format Mono: Zwykle 8, 10, 12 lub 16 bitów na piksel.

• Format Bayer: Ma zazwyczaj mniejszy rozmiar danych surowych niż RGB, często 8, 10 lub 12 bitów na piksel (przed dematrycowaniem).

• Format RGB: Zajmuje więcej miejsca, zwykle 24 bity na piksel (8 bitów na kanał x 3 kanały), często oznaczane jako RGB8.

• Format YUV: Rozmiar zależy od rodzaju próbkowania (np. YUV422 używa średnio 16 bitów na piksel, YUV420 używa średnio 12 bitów na piksel).

(3) Różnice w częstotliwości klatek:

Ze względu na różną objętość danych osiągane częstotliwości klatek różnią się w zależności od formatu piksela. Ogólnie format Bayer pozwala na wyższą częstotliwość klatek, ponieważ jego dane surowe są mniejsze. Format RGB zazwyczaj daje niższą częstotliwość klatek ze względu na większy rozmiar danych. Częstotliwość klatek w formacie YUV zazwyczaj mieści się pomiędzy formatami Bayer i RGB, w zależności od podpróbkowania.

(4) Różnice jakości obrazu:  

W przypadku kamer kolorowych obrazy w formacie Bayer mogą mieć nieco niższą efektywną rozdzielczość kolorów oraz potencjalne artefakty kolorystyczne (takie jak moaré), ponieważ kolory są interpolowane.

Format RGB zapewnia dokładniejsze i bogatsze kolory bezpośrednio na poziomie piksela, ponieważ nie jest wymagana interpolacja kolorów.

Nasycenie kolorów w formacie YUV może być podobne do RGB, ale oddzielenie jasności i chrominancji czyni go bardziej efektywnym w wielu zadaniach przetwarzania obrazu i kompresji.

6. Jak ustawić format pikseli

Przed ustawieniem formatu pikseli konieczne jest zatrzymanie strumienia pozyskiwania obrazu przez kamerę. Następnie, za pomocą oprogramowania sterującego kamerą lub poprzez dostęp do drzewa właściwości kamery (np. poprzez GenICam), należy wybrać żądany format pikseli w ustawieniu Format pikseli. Po zmianie formatu strumień pozyskiwania można ponownie uruchomić.