RGB, YUV, Bayer: 픽셀 포맷 간 실제 차이는 무엇인가?

오늘은 산업용 카메라의 중요한 파라미터 중 하나인 픽셀 포맷(Pixel Format)에 대해 알아보겠습니다.

1. 픽셀 포맷이란 무엇인가?

픽셀 포맷이란 카메라가 이미지를 촬영할 때 각 픽셀의 저장 방식과 데이터 구성 구조를 의미합니다. 산업용 카메라는 여러 가지 픽셀 포맷을 지원하여 사용자가 필요에 따라 적절한 형식을 선택할 수 있습니다. 일반적인 픽셀 포맷으로는 Mono, Bayer, RGB, YUV 등이 있습니다.

2. 일반적인 픽셀 포맷

(1) 모노(Mono) 포맷

모노 포맷은 흑백 모드라고도 하며, 일반적으로 그레이스케일 영상 촬영에 사용됩니다. 이 포맷에서는 각 픽셀이 색상 정보 없이 오직 밝기(휘도) 정보만을 포함합니다. 예를 들어, Mono 10은 각 픽셀을 10비트로 저장한다는 것을 의미합니다.

(2) 베이어(Bayer) 포맷

베이어 형식은 컬러 이미지 획득에 사용되며 컬러 필터 어레이(CFA)를 사용합니다. 각 픽셀은 빨강, 초록, 파랑 색상 정보를 포함하지만 일반적으로 각 픽셀은 이들 색상 중 하나의 값만 기록할 수 있습니다. 나머지 색상 값들은 인접한 픽셀들의 값을 보간하여 얻습니다.

베이어 형식은 여러 가지 다른 배열 패턴을 가지며, 예를 들면:

• RG, GB (일반적으로 RGGB 패턴이라 하며 짝수 번째 행의 색상 채널을 나타냄)

• BG, GR (일반적으로 BGGR 패턴이라 하며 또 다른 일반적인 스캔 순서)

(3) RGB 형식

RGB 형식은 세 개의 채널로 구성되어 빨강(Red), 초록(Green), 파랑(Blue)의 밝기 정보를 각각 기록합니다. 각 픽셀은 세 가지 색상의 정보를 모두 포함하고 있으며, RGB 형식에서 각 픽셀은 R, G, B에 대응하는 세 개의 값으로 표현됩니다.

(4) YUV 형식

YUV 형식은 비디오 처리에서 일반적으로 사용되는 픽셀 형식입니다. 이 형식은 이미지 정보를 밝기(Y)와 색차(U, V) 성분으로 분리합니다. Y는 밝기(명도/그레이스케일)를 나타내며, U와 V는 색차(색상 정보)를 나타냅니다. 인간의 눈이 색차 변화보다 밝기 변화에 더 민감하기 때문에 YUV 형식은 비디오 압축에 자주 사용됩니다.

일반적인 YUV 형식에는 다음이 있습니다:

• YUV 4:2:2

• YUV 4:4:4

• YUV 4:2:0

이러한 형식들은 서로 다른 크로마 샘플링 방법을 의미합니다. 일반적으로 숫자가 작을수록(예: 4:4:4보다 4:2:0) 색차 정보가 적고 결과 파일 크기도 작아집니다.

3. 픽셀 형식 및 패킹

픽셀 형식에 대해 논의할 때 가끔 "패키드(Packed)" 형식이라는 개념이 등장한다. 패킹은 저장 공간과 대역폭을 절약하기 위해 사용된다. 언패키드 형식에서는 픽셀 데이터가 종종 16비트와 같은 표준 경계에 맞춰 더 큰 메모리 공간에 저장된다. 저장 공간을 최적화하기 위해 데이터를 실제 비트 깊이에 더 가까운 더 작은 메모리 공간에 패키드할 수 있다.

예를 들어:

• Mono 10은 10비트 데이터가 16비트 공간을 차지하는 언패키드 형식을 의미할 수 있으며, 이 경우 6비트가 낭비된다.

• Mono 10 Packed은 10비트 데이터를 보다 효율적으로 저장하며, 예를 들어 여러 개의 10비트 픽셀을 일련의 바이트로 패키징(예: 4개의 픽셀을 5바이트에 담는 것)하여 저장 공간과 전송 대역폭을 절약한다. 구체적인 패킹 방식은 다를 수 있다.

4. 다양한 픽셀 형식의 특성  

(1) 흑백 카메라: Mono 형식

흑백 카메라의 원시 데이터는 일반적으로 그레이스케일 정보만 포함하는 Mono 형식입니다. 색상 정보가 없기 때문에 이미지 데이터량이 상대적으로 작아 저장 및 전송 효율이 높습니다.

(2) 컬러 카메라: 베이어 형식

컬러 카메라의 원시 데이터는 일반적으로 베이어(Bayer) 형식을 사용합니다. 이 형식은 이미지 센서에 각각 다른 색상 필터(적색, 녹색, 청색)를 적용하여 영상을 캡처하는 방식입니다. 베이어 형식의 데이터량은 완전한 RGB보다 작지만, 색상 정보가 보간(interpolation, debayering/demosaicing)을 통해 계산되기 때문에 색상 해상도나 잠재적 아티팩트 측면에서 진정한 RGB에 비해 약간 떨어지는 화질을 가집니다.

(3) RGB 형식

RGB 형식은 고품질의 컬러 이미지 촬영에 적합합니다. 각 픽셀이 RGB 세 채널의 데이터를 모두 포함하므로 더 풍부한 색상을 표현할 수 있으며, 정교한 색상 처리가 필요한 상황에 적합합니다. 그러나 RGB 형식의 데이터량은 크다는 단점이 있습니다.

(4) YUV 형식

YUV 형식은 비디오 신호 처리에 사용됩니다. 이 형식은 밝기(Y) 정보와 색차(U, V) 정보를 분리함으로써 데이터 양을 줄입니다. 밝기 성분(Y)이 주요 부분이며 인간의 눈이 이에 더 민감하기 때문에, 색차 성분(U, V)은 샘플링을 줄일 수 있으며(해상도 감소), 이를 통해 영상 데이터를 효과적으로 압축할 수 있습니다. 일반적으로 비디오 전송 및 저장에 사용됩니다.

5. 픽셀 형식 간 차이점

(1) 픽셀당 값:

• 모노 형식: 각 픽셀은 회색조 값만 포함합니다.

• 베이어 형식: 각 픽셀은 하나의 색상(R, G 또는 B)에 대한 값만 기록하며, 나머지 색상 값은 인접 픽셀로부터 보간됩니다.

• RGB 형식: 각 픽셀은 R, G, B 값을 포함합니다.

• YUV 형식: 영상을 Y(밝기)와 U, V(색차) 성분으로 분리합니다.

(2) 프레임당 데이터 크기:

• 모노 형식: 일반적으로 픽셀당 8, 10, 12 또는 16비트입니다.

• 베이어 형식: RGB보다 일반적으로 더 작은 원시 데이터 크기를 가지며, 디베이어링 이전에 흔히 픽셀당 8, 10 또는 12비트입니다.

• RGB 형식: 더 많은 공간을 차지하며, 일반적으로 픽셀당 24비트(채널당 8비트 × 3채널)를 사용하고, 흔히 RGB8로 표기됨.

• YUV 형식: 샘플링 방식에 따라 크기가 달라짐 (예: YUV422는 평균적으로 픽셀당 16비트 사용, YUV420은 평균적으로 픽셀당 12비트 사용).

(3) 프레임 속도 차이:

데이터 양이 서로 다르기 때문에 픽셀 형식 간에 달성 가능한 프레임 속도가 달라짐. 일반적으로 Bayer 형식은 원시 데이터 출력 크기가 작기 때문에 더 높은 프레임 속도를 달성할 수 있음. RGB 형식은 데이터 크기가 크기 때문에 일반적으로 낮은 프레임 속도를 나타냄. YUV 형식의 프레임 속도는 보통 Bayer와 RGB 사이에 위치하며, 이는 하위 샘플링 방식에 따라 다름.

(4) 영상 품질 차이:  

컬러 카메라의 경우, Bayer 형식의 이미지는 색상이 보간되기 때문에 유효한 색상 해상도가 약간 낮거나 무아레(moiré)와 같은 색상 아티팩트가 발생할 수 있음.

RGB 형식은 색상 보간이 필요하지 않기 때문에 픽셀 수준에서 더 정확하고 풍부한 색상을 제공함.

YUV 형식의 색상 채도는 RGB와 유사할 수 있지만, 밝기와 색차를 분리함으로써 많은 이미지 처리 및 압축 작업에서 더 효율적입니다.

6. 픽셀 형식 설정 방법

픽셀 형식을 설정하기 전에 카메라의 이미지 취득 스트림을 중지해야 합니다. 그런 다음 카메라 제어 소프트웨어를 사용하거나 카메라의 속성 트리(GenICam 등을 통해)에 접근하여 픽셀 형식 설정에서 원하는 픽셀 형식을 선택합니다. 형식을 변경한 후에는 취득 스트림을 다시 시작할 수 있습니다.