선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문은 방향성 필터를 이용하여 수직, 수평, 대각선 방향의 에지를 고려한 컬러 보간 방법에 관한 것이다. 기존의 컬러 보간 방법을 이용하여 하드웨어 설계 시, 하드웨어 자원의 효율성과 복잡도를 고려한 컬러보간 방법을 제 안하였다.
- 본 논문은 이 전에 개발된 다양한 컬러 보간 방법 중, 기존의 방향성 필터를 이용하여 수직, 수평, 대각선 방향의 에지를 고려한 컬러 보간 방법[9]卩이의 하드웨어설계에 관한 것이다. 기존의 컬러 보간 방법은 방향성 필터를 사용하여 컬러 보간을수행하는방법[9]에 근간을 둔 빙.
제안 방법
- CIS와 Xilinx Virtex4 XC4VLX100 FPGA 보드를 사용하여, 제 안한 컬 러 보간 방법 의 실 제 동작을 검 증하였다. 육안으로 컬러 보간의 동작을 쉽게 확인하기 위하여, 컬러 보간을 실 행 한 후, Color Matrix, Gamma Correction 등의 후 처리를 실행하도록 하였다.
- Reconstruction 단계에서 우선 입력된 Bayer 패턴에식 (1)을 수직 과 수평 방향으로 적용하여 수직 과 수평 G 채널을 생성하고, 이를 이용하여 보간을 수행할 픽셀 위 치 에서 의 수직 과 수평 방향성을 판단한다[9]. 수직 과 수평 방향성을 판단함에 있어서 비율을 적용하여 대각선 방향까지 고려 되도록 하였다[10].
- 비교하였다. Verilog HDL을 이용하여 하드웨어로 구현하였으며, Xilinx Virtex4 XC4VLX100 FPGA 보드와 CMOS 이미지 센서(CIS)를 이용하여 검증하였다. 동작을 육안으로 쉽게 확인하기 위하여, 컬러 보간 후, Color Matrix, Gamma Correction 등의 후 처 리 를 수행 하도록 하였다.
- 제안한 컬러 보간은 Reconstruction0!] 많은 수의 iinsmemory가 필요한데, 필요한 line- memory의 수를 줄이기 위하여 pipe-line delay 개념을 이용하여 여고彳 line에서 Recongruction의 여러 과정들을 수행하도록 하였다. 제안한 방법은 Bayer 패턴에서 한 픽셀에서 Refii血g을 수행하기 위 하여 아래, 위 로 각각 한 픽 셀의 Recon- struction 결과가 필요하다.
- 기존 방법의 Refii血g에서 사용하는 LPF를이 용하여 Reconstruction 된 세 채널을 고주파와 저 주파 성분으로 나누었다. 그리고 Bayer 패턴에서의 RGB 세 픽셀의 위치에 해당하는 고주파 성분과 Reconstruction 된 저주파 성분을 결합하여 ReEi血g을 수행하도록 하였다. 식 ⑵는 G 채널의 Refining 과정을 표현하고 있다.
- 여기에서 수직과 수평 방향 에지를 고려한컬러 보간방법[9]의 경우, 참고한 논문 [9]에서 방향성 필터를 사용한 다른 컬러 보간 방법들과 성능을 비교하여 성능이 우수함을 보였다. 그리고 본 논문에 서 제안한 컬 러 보간 방법 은 [9] 방법 의 성능을 향상 시 킨 방법 이 므로, 본 논문에서 는 방향성 필터를 사용한 다른 컬러 보간 방법 에 대 해서는 언급하지 않도록 하겠다. 또한 기존 방법卩이의 경우 대각선을 고려하는 방법 에 따라서 성능에 변화가 올 수 있다.
- 방향성 판단이 완료되 고 나면 G 채 널의 보간을 완료하고, 그 결과를 이용하여 Bayer 패 턴에서 의 G 픽 셀 위 치 에 해 당하는 R과 B 채널의 보간을 수행한다. 그리고 이 결과와 판단된 방향을 이용하여 나머지 R과B 채널의 보간을 수행하여 Reconstruction을 완료한다.
- 이로 인히], 하드웨어 설계 시 추가적 인 line-memory의 사용을 줄이도록 하였다. 기존 방법의 Refii血g에서 사용하는 LPF를이 용하여 Reconstruction 된 세 채널을 고주파와 저 주파 성분으로 나누었다. 그리고 Bayer 패턴에서의 RGB 세 픽셀의 위치에 해당하는 고주파 성분과 Reconstruction 된 저주파 성분을 결합하여 ReEi血g을 수행하도록 하였다.
- 기존의 컬러 보간 방법을 이용하여 하드웨어 설계 시, 하드웨어 자원의 효율성과 복잡도를 고려한 컬러보간 방법을 제 안하였다. 그리고 24개의 Kodak 테스트 영상을 이용하여 시뮬레이션을 수행하였으며, 평균 PSNR을 비교함으로써 성능이 유사함을 확인하였다.
- 대하여 간단하게 설명하고 있다. 대각선을 고려함에 있어서 컬러 보간의 두 단계인 Reconstruction고+ Refining을 나누어서 고려하였다. 그리고 표 2에서 + 표시는 수직과 수평 방향을 의 미 하고 X 표시는 수직, 수평 방향에 대각선 방향을 추가한 것을 의 미 한다-.
- Verilog HDL을 이용하여 하드웨어로 구현하였으며, Xilinx Virtex4 XC4VLX100 FPGA 보드와 CMOS 이미지 센서(CIS)를 이용하여 검증하였다. 동작을 육안으로 쉽게 확인하기 위하여, 컬러 보간 후, Color Matrix, Gamma Correction 등의 후 처 리 를 수행 하도록 하였다.
- 또한 기존 방법卩이의 경우 대각선을 고려하는 방법 에 따라서 성능에 변화가 올 수 있다. 따라서 대각선을 고려하는 방법을 달리하여 시뮬레이션을 수행하였다.
- 또한 시뮬레이션을 수행함에 있어서 대각선 방향까지 고려하도록 하였다. 제안한 방법의 경우 Recons-traction은 기존 방법과 동일하므로 방향성을 고려 하기 위 하어 표 2의 경우를 모두 적 용하였고, Refining 은 표 2의 [과 2의 경우만을 적용하였다.
- 마지막으로 ci^core 블록은 컬러 보간의 핵심 기능을 담당하는 블록으로써 Reconstruction51]- Refining 과정을 수행한다 본 논문의 시스템은 1280x720 크기의 영상을 위한 컬러 보간 시스템이고, 연산의 정확도를 위해 소수점을 포함하여 12bit의 데이 터를 처 리 하도록 하였다. 앞에 서 언급했듯이 12개 의 line-memory가 필요한 더L 하드웨 어 설 계 의 Place & Route 단 계 에 서 line memory 사이의 공간을 줄여서 하드웨 어 공간을 절약하기 위하여 644x48 bit 사이 즈의 line-memory 6개 를사용하였다
- 성능을 확인하기 위하여 Kodak 테스트 영상 24장을 이용하여 시뮬레이션을 수행하여, 그 결과를 평균 PSNR을 구하여 비교하였다. 여기에서 수직과 수평 방향 에지를 고려한컬러 보간방법[9]의 경우, 참고한 논문 [9]에서 방향성 필터를 사용한 다른 컬러 보간 방법들과 성능을 비교하여 성능이 우수함을 보였다.
- 그리고 Recong饮uction을 위해서 방향성을 판단해야 하고, 이 방향성 판단을 위해서 아래, 위로 각각 2 line의 수직과 수평의 G 채널이 필요하다. 수직 G 채널의 생성을 위 해 다시 2 line의 Bayer 패 턴 정보가 필요하게 되고, 이로 인해 총 12개의 line-memory를 사용하였다. 그림 5는 이러한 일련의 과정을 보여준다.
- 치 에서 의 수직 과 수평 방향성을 판단한다[9]. 수직 과 수평 방향성을 판단함에 있어서 비율을 적용하여 대각선 방향까지 고려 되도록 하였다[10]. 방향성 판단이 완료되 고 나면 G 채 널의 보간을 완료하고, 그 결과를 이용하여 Bayer 패 턴에서 의 G 픽 셀 위 치 에 해 당하는 R과 B 채널의 보간을 수행한다.
- 앞에 서 언급했듯이 12개 의 line-memory가 필요한 더L 하드웨 어 설 계 의 Place & Route 단 계 에 서 line memory 사이의 공간을 줄여서 하드웨 어 공간을 절약하기 위하여 644x48 bit 사이 즈의 line-memory 6개 를사용하였다
- 증하였다. 육안으로 컬러 보간의 동작을 쉽게 확인하기 위하여, 컬러 보간을 실 행 한 후, Color Matrix, Gamma Correction 등의 후 처리를 실행하도록 하였다. 그림 7과 그림 8은 각각 Macbeth Color Checker와 Resolution Chart를 대 상으로 FPGA 보드를 이용하여 컬러 보간을 수행한 결과를 캡처 한 영상이다.
- 이를 위해 세 채널에 계수가 [1 1 1]/3인 저역 필터 (Low Pass Filter, LPF)를 적 용하여 저 주파 성 분과 고주파 성분으로 나누고, 각 채널의 고주파 성분을 교환한 후, 다시 저주파 성분과 결합함으로써 보정을 수행한다. LPF를 수행함에 있어서 앞에서 구한 판단된 방향을 적용하여 성능을 향상 시켰다[9][10].
- 법 으로써 Reconstruction과 Refining의 총 두 단계 과정으로 컬러 보간올 수행하고 있다. 이를 하드웨어로 설계하기 위하여, 하드웨어 복잡도와 하드웨어 자원의 효율성을고려해 줌으로써 수정된컬러 보 간 방법을 제안하였다. 제안한 컬러 보간 방법은 기존의 Reconstruction 단계는 그대로 사용하였고, Refining 단계에 있어서 line-memory/} 추가적 으로 필요하지 않도록 수정하였다.
- 제안한 방법은 Bayer 패턴에서 한 픽셀에서 Refii血g을 수행하기 위 하여 아래, 위 로 각각 한 픽 셀의 Recon- struction 결과가 필요하다. 따라서 2개의 line- memory가 필요하고, 이 두 픽 셀의 Recon-struction을 위해 다시 아래, 위로 최 대 두 픽 셀의 Reconstruction 결과가 필요하다.
- 제안한 방법은 Reconstruction 과정은 기존 방법을 그대 로 사용하 였 다. 그리 고 Refining 과정 에 서 는 기 존 방법의 개념을 이용하여 세 채널의 Reconstruction 된 결과만을 이용하여 Refining을 수행하도록 하였다.
- 또한 시뮬레이션을 수행함에 있어서 대각선 방향까지 고려하도록 하였다. 제안한 방법의 경우 Recons-traction은 기존 방법과 동일하므로 방향성을 고려 하기 위 하어 표 2의 경우를 모두 적 용하였고, Refining 은 표 2의 [과 2의 경우만을 적용하였다. 이는 Refining 과정의 수행 시 이전 단계의 Refining 결과 값을 이용하는 특성으로 인하여 line-menioiy의 개수가 증가하는 것을 고려한 것이다.
- 이를 하드웨어로 설계하기 위하여, 하드웨어 복잡도와 하드웨어 자원의 효율성을고려해 줌으로써 수정된컬러 보 간 방법을 제안하였다. 제안한 컬러 보간 방법은 기존의 Reconstruction 단계는 그대로 사용하였고, Refining 단계에 있어서 line-memory/} 추가적 으로 필요하지 않도록 수정하였다.
대상 데이터
- 표, 4 는 합성 조건 및 합성 결과를 보여준다. 합성 결과 50MHz의 동작 속도를 만족하였으며, gate counts는 75, 767개로 구성되었다.
데이터처리
- Kodak 테스트 영상 24장을 이용하여 시뮬레이션하였고, 평 균 PSNRfPeak Signal to Noise Ratio)을 구하여 기존 방법과 제안한 방법의 성능을 비교하였다. Verilog HDL을 이용하여 하드웨어로 구현하였으며, Xilinx Virtex4 XC4VLX100 FPGA 보드와 CMOS 이미지 센서(CIS)를 이용하여 검증하였다.
- 제안한 방법의 Refining의 성능을 확인하기 위하여, 위와 동일하게 Kodak 테스트 영상 24장을 이용하여 시뮬레이션을 수행하였고, 그 결과를 평균PSN眼로 구하여 비교하였다. 또한 시뮬레이션을 수행함에 있어서 대각선 방향까지 고려하도록 하였다.
성능/효과
- 또한, CIS와 Virtex4 FPGA 보드를 이 용하여 제 안한 컬러 보간의 동작을 실험하였으며, 정상적으로 동작함을 확인하였다. FPGA 보드를 통한 검증에서 CIS의 Cross-Talk 특성 등의 노이즈를 확인하였으며, 고주파 영역에서 Color Error 가 발생하였다. 따라서 이러한 노이 즈를 줄이 기 위 해 Cross- Talk 보정 과 Noise Reduction 기 능에 대 한 연 구가 추가적 으로 필요하며, Image Signal Process (ISP)에 이 러 한 기 능을 추가함으로써 ISP의 성능을 더욱 향상 시 킬 수 있을 것 이다.
- 기존의 컬러 보간 방법을 이용하여 하드웨어 설계 시, 하드웨어 자원의 효율성과 복잡도를 고려한 컬러보간 방법을 제 안하였다. 그리고 24개의 Kodak 테스트 영상을 이용하여 시뮬레이션을 수행하였으며, 평균 PSNR을 비교함으로써 성능이 유사함을 확인하였다. 또한, CIS와 Virtex4 FPGA 보드를 이 용하여 제 안한 컬러 보간의 동작을 실험하였으며, 정상적으로 동작함을 확인하였다.
- 3dB 정도 성능이 향상되었음을 알 수 있다. 그리고 위의 결과에서 Reconstruction을 수행한 후, Refining 과정을 거침으로써 PSNR이 약0.7~ 1.3dB 정도 증가하는 것을 통해서 Refining 과정의 효과를 확인할 수 있다.
- 그리고 다시 그 결과를 이용하여 Bayer 패턴에 서 의 R과 B 픽 셀 위 치 의 B오}■ R 픽 셀 의 Refining을 수 행 해 야 하므로 추가적으로 4개의 iine-memory가 필요하게 되어, 총 6개의 line-memory가 필요하게 된다. 따라서 Refining 과정을 수행함으로 인해 향상되 는 성 능에 비 해 하드웨 어 복잡도의 증가가 심하기 때문에, 성능은 거의 유지하면서 하드웨어 복잡도를 줄이는 방법을 제 안하였다.
- 35dB로써 차이가 미비한 것어) 비해 추가적인 lineTnemory를 사용하지 않는다는 장점이 존재한다. 따라서 본 논문에서 제안한 방법 의 경우 하드웨 어 복잡도 및 자원의 효율성에서 기존의 방법들보다 우수함을 알 수 있다.
- 그리고 24개의 Kodak 테스트 영상을 이용하여 시뮬레이션을 수행하였으며, 평균 PSNR을 비교함으로써 성능이 유사함을 확인하였다. 또한, CIS와 Virtex4 FPGA 보드를 이 용하여 제 안한 컬러 보간의 동작을 실험하였으며, 정상적으로 동작함을 확인하였다. FPGA 보드를 통한 검증에서 CIS의 Cross-Talk 특성 등의 노이즈를 확인하였으며, 고주파 영역에서 Color Error 가 발생하였다.
후속연구
- FPGA 보드를 통한 검증에서 CIS의 Cross-Talk 특성 등의 노이즈를 확인하였으며, 고주파 영역에서 Color Error 가 발생하였다. 따라서 이러한 노이 즈를 줄이 기 위 해 Cross- Talk 보정 과 Noise Reduction 기 능에 대 한 연 구가 추가적 으로 필요하며, Image Signal Process (ISP)에 이 러 한 기 능을 추가함으로써 ISP의 성능을 더욱 향상 시 킬 수 있을 것 이다. 이에 앞서 ISP 의성 능을 향상 시키 기 위하여 컬러 영상복원에 있어서 성능 향상이 필요하며, 이를 위해 에지 성분의 더욱 정밀한 방향성 판단 및 새로운 컬러 보간 방법에 대한 연구를 진행 중이다.
- 따라서 이러한 노이 즈를 줄이 기 위 해 Cross- Talk 보정 과 Noise Reduction 기 능에 대 한 연 구가 추가적 으로 필요하며, Image Signal Process (ISP)에 이 러 한 기 능을 추가함으로써 ISP의 성능을 더욱 향상 시 킬 수 있을 것 이다. 이에 앞서 ISP 의성 능을 향상 시키 기 위하여 컬러 영상복원에 있어서 성능 향상이 필요하며, 이를 위해 에지 성분의 더욱 정밀한 방향성 판단 및 새로운 컬러 보간 방법에 대한 연구를 진행 중이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.