[논문]색상 보정을 위한 CIE1931 색좌표계 변환의 하드웨어 구현

이승민; 박상욱; 강봉순

doi:10.7471/ikeee.2020.24.2.502

색상 보정을 위한 CIE1931 색좌표계 변환의 하드웨어 구현
Hardware implementation of CIE1931 color coordinate system transformation for color correction 원문보기

전기전자학회논문지 = Journal of IKEEE, v.24 no.2, 2020년, pp.502 - 506

이승민 (Dept. of Electronics Engineering, Dong-A University) , 박상욱 (Dept. of Electronics Engineering, Dong-A University) , 강봉순 (Dept. of Electronics Engineering, Dong-A University)

초록
AI-Helper

자율주행 기술이 발전함에 따라 물체 인식 기술에 대한 중요도가 높아지고 있다. 물체 인식에 있어서 안개가 낀 날씨는 가시성 및 검출 능력을 저하시키기 때문에 안개 제거 연구가 필요하다. 하지만 안개가 제거된 이미지는 고유의 색상을 제대로 반영하지 못해 검출 오류를 발생시킨다. 본 논문에서는 CIE1931 색 좌표계를 사용해 색상 영역을 확장 또는 축소하여 실세계 색상을 반영하는 알고리즘 및 하드웨어를 제안한다. 또한, 영상 매체의 발달에 맞춰 4K 환경에서 실시간 처리가 가능한 하드웨어를 구현한다. 이 하드웨어는 Verilog로 작성되었으며 SoC 보드를 통해 검증하였다.

Abstract ▼ AI-Helper

With the development of autonomous driving technology, the importance of object recognition technology is increasing. Haze removal is required because the hazy weather reduces visibility and detectability in object recognition. However, the image from which the haze has been removed cannot properly reflect the unique color, and a detection error occurs. In this paper, we use CIE1931 color coordinate system to extend or reduce the color area to provide algorithms and hardware that reflect the colors of the real world. In addition, we will implement hardware capable of real-time processing in a 4K environment as the image media develops. This hardware was written in Verilog and implemented on the SoC verification board.

주제어

표/그림 (6)

그림 Fig. 1. The equation of CIE1931 algorithm. 그림 1. CIE1931 알고리즘의 수식
그림 Fig. 2. Color space extended from sRGB to Adobe RGB. 그림 2. sRGB에서 Adobe RGB로 확장된 색 공간
그림 Fig. 3. Haze removal image with extended color space. 그림 3. 색 공간을 확장한 안개 제거 이미지
그림 Fig. 4. Block diagram of proposed hardware. 그림 4. 제안하는 하드웨어의 블록도
그림 Fig. 5. Computational process of Split-add. 그림 5. Split-add의 연산과정
표 Table 1. Xilinx synthetic result. 표 1. Xinix 합성 결과

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

CIE1931 색 좌표계를 사용한 알고리즘을 간략하게 소개하고, 제안한 알고리즘의 하드웨어 구현을 소개한다. 또한, 하드웨어 검증을 위해 Xilinx 합성 결과를 제시하고 최종적으로 본 논문의 결론을 서술한다.
본 논문에서는 안개가 제거된 이미지의 고유한 색상을 반영하지 못하는 문제점을 개선하기 위해 기존 색 영역에서 다른 색 영역으로 확장 또는 축소가 가능한 하드웨어를 제안한다. 또한, 하드웨어나 소프트웨어가 지원하는 색 영역에 맞춰 사용자가 변경할 수 있도록 다양한 색 영역을 제공한다.

제안 방법

본 논문의 구성은 다음과 같다. CIE1931 색 좌표계를 사용한 알고리즘을 간략하게 소개하고, 제안한 알고리즘의 하드웨어 구현을 소개한다. 또한, 하드웨어 검증을 위해 Xilinx 합성 결과를 제시하고 최종적으로 본 논문의 결론을 서술한다.
마지막으로 출력 C값의 상부는 C1’, 하부는 C2’를 사용한다. split-add를 사용하여 critical path를 개선하고 연산 속도를 향상시켰다.
본 논문에서는 안개 제거 후 발생하는 문제점을 CIE1931 색 좌표계를 이용하여 개선하는 알고리즘과 하드웨어를 구현하였다. 그리고 하드웨어는 하드웨어의 속도를 향상시키기 위해 split-multiply와 split-add를 적용하였다. 하드웨어는 Verilog 언어를 통해 작성되었고 Xilinx의 xc7z045-2ffg900 보드를 목표로 FPGA 환경에서 구현하였다.
하지만 R2X, X2R Matrix는 특정 행렬에서 동일한 MSB(Most Significant Bit)값이 사용된다. 동일한 MSB를 verilog 코드 내에서 상수로 고정하여 12 bits의 parameter를 사용하여 총 362 bit을 초과하지 않도록 설계하였다.
본 논문에서는 안개 제거 후 발생하는 문제점을 CIE1931 색 좌표계를 이용하여 개선하는 알고리즘과 하드웨어를 구현하였다. 그리고 하드웨어는 하드웨어의 속도를 향상시키기 위해 split-multiply와 split-add를 적용하였다.
제안한 하드웨어는 Verilog를 통해 작성되었으며 Xilinx 사의 xc7z045-2ffg900 보드를 목표 보드로 FPGA(Field Programmable Gate Array) 환경에서 구현하였다. 하드웨어를 구현할 때, 보드별로 입출력의 총 bit가 정해져 있으며 본 논문에서 사용된 목표보드는 362 bits를 제공한다[9].
제안한 하드웨어는 영상기술의 발전에 맞춰 4K (3840×2160) 환경에서 실시간 처리가 가능하도록 하드웨어를 구현하였다.
그리고 하드웨어는 하드웨어의 속도를 향상시키기 위해 split-multiply와 split-add를 적용하였다. 하드웨어는 Verilog 언어를 통해 작성되었고 Xilinx의 xc7z045-2ffg900 보드를 목표로 FPGA 환경에서 구현하였다. Xilinx의 합성 결과는 Slice Register와 Slice LUTs는 각각 1.

대상 데이터

그림 2는 색 공간에서 하나의 픽셀이 24 bits인 RGB의 정보를 혼합하여 1,680만 가지의 색상과 채도, 명도를 모두 표현 가능한 full colors 이미지를 사용하였다. full colors 이미지를 입력 이미지로 넣었을 때, sRGB 색 영역에서 Adobe RGB 색 영역으로 색이 확장되는 것을 확인할 수 있다.
본 논문에서는 안개 제거 알고리즘의 단점을 개선하기 위해 CIE1931 색 좌표계를 사용한다. CIE1931 색 좌표계에 RGB 정보를 나타내기 위해 수학적으로 정의된 수식을 사용하여 RGB 값을 XYZ 값으로 전환한다.

이론/모형

XYZ to RGB의 구성은 19 bits의 XYZ와 16 bits의 X2R Matrix와의 행렬 곱셈 후 소수점 bit를 잘라 15 bits의 출력 RGB로 변환된다. 곱셈 연산은 RGB to XYZ와 동일하게 9개의 곱셈 연산이 필요하며 critical path를 개선하기 위해 split-multiply를 사용하였다. split-multiply를 통해 연산 된 값의 소수점 bit를 자르고 덧셈 연산을 통해 출력 RGB 정보를 구할 수 있다.
본 논문에서 사용된 CIE1931 색 좌표계 변환 방법은 그림 1과 같다. 안개 제거 알고리즘의 단점을 개선하기 위해 입력 이미지를 CIE1931 색 좌표계의 기존 색 영역에서 더 넓은 색 영역으로 확장하는 방법을 사용하였다.
본 논문에서 사용된 CIE1931 색 좌표계 변환 방법은 그림 1과 같다. 안개 제거 알고리즘의 단점을 개선하기 위해 입력 이미지를 CIE1931 색 좌표계의 기존 색 영역에서 더 넓은 색 영역으로 확장하는 방법을 사용하였다. 사용된 Matrix는 정의된 값을 사용한다.

성능/효과

하드웨어는 Verilog 언어를 통해 작성되었고 Xilinx의 xc7z045-2ffg900 보드를 목표로 FPGA 환경에서 구현하였다. Xilinx의 합성 결과는 Slice Register와 Slice LUTs는 각각 1.01%와 3.23%를 점유하였다. 또한, 최대 동작 주파수는 315MHz로써 4K(3840×2160) 환경에서 실시간 처리가 가능하다.
그리고 하드웨어의 최대 동작 주파수는 315MHz로 4K(3840×2160) 환경에서 37fps로 정상적으로 작동 가능한 것을 확인하였다.

참고문헌 (9)

H. L, S. W. Seo, "Stable and Precise Multi-Lane Detection Algorithm Using Lidar in Challenging Highway Scenario," The Institute of Electronics and Information Engineers(IEIE), vol.52, no.12, pp.158-164, 2015. DOI: 10.5573/ieie.2015.52.12.158

원문보기 상세보기
J. S. Oh, K. I. Lim and J. H. K, "A Research of Obstacle Detection and Path Planning for Lane Change of Autonomous Vehicle in Urban Environment," Institute of Control, Robotics and Systems, vol.21, no.2, pp.115-120, 2015. DOI: 10.5302/J.ICROS.2015.14.9006

원문보기 상세보기
D. H. Kim and J. E. Ha, "Multi-Lane Detection using Convolutional Neural Networks and Transfer Learning," Institute of Control, Robotics and Systems, vol.23, no.9, pp.718-724, 2017. DOI: 10.5302/J.ICROS.2017.17.0107

상세보기
Z. Xu, X. Liu and N. Ji, "Fog Removal from Color Images using Contrast Limited Adaptive Histogram Equalization," 2009 2nd International Congress on Image and Signal Processing, pp.1-5, 2009. DOI: 10.1109/CISP.2009.5301485.
D. Ngo and B. Kang, "Improving Performance of Machine Learning-based Haze Removal Algorithms with Enhanced Training Database," Institute of Korean Electrical and Electronics Engineers(IKEEE), vol.22, no.4, pp.948-952, 2018. DOI: 10.7471/ikeee.2018.22.4.948.
B. Cai, X. Xu, K. Jia, C. Qing and D. Tao, "DehazeNet: An End-to-End System for Single Image Haze Removal," in IEEE Transactions on Image Processing, vol.25, no.11, pp.5187-5198, 2016. DOI: 10.1109/TIP.2016.2598681.

상세보기
R. W. G. Hunt and M. R. Pointer, Measuring Colour 4th ed.. IS&T Wiley Series on Imaging, 2011.
D. Ngo, "Hardware implementation of low-light stretch algorithm," Master thesis, Dong-A Univ., 2018.
Xilinx, "DS190 - Zynq-7000 SoC Overview," https://www.xilinx.com/support/documentation/data_sheets/ds190-Zynq-7000-Overview.pdf

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증