[논문]실시간성과 강건성을 갖는 CMOS 자동노출 시스템

최원석; 김희수; 김재현; 조영기; 최성호; 이용선

doi:10.5392/jkca.2020.20.10.001

실시간성과 강건성을 갖는 CMOS 자동노출 시스템
CMOS Image Automatic Exposure System With Real-time and Robustness Style for the Journal of Korean Contents 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.20 no.10, 2020년, pp.1 - 13

최원석 (LIG넥스원) , 김희수 (LIG넥스원) , 김재현 (LIG넥스원) , 조영기 (LIG넥스원) , 최성호 (국방과학연구소) , 이용선 (국방과학연구소)

초록
AI-Helper

CMOS 카메라 영상의 화질을 좌우하는 것은 여러 가지가 있는데 그 중에서 영상 노출시간은 중요한 요소이다. 영상 노출시간이 길게 되면 화면 전체 영상이 밝아지게 되고 노출시간이 짧아지면 전체 영상이 어두워지게 된다. 정지 피사체를 사진 촬영할 경우 자동노출 시스템이 적절한 노출시간을 얻는데 충분한 시간이 주어지기 때문에 실시간성이 요구되지 않는다. 하지만 주행 중인 자동차의 블랙박스 같이 주변 빛 환경이 빠르게 변하게 되면 이에 맞추어서 노출시간도 실시간으로 반응하여 적용되어야 한다. 이를 위해서는 실시간성과 주변 빛 환경에 대하여 강건한 자동노출 시스템이 요구된다. 본 논문에서는 ZYNQ의 로직과 ARM코어를 적용한 임베디드 시스템 설계로 병렬 연산처리 가능한 실시간 제어 시스템을 설계하였고 이를 바탕으로 PID 제어를 통해서 66ms 이내에 원하는 목표 값으로 수렴하고 노이즈에 강건한 실시간 CMOS 자동 노출 시스템을 개발하였다.

Abstract ▼ AI-Helper

There are many factors that influence the image quality of CMOS camera images, among which the image exposure time is an important factor. If the image exposure time is long, the entire image on the screen becomes brighter. If the exposure time is shorter, the entire image becomes darker. When photographing a still image, real time is not required because the automatic exposure system is given sufficient time to obtain an appropriate exposure time. However, if the surroundings and environment change rapidly like the black box of a driving car, the exposure time should be applied in response to real time. To this end, a robust automatic exposure system for real-time performance and ambient light environment is required. An automatic exposure system that has real-time capability and is robust against the ambient light environment is required. we designed a real-time control sysem capable of parallel operation processing through the design of an embedded system using zynq's logic and ARM core, and developed a real-time CMOS automatic exposure system that is robust to noise and converges to a desired target value within 66 ms through PID control.

주제어

표/그림 (26)

그림 그림 1. 제한된 동적 범위에서 적정 노출 실패 이미지[8]
그림 그림 2. 노출시간에 따른 영상의 밝기[9]
그림 그림 3. CMOS센서의 이상적인 노출시간
그림 그림 4. CMOS 이미지 센서와 ZYNQ가 탑재된 회로카드
그림 그림 5. CMOS영상 제어 획득을 위한 기능 블럭도
그림 그림 6. CMOS 센서에서 132*100 픽셀만 적용
그림 그림 7. CMOS 영상 출력 타이밍
그림 그림 8. 노출시간과 영상프레임간의 타이밍[14]
그림 그림 9. 노출시간에 따른 CMOS 센서 영상[15]
그림 그림 10. ZYNQ 기능블럭도
그림 그림 11. ZYNQ & CMOS 컨트롤러
그림 그림 12. System Identification을 이용, 시스템의 입출력 값으로 시스템 추정 및 검증
그림 그림 13. CMOS 영상센서 모델의 마진
그림 그림 14. CMOS 영상 센서의 과도응답 특성
그림 그림 15. 노출시간에 따른 프레임내의 평균 픽셀 값(실내)
그림 그림 16. 측정값과 CMOS 영상 센서 모델의 시뮬레이션 값
그림 그림 17. PID 제어 루프
그림 그림 18. CMOS 영상 센서 자동 노출시간 제어 플로우 챠트
그림 그림 19. PID제어기를 이용한 CMOS 영상 센서 자동노출
그림 그림 20. CMOS 영상 센서를 이용한 야외영상 획득을 위한 시험 구성
그림 그림 21. CMOS 센서 자동노출 시스템의 마진
그림 그림 22. CMOS 센서 자동노출 시스템의 나이퀴스트 다이어그램
그림 그림 23. 스텝 입력에 대한 시스템 출력
그림 그림 24. 노출시간에 따른 화면의 영상
그림 그림 25. 노출시간에 따른 평균 픽셀 값
그림 그림 26. 한 프레임내의 평균 픽셀 값

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 ZYNQ를 이용하여 실시간으로 CMOS 영상 한 프레임의 평균 픽셀을 획득하였고 노출 시간을 조종함으로서 실시간성을 확보하였고 PID제어를 통해서 강건하고 빠른 반응속도를 가지는 CMOS 자동노출 시스템을 개발하였다.

제안 방법

CMOS 영상 센서 제어와 CMOS 영상 데이터를 실시간으로 처리하기 위하여 다음 [그림 4]와 같이 회로 카드를 설계 제작하였다. 회로카드는 CMOS 영상 센서와 프로세서와 FPGA 역할을 하는 ZYNQ로 구성이 되어 있다.
ZYNQ의 병렬처리 가능한 FPGA와 고성능 연산이 가능한 ARM 코어를 이용하여 실시간으로 픽셀 값 계산하여 바로 다음 프레임에 다른 노출시간을 적용할 수 있게 실시간 제어 임베디드 시스템을 적용하였으며 CMOS 영상 센서를 수학적으로 모델링하여 외란(밝기 변화)에 강인한 PID제어기를 적용하였다.
그 결과 우리가 원하는 강건하고 실시간성을 가지는 자동노출 시스템을 개발하였다.
본 논문에서는 MATLAB에서 제공하는 System Identification Toolbox를 이용하여 CMOS 영상 센서를 수학적으로 모델링하였다.
본 논문에서는 이러한 단점을 보완하고자 프레임과 다음 프레임 간의 짧은 시간에 실시간으로 한 프레임 안의 모든 픽셀 값들을 더하고 평균할 수 있도록 FPGA 기반 임베디드 시스템을 적용하였고 중간 값 알고리즘에 단순 비례제어가 아닌 PID제어를 적용하였다.
시뮬링크에서 제공하는 PID 튜너를 이용하여 CMOS 영상 센서 자동 노출 시스템이 다음과 같은 성능과 강건성을 갖도록 다음 [그림 19]와 같이 PID 제어기를 설계하였다. Rise Time은 시스템이 대략 특정 값에서 수렴하는 것으로 예측될 때 그 근사값에 도달한 시간을 의미한다.
위 3가지 문제를 해결하기 위해서 연구를 시작하였으나 감도범위는 CMOS 하드웨어에 따라서 달라지는 특징이기 때문에 본 논문에서는 다루지 않았고 WDR은 간단하게 히스토그램을 통해서 소프트웨어적으로 처리하였다. 하지만 마지막 급격한 조도변화 문제는 실시간 성과 강인한 자동노출 시스템이 요구된다.
위 전달함수를 CMOS 영상 센서의 플랜트로 볼 수있으며 이 플랜트에 PID제어기를 적용하여 실시간으로 중간 값을 알고리듬을 만족하는 자동 노츨 시스템을 개발하였다.
이러한 단점을 극복하기 위해서 본 논문에서 CMOS 영상 센서의 노출을 제어하기 위한 실시간 시스템에 PID(Proportional-Integral-Differential) 제어기를 적용하였다.
AE는 촬영되는 피사체와 배경의 노출치를 일정하게 유지시켜주는 기술이다. 이를 위해서 현재 프레임에서 노출치를 계산하고, 이를 목표 노출값과 비교하여 다음 프레임에 적용될 노출 시간을 보정한다. 즉, 목표 노출치보다 낮을 경우에는 노출시간을 증가시키고, 목표 노출치보다 높을 경우에는 노출시간을 감소시킴으로써 노출 치를 일정하게 유지한다[3].

대상 데이터

CMOS 영상 센서에서 출력되는 전체 영상 648*488영상 데이터를 처리하기에는 제작된 회로카드의 GUI 프로그램과의 통신이 최고속도 10Mbps HDLC통신이므로 30Hz 속도로 전체 영상을 실시간으로 전송하는데 한계가 있었다. 그러므로 132*100 픽셀 영상만 획득하여 실험에 적용하였다. 통신을 HDLC에서 고속의 Ethernet통신으로 설계 변경을 한다면 전체 영상을 실시간으로 처리할 수 있으므로 다음 프로젝트에서는 고속의 Ethernet 통신을 이용하여 전체 영상을 영상 처리할 예정이다.
본 논문에서는 CMOSIS사의 CMV300이라는 CMOS 영상 센서를 적용하였으며 주요 특징은 다음과 같다.
본 논문에서는 이를 위해서 XILINX사의 ZYNQ라고 불리는 최신 프로세서 칩을 적용하였다. ZYNQ는 FPGA(Field Programmable Gate Array)와 ARM 코어가 탑재되어 있는 통합 반도체 칩이다.

성능/효과

그리고 시험 중간에 빛 환경에 변화를 주어 외란을 임의적으로 만들었으며 이 외란에 대하여도 평균 픽셀 값이 100 ~ 200 이내에서 안정적으로 움직이는 것을 확인 할 수 있었다. 즉 외란한 강건한 시스템이 설계된 것을 확인할 수 있었다.
아래 [그림 15]는 이에 따른 노출 시간에 따른 한 프레임 내의 평균 픽셀 값의 변화 추이다. 실내에서 측정한 결과이며 노출시간이 20ms 이상부터는 아무리 노출시간을 늘려도 평균 픽셀 값이 200을 넘지 않는 것을 알 수 있다. 화창한 날 실외를 바라보고 측정할 경우에는 평균 픽셀 값이 240까지 올라가는 것을 확인하였다.

후속연구

그러므로 132*100 픽셀 영상만 획득하여 실험에 적용하였다. 통신을 HDLC에서 고속의 Ethernet통신으로 설계 변경을 한다면 전체 영상을 실시간으로 처리할 수 있으므로 다음 프로젝트에서는 고속의 Ethernet 통신을 이용하여 전체 영상을 영상 처리할 예정이다.
향후에는 CMOS 영상회로카드를 휴대할 수 있도록 수정 개발하여 자동차 안에서 바깥화면을 촬영하여 주행 중에 속도를 하나의 입력으로 산정하여 노출시간, 주행속도 이렇게 2개의 인풋을 가지는 PID제어기를 설계 적용하여 실험을 진행할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	영상 노출시간이 길어지면 어떻게 되는가?	CMOS 카메라 영상의 화질을 좌우하는 것은 여러 가지가 있는데 그 중에서 영상 노출시간은 중요한 요소이다. 영상 노출시간이 길게 되면 화면 전체 영상이 밝아지게 되고 노출시간이 짧아지면 전체 영상이 어두워지게 된다. 정지 피사체를 사진 촬영할 경우 자동노출 시스템이 적절한 노출시간을 얻는데 충분한 시간이 주어지기 때문에 실시간성이 요구되지 않는다.
	CMOS 이미지 센서는 어떠한 장점으로 인해서 다양한 분야에 사용되는가?	CMOS 이미지 센서는 소형, 고해상도, 저전력 등의 장점으로 인해서 모바일, 보안, 감시 등 다양한 분야에 사용되고 있다[1].
	AE에서는 촬영되는 피사체와 배경의 노출치를 일정하게 유지시켜주기 위하여 어떻게 하는가?	AE는 촬영되는 피사체와 배경의 노출치를 일정하게 유지시켜주는 기술이다. 이를 위해서 현재 프레임에서 노출치를 계산하고, 이를 목표 노출값과 비교하여 다음 프레임에 적용될 노출 시간을 보정한다. 즉, 목표 노출치보다 낮을 경우에는 노출시간을 증가시키고, 목표 노출치보다 높을 경우에는 노출시간을 감소시킴으로써 노출 치를 일정하게 유지한다[3].

참고문헌 (27)

W. Kim, "A Low-Power Extended-counting Delta-sigma ADC for CMOS Image Sensors," J. of Semiconductor Technology and Science, Vol.19, No.6, pp.594-599, 2019.

상세보기
D. Seong, B. Choi, and S. Kim, "Wide Dynamic Range CMOS Image Sensor with Adjustable Sensitivity Using Cascade MOSFET and Inverter," J. of Sensor Science and Technology Vol.27, No.3, pp.160-164, 2018.
모성욱, "CMOS Image Sensor용 자동노출 알고리즘의 하드웨어 구조," 한국산학기술학회 논문지, 제10권, 7호, pp.1497-1502, 2009.
전성천, "이미지 센서의 노출 조절 장치 및 그의 조절방법," 특10-0639111, 한국, 2006.
박준영, "자동 노출 제어 장치 및 방법," 특10-2006-0087661, 한국, 2005.
P. Kheirkhahan, "Robust Anti-Windup Control Design for PID Controllers," J. of Control Robotics and System, Vol.10, No.1, pp.1622-1627, 2017.
S. Pan and X. An, "Content-based Auto Exposure Control for On-board CMOS Camera," 11th International IEEE Conference on Intelligent Transportation System, 2008.
김명우, "차량 전방 카메라 노출방법에 대한 연구," 한국자동차공학회 추계학술대회, 제11권, pp.1534-1537, 2011.
김현우, "자동 노출 제어를 이용한 조명 변화에 강인한 실시간 얼굴 검출 시스템," 대한전자공학회 하계학술대회, 제36권, 제1호, pp.1442-1444, 2013.
Y. Jeon, H. Park, and Y. Yoon, "Design and Implementation of Multi Exposure Smart Vehicular Camera Applying Auto Exposure Control Algorithm Based on Region of Interest," J. of institute of Communications and Information Science Vol.42, No.1, pp.181-192, 2017.
T. KUNO and H. SUGIURA, "A new automatic exposure system for digital still cameras," IEEE(Trans-CE), Vol.44, No.1, 1998(2).
Abbas El Gamal, "High Dynamic Range Image Sensors," Stanford University, In International Solid-State Circutis Conference Tutorials, 2002.
Michael Muehlebach, Camera Auto Exposure Control for VSLAM Applications, Autumn Term, 2010.
Michael Muehlebach, Camera Auto Exposure Control for VSLAM Applications, Autumn Term, 2010.
CMOSIS Image Sensor, CMV300 Datasheet, 2016.
CMOSIS Image Sensor, CMV300 Application note for CMV, 2015.
K. Kim, "The Algorithm and Hardware Implementation of Average Luminance Computation Method of image to Improve Auto Exposure in Mobile Camera," International Conference on Electronics, pp.456-459, 2008.
H. Shin and J. Lee, "Multi-threaded System to Support reconfigurable hardware accelerators on Zynq SoC," J. of institute of Electrical and Electronics Engineers Vol.24, No.1, pp.186-193, 2020.
L. Lv, C. Chang, and Z, Zhou, "An FPGA-based Modified Adaptive PID Controller for DC/DC Buck Converters," J. of Power Electronics Vol.15, No.2, pp.346-355, 2015.

원문보기 상세보기
H. Choi, J. Cho, and Y, Kim, "Improve Stability of Military Infrared Image and Implement Zynq SoC," J. of Embed. Sys, Vol.13, No.1, pp.17-24, 2018.
M. Kang, "Measuring Ultrasonic TOF using Zynq Baremetal Multiprocessing," J. of Institute of Electronics and Information Engineers. Vol.54, No.6, pp.93-97, 2017.

상세보기
M. G. Kim "A Design of PID Controller through System Identification for A Robot Arm with Harmonic Reduction Gear," 한국정밀공학회 추계학술대회 Vol.15, pp.252-253, 2015.
https://kr.mathworks.com, 2020.7.1.
K. Ogata, Modern Control Engineering, 4th Edition, Prentice Hall, New Jersey, 2003.
이세진, "전기유압 서보시스템의 모델링과 PID제어," 유공압건설기계학회지, 제16권, 제4호, pp.16-22, 2019.
P, Deacha, "Optimal PID Controller Design for DC Motor Speed Control System with Tracking and Regulating Constrained Optimization via Cuckoo Search," J. of Electrical Engineering & Technology, Vol.13, No.1, pp.460-467, 2018.
Y. Lee, S. Kwon, and M. So, "Design of RCGA-Based PID Controller for two-input two-output system," J. of Advanced Marine Engineering and Technology, Vol.39, No.10, pp.1031-1036, 2015.

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증