최근에 개발된 고기능 이미지센서(image sensor)와 초소형 카메라 모듈(module)기술은 더 작고 더 가벼운 모바일 기기에서도 필요한 영상을 유용하게 얻을 수 있도록 해주고 있다. 그러나 소형화된 카메라 모듈은 구조적인 한계로 인해 일반적인 디지털 카메라에서는 사용되는 여러 가지 기능들이 제한적으로 사용되며, 렌즈가 가진 광학적 기술의 한계로 인해 화상의 왜곡현상이 일어나는 등 여러 가지 제약 조건이 발생한다. 이러한 이유들로 인해 일반적인 디지털 카메라에 적용되는 화질 제어 방식을 모바일 카메라에 동일하게 적용할 경우 양질의 영상을 획득하는데 한계가 있다.
디지털 카메라의 이미지 제어를 위한 기술로는 3A라 불리는 자동 노출보정(auto exposure, ...
최근에 개발된 고기능 이미지센서(image sensor)와 초소형 카메라 모듈(module)기술은 더 작고 더 가벼운 모바일 기기에서도 필요한 영상을 유용하게 얻을 수 있도록 해주고 있다. 그러나 소형화된 카메라 모듈은 구조적인 한계로 인해 일반적인 디지털 카메라에서는 사용되는 여러 가지 기능들이 제한적으로 사용되며, 렌즈가 가진 광학적 기술의 한계로 인해 화상의 왜곡현상이 일어나는 등 여러 가지 제약 조건이 발생한다. 이러한 이유들로 인해 일반적인 디지털 카메라에 적용되는 화질 제어 방식을 모바일 카메라에 동일하게 적용할 경우 양질의 영상을 획득하는데 한계가 있다.
디지털 카메라의 이미지 제어를 위한 기술로는 3A라 불리는 자동 노출보정(auto exposure, AE), 자동 백색균형보정(auto white balance, AWB), 자동 초점보정(auto focus, AF) 등이 있다. AE는 출력되는 영상의 적절한 밝기를 맞추기 위해 자동적으로 노출을 조절해 주는 기능이며, AWB는 영상 색조의 왜곡현상을 없애기 위해 청색과 적색의 균형을 자연광 상태와 유사하게 조절하는 기능이다. 그리고 AF는 피사체의 움직임과 주위의 환경 등을 고려하여 최상의 영상을 획득하기 위한 정초점 위치를 찾는 기술이다.
본 논문에서는 소형화된 디지털 카메라 모듈의 밝기 제어 속도와 제어 안정성 그리고 획득 이미지의 개선을 위하여, 이미지센서 모듈의 노출 조절에 대해서 퍼지 PI(fuzzy proportional integral) 제어를 적용한 개선된 AE 시스템을 제안하였다. 제안된 시스템에서는 모바일 환경에서 개선된 AE를 수행하기 위하여 목표값 설정, 제어 안정도, 프레임 지연 보정, 감마 보정 등을 전자셔터(electrical shutter, ES)값과 아날로그 이득 조절(analog gain control, AGC)값의 결정을 위한 제어항목에 추가로 적용하였다.
디지털 카메라에서 AE 시스템은 ES와 AGC를 조절하여 이미지 센서에 입력되는 광량의 값이 설정된 목표값에 수렴되도록 하는 기능을 수행한다. 이때 설정되는 목표값은 사람이 인식하는 밝기의 중간값으로 지정된다. 그러나 기존의 방식이 사용하고 있는 18% 그레이 차트(grey chart)를 기준으로 목표값을 설정하는 경우, 감마 (gamma) 보정시 특정 밝기 이상에서는 모두 동일한 밝기를 출력하는 현상이 생긴다. 본 논문에서는 이를 보완하기 위해 감마 차트의 밝기 평균값으로 목표값을 설정하였다. 그리고 제어 안정도와 목표값에 대한 수렴 속도 개선을 위하여 목표값을 기준으로 하여 두 개의 제어영역을 설정하였다. 이러한 두 개의 제어영역 설정으로, 목표값이 하나인 경우에 제어가 완료되지 못하고 계속 발진이 일어나는 현상을 개선하였다.
기존의 AE 알고리즘은 ES와 AGC를 조절하기 위해 룩업 테이블(look-up table)을 이용하는 방법을 많이 사용하였다. 그러나 이러한 방법은 AE 수행 중에 헌팅(hunting) 현상을 발생할 뿐만 아니라, ISP 내의 메모리 사용량과 전력의 소모량을 크게 하므로 소형화된 기기에는 적합하지 않다. 그리고 데이터베이스 구축에도 많은 시간이 소요되며, 메모리의 용량도 커야 하므로 가격이 비싸지는 단점이 있다. 본 논문에서는 이러한 점을 개선하기 위하여 퍼지 PI 제어를 이용하여 ES와 AGC 값을 결정하였다.
디지털 카메라는 필름 카메라와 달리 현재의 영상정보가 아닌 몇 프레임 이전의 영상정보를 출력시킨다. 이는 ES와 AGC를 결정하기 위한 제어값이 ISP의 연산시간 때문에 직전 프레임의 밝기값이 아니라 두 프레임 이전의 값으로 처리됨으로서 발생하는 현상이다. 디지털 카메라에서 이러한 문제는 발진과 제어 속도를 저하시키는 문제를 발생시킨다. 본 논문에서는 이러한 문제를 해결을 위해 직전의 영상정보를 참고하여 현재의 영상정보를 예상하는 방법으로 프레임 딜레이를 보정하였다.
기존의 AE 알고리즘은 ES, AGC만을 제어 대상으로 하여 신호처리의 관점에서만 AE 시스템을 수행하였으며, 이를 모바일 카메라에도 동일하게 적용하였다. 그러나 이러한 방식은 여러 가지 제약이 존재 하는 소형화된 모듈에서 원하는 수준의 영상을 얻는 데는 한계가 있다. 본 논문에서는 소형화된 모듈에서도 만족할 만한 영상을 얻기 위하여 AE 수행을 위한 제어요소에 목표값 설정, 감마 보정, 프레임 지연 보정 등이 추가적으로 고려된 퍼지 PI를 적용한 AE 시스템을 제안 하였다.
본 논문에서는 제안한 AE의 평가를 위해 감마 차트 표현 능력, 조도 및 광원별 표현 능력, AE 제어 속도 등의 항목에 대하여 실험을 진행하였다. 제안된 AE는 기존의 방식에 비해 헌팅 현상 없이 유연하고 빠르게 목표값에 수렴하였으며, 밝기 표현 능력에서는 20% 이상의 개선이 있었다. 그리고 조도별 밝기 표현에서도 제안된 AE 알고리즘은 각각의 조도에서 기존의 AE에 비하여 우수한 밝기 표현능력을 보여주었다.
최근에 개발된 고기능 이미지센서(image sensor)와 초소형 카메라 모듈(module)기술은 더 작고 더 가벼운 모바일 기기에서도 필요한 영상을 유용하게 얻을 수 있도록 해주고 있다. 그러나 소형화된 카메라 모듈은 구조적인 한계로 인해 일반적인 디지털 카메라에서는 사용되는 여러 가지 기능들이 제한적으로 사용되며, 렌즈가 가진 광학적 기술의 한계로 인해 화상의 왜곡현상이 일어나는 등 여러 가지 제약 조건이 발생한다. 이러한 이유들로 인해 일반적인 디지털 카메라에 적용되는 화질 제어 방식을 모바일 카메라에 동일하게 적용할 경우 양질의 영상을 획득하는데 한계가 있다.
디지털 카메라의 이미지 제어를 위한 기술로는 3A라 불리는 자동 노출보정(auto exposure, AE), 자동 백색균형보정(auto white balance, AWB), 자동 초점보정(auto focus, AF) 등이 있다. AE는 출력되는 영상의 적절한 밝기를 맞추기 위해 자동적으로 노출을 조절해 주는 기능이며, AWB는 영상 색조의 왜곡현상을 없애기 위해 청색과 적색의 균형을 자연광 상태와 유사하게 조절하는 기능이다. 그리고 AF는 피사체의 움직임과 주위의 환경 등을 고려하여 최상의 영상을 획득하기 위한 정초점 위치를 찾는 기술이다.
본 논문에서는 소형화된 디지털 카메라 모듈의 밝기 제어 속도와 제어 안정성 그리고 획득 이미지의 개선을 위하여, 이미지센서 모듈의 노출 조절에 대해서 퍼지 PI(fuzzy proportional integral) 제어를 적용한 개선된 AE 시스템을 제안하였다. 제안된 시스템에서는 모바일 환경에서 개선된 AE를 수행하기 위하여 목표값 설정, 제어 안정도, 프레임 지연 보정, 감마 보정 등을 전자셔터(electrical shutter, ES)값과 아날로그 이득 조절(analog gain control, AGC)값의 결정을 위한 제어항목에 추가로 적용하였다.
디지털 카메라에서 AE 시스템은 ES와 AGC를 조절하여 이미지 센서에 입력되는 광량의 값이 설정된 목표값에 수렴되도록 하는 기능을 수행한다. 이때 설정되는 목표값은 사람이 인식하는 밝기의 중간값으로 지정된다. 그러나 기존의 방식이 사용하고 있는 18% 그레이 차트(grey chart)를 기준으로 목표값을 설정하는 경우, 감마 (gamma) 보정시 특정 밝기 이상에서는 모두 동일한 밝기를 출력하는 현상이 생긴다. 본 논문에서는 이를 보완하기 위해 감마 차트의 밝기 평균값으로 목표값을 설정하였다. 그리고 제어 안정도와 목표값에 대한 수렴 속도 개선을 위하여 목표값을 기준으로 하여 두 개의 제어영역을 설정하였다. 이러한 두 개의 제어영역 설정으로, 목표값이 하나인 경우에 제어가 완료되지 못하고 계속 발진이 일어나는 현상을 개선하였다.
기존의 AE 알고리즘은 ES와 AGC를 조절하기 위해 룩업 테이블(look-up table)을 이용하는 방법을 많이 사용하였다. 그러나 이러한 방법은 AE 수행 중에 헌팅(hunting) 현상을 발생할 뿐만 아니라, ISP 내의 메모리 사용량과 전력의 소모량을 크게 하므로 소형화된 기기에는 적합하지 않다. 그리고 데이터베이스 구축에도 많은 시간이 소요되며, 메모리의 용량도 커야 하므로 가격이 비싸지는 단점이 있다. 본 논문에서는 이러한 점을 개선하기 위하여 퍼지 PI 제어를 이용하여 ES와 AGC 값을 결정하였다.
디지털 카메라는 필름 카메라와 달리 현재의 영상정보가 아닌 몇 프레임 이전의 영상정보를 출력시킨다. 이는 ES와 AGC를 결정하기 위한 제어값이 ISP의 연산시간 때문에 직전 프레임의 밝기값이 아니라 두 프레임 이전의 값으로 처리됨으로서 발생하는 현상이다. 디지털 카메라에서 이러한 문제는 발진과 제어 속도를 저하시키는 문제를 발생시킨다. 본 논문에서는 이러한 문제를 해결을 위해 직전의 영상정보를 참고하여 현재의 영상정보를 예상하는 방법으로 프레임 딜레이를 보정하였다.
기존의 AE 알고리즘은 ES, AGC만을 제어 대상으로 하여 신호처리의 관점에서만 AE 시스템을 수행하였으며, 이를 모바일 카메라에도 동일하게 적용하였다. 그러나 이러한 방식은 여러 가지 제약이 존재 하는 소형화된 모듈에서 원하는 수준의 영상을 얻는 데는 한계가 있다. 본 논문에서는 소형화된 모듈에서도 만족할 만한 영상을 얻기 위하여 AE 수행을 위한 제어요소에 목표값 설정, 감마 보정, 프레임 지연 보정 등이 추가적으로 고려된 퍼지 PI를 적용한 AE 시스템을 제안 하였다.
본 논문에서는 제안한 AE의 평가를 위해 감마 차트 표현 능력, 조도 및 광원별 표현 능력, AE 제어 속도 등의 항목에 대하여 실험을 진행하였다. 제안된 AE는 기존의 방식에 비해 헌팅 현상 없이 유연하고 빠르게 목표값에 수렴하였으며, 밝기 표현 능력에서는 20% 이상의 개선이 있었다. 그리고 조도별 밝기 표현에서도 제안된 AE 알고리즘은 각각의 조도에서 기존의 AE에 비하여 우수한 밝기 표현능력을 보여주었다.
This dissertation deals with AE(auto exposure) system for mobile digital camera. The AE system is most important part in digital camera to get high quality image.
Recently, thanks to the enhancement of image sensor and minimized camera module, it is possible to get necessary image usefully from more...
This dissertation deals with AE(auto exposure) system for mobile digital camera. The AE system is most important part in digital camera to get high quality image.
Recently, thanks to the enhancement of image sensor and minimized camera module, it is possible to get necessary image usefully from more smaller and more lighter mobile device. Even though this enhancement makes it possible to get useful image even from minimized digital camera, there is still limitation only with the improvement of physical technique to get high quality of image as same as digital camera because of several restrictions. Therefore, improved image control technique is required to compensate this limitation.
There are AE, AWB(Auto White Balance) and AF(Auto Focus) algorithm for the image control of digital camera. These three kinds of techniques are called as 3A. The quality of output image of digital camera is largely affected by the performance of those 3A. AE system is auto exposure system in order to maintain optimized brightness regardless of the intensity illumination of light. AWB system is technology to control the balance of blue and red similar to natural light status to remove the distortion of image color on line of temperature. And AF system is technology to control a focus to acquire best image in consideration of movements of subject and environment. But there is limitation for mobile devices to get high quality image with the conventional AE algorithm, because of organizational restriction of system.
In this dissertation, suggested new AE algorithm which is applied fuzzy PI control to get useful results under the environment of mobile digital camera. The conventional research has been studied only for electronic shutter and AGC on the AE algorithm. But suggested AE system is applied improved algorithm which includes target setting, frame delay, Gamma Correction as well as electronic shutter and AGC to get optimal ES and AGC value.
In digital camera, AE system controls ES and AGC for which the value of intensity of luminance can be converged to the target value. But when the target value is established as value of 18% grey chart of conventional method, there is phenomenon to occur same brightness in specific area for Gamma compensation. In this dissertation, the target value is established as the average value of gamma chart's brightness to compensate this point. And this dissertation established two control bands based on the target value to improve control stability and convergence speed for target value. These two control bands improve phenomenon of oscillation in case the target value is only one point.
Different from film camera, Digital camera outputs the previous image information which is a few frame before instead of current image information. This phenomenon is occurred because the control value for ES and AGC is treated with value of two frames before for operation time of ISP. In digital camera, this kind of problem occurs oscillation and reduce of control speed. In this dissertation, to solve this problem, frame delay is compensated by the method that current image information is estimated with referring to previous image information
Conventional AE algorithm in digital camera executes AE system only with a view of signal processing for ES and AGC and has applied this method to mobile camera in the same way. But there is limitation to get high quality image with this method because of organizational restriction of mobile camera. In this dissertation, improved AE system which has considered target setting, gamma correction and frame delay additionally is suggested to get satisfied image in minimized module.
In this dissertation, ability of luminance expression, ability of expression per intensity of illumination and AE control speed AE are tested for the assessment of the availability of suggested system. Suggested AE system is converged to target value more flexible and faster without hunting than existing method and is enhanced by 20% in ability of luminance expression. And also suggested system shows superiority at ability of expression per intensity by comparison conventional AE system.
This dissertation deals with AE(auto exposure) system for mobile digital camera. The AE system is most important part in digital camera to get high quality image.
Recently, thanks to the enhancement of image sensor and minimized camera module, it is possible to get necessary image usefully from more smaller and more lighter mobile device. Even though this enhancement makes it possible to get useful image even from minimized digital camera, there is still limitation only with the improvement of physical technique to get high quality of image as same as digital camera because of several restrictions. Therefore, improved image control technique is required to compensate this limitation.
There are AE, AWB(Auto White Balance) and AF(Auto Focus) algorithm for the image control of digital camera. These three kinds of techniques are called as 3A. The quality of output image of digital camera is largely affected by the performance of those 3A. AE system is auto exposure system in order to maintain optimized brightness regardless of the intensity illumination of light. AWB system is technology to control the balance of blue and red similar to natural light status to remove the distortion of image color on line of temperature. And AF system is technology to control a focus to acquire best image in consideration of movements of subject and environment. But there is limitation for mobile devices to get high quality image with the conventional AE algorithm, because of organizational restriction of system.
In this dissertation, suggested new AE algorithm which is applied fuzzy PI control to get useful results under the environment of mobile digital camera. The conventional research has been studied only for electronic shutter and AGC on the AE algorithm. But suggested AE system is applied improved algorithm which includes target setting, frame delay, Gamma Correction as well as electronic shutter and AGC to get optimal ES and AGC value.
In digital camera, AE system controls ES and AGC for which the value of intensity of luminance can be converged to the target value. But when the target value is established as value of 18% grey chart of conventional method, there is phenomenon to occur same brightness in specific area for Gamma compensation. In this dissertation, the target value is established as the average value of gamma chart's brightness to compensate this point. And this dissertation established two control bands based on the target value to improve control stability and convergence speed for target value. These two control bands improve phenomenon of oscillation in case the target value is only one point.
Different from film camera, Digital camera outputs the previous image information which is a few frame before instead of current image information. This phenomenon is occurred because the control value for ES and AGC is treated with value of two frames before for operation time of ISP. In digital camera, this kind of problem occurs oscillation and reduce of control speed. In this dissertation, to solve this problem, frame delay is compensated by the method that current image information is estimated with referring to previous image information
Conventional AE algorithm in digital camera executes AE system only with a view of signal processing for ES and AGC and has applied this method to mobile camera in the same way. But there is limitation to get high quality image with this method because of organizational restriction of mobile camera. In this dissertation, improved AE system which has considered target setting, gamma correction and frame delay additionally is suggested to get satisfied image in minimized module.
In this dissertation, ability of luminance expression, ability of expression per intensity of illumination and AE control speed AE are tested for the assessment of the availability of suggested system. Suggested AE system is converged to target value more flexible and faster without hunting than existing method and is enhanced by 20% in ability of luminance expression. And also suggested system shows superiority at ability of expression per intensity by comparison conventional AE system.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.