[논문]영상왜곡 보정 알고리즘 설계

김병환; 최영규

doi:10.12812/ksms.2013.15.4.317

영상왜곡 보정 알고리즘 설계
Design of Image Distortion Restoration Algorithm 원문보기

대한안전경영과학회지 = Journal of the Korea safety management & science, v.15 no.4, 2013년, pp.317 - 321

김병환 (한국폴리텍대학 인천캠퍼스 컴퓨터정보과) , 최영규 (한국교통대학교 컴퓨터공학과)

Abstract ▼ AI-Helper

Due to growth of electronics and control devices, automation and situational awareness systems have been applied by automobile. Vision systems with the introduction of unmanned system were being actively developed. In this paper, the distortion in the 7-inch LCD screen for the treatment process are divided into Online and Offline processing. Offline processing based on the image signal processing and for generating LUT Online to Offline generated by processing the distortion is applied to the LUT. LUT is applied to distort the image processing in real time, so that distortion correction is made for the purpose of setting.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이러한 문제를 보완하기 위한 방법으로 영상 정보만을 이용한 렌즈 왜곡 보정 방법이 제안되었다[3-4]. 따라서, 본 연구에서는 영상센서 광각렌즈의 왜곡 보정 알고리즘을 이용하여 왜곡된 영상을 복원하기 위한 알고리즘을 구현하였다. 이를 통해 전·후방 카메라 영상을 합성하여 차량의 사각지대를 포함한 영상을 신뢰성 있게 개발하는 기술을 이용한 시스템을 설계 구현하였다.
[Figure 5]는 왜곡 보정된 영상에서 미세한 오차가 발생하는 영상을 이해하기 위해서 이미지로 표현한 것이다. 체스 패턴을 이용한 2차원 패턴에서 코너점을 검출하고 코너점을 연결한 직선인 수직과 수평 방향의 직선에 대해서 왜곡이 없는 직선을 구하기 위한 왜곡 보정을 하고자 한다. 왜곡 된 측정의 정도를 확인하기 위해서 수직과 수평방향에 대해서 최외각의 코너점을 연결한 직선에 대해서 내부의 코너점과의 거리를 왜곡 오차의 거리(d)로 표현한다.

제안 방법

이러한 원리를 이용하여, 실제 알고리즘 구현에서 직선 위에 있는 점들이 그리는 직선과 이 점들이 카메라 모델에 의해 투영되고 왜곡 보정 후 위치와의 거리를 계산하여 이 거리를 왜곡 거리(distortion distance)로 취할 수 있다. FOV 왜곡 보정 모델을 적용한 왜곡 보정 알고리즘에 2차원 패턴을 이용한 왜곡 거리 추정 방법을 적용하여 왜곡 보정에서 발생하는 미세 오차에 대해서 정교한 왜곡 보정을 할 수 있다.
픽셀에 대해서 백워드 매핑 방법을 이용해서 원하는 VIEW를 구성한다. LUT를 위한 데이터 베이스로는 MapX1, MapX2, MapX3, MapX4, MapY1, MapY2, MapY3, MapY4, AVM_MapX1, AVM_MapX2, AVM_MapX3, AVM_MapX4, AVM_MapY1, AVM_MapY2, AVM_MapY3, AVM_MapY4 데이터를 적용하여 각 채널별로 매핑 테이블을 구성한다.
본 논문에서는 왜곡 처리를 위해 Offline 처리와 Online 처리로 구분하여야 하며, Offline 처리는 영상 신호를 기준으로 LUT 생성을 위한 처리와 Online 처리는 Offline에 의해서 생성된 LUT를 왜곡 영상에 적용하여 실시간으로 왜곡 보정 되도록 처리하였으며, 이미지 센서에서 출력되는 영상을 7인치 LCD에 출력시 영상 데이터와 동기 시호가 일치 되지 않아 영상에 잡음이 생기고, 색상이 정확하게 표현되지 않으며 또한 왜곡 보정에 필요한 데이터 수집이 어려워지기 때문에 SRAM을 사용하여 동기를 맞추어서 7인차 LCD 화면에서도 왜곡없이 화면에 나타났다. 추후 자동차에 적용을 하기 위하여서는 360° 파노라마 뷰에 맞게 영상연결 기술을 개발이 필요할 것으로 사료된다.
왜곡 보정된 체스 판 패턴의 Harris corner detector에 의해 검출된 점을 잇는 직선과 코너 점까지의 거리 오차 즉 3차원의 영상에 대해서 왜곡 보정을 위해서 2차원 평면을 적용하고, 정밀 오차 보정을 위해서 최외각 점을 잊는 선분과 코너까지 값인 정밀 오차의 제곱의 합이 최소가 되는 값을 찾으면, 수평, 수직에 대해서 원 영상의 체크 패턴을 구성하는 직선 선분이 왜곡되어서 타원으로 표현되고, 이를 보정하여 지선 성분에서 미세한 오차에 대해서 최소가 되는 직선 선분을 도출하기 위해서 직선에 대해서 코너점까지 거리의 차에 대한 제곱의 합이 최소가 되는 값을 찾는 것이다. 수평, 수직에 대해서 미세한 오차 거리를 갖는 함수를 이용하여 행과열의 직선 성분에 대해서 최소가 되는 거리를 계산하여 구하게 되며 수식 2와 같다[8].
[Figure 2]는 카메라 왜곡 보정을 위한 알고리즘 프로우챠트이다. 왜곡 처리를 위해 Offline 처리와 Online 처리로 구분하여야 하며, Offline 처리는 영상 신호를 기준으로 LUT생성을 위한 처리와 Online 처리는 Offline에 의해서 생성된 LUT를 왜곡 영상에 적용하여 실시간으로 왜곡 보정 되도록 처리한다. Offline 처리의 경우 핀홀 카메라 모델의 FOV 모델을 이용한 왜곡 보정을 통해서 영상의 투영에서 발생하는 왜곡을 보정하며, 룩업테이블(LUT : Look Up Table0제작의 경우 변호할을 위한 데이터에 대해서 LUT 파일 생성 및 구현 시간 축소와 실시간 처를 위해서 LUT를 제작한다.
이러한 과정은 이미지 센서를 통해 입력되는 동기 및 클럭 신호를 통해 영상 데이터를 비교 분석하여 설계한다. 이렇게 저장된 신호를 하나씩 읽어 LCD로 전달하여 화면에 표시하도록 설계하였다. 이러한 과정도 FPGA 내에 포함되며 영상 데이터와 동기 신호를 생성하여 LCD를 제어한다.
이를 통해 전·후방 카메라 영상을 합성하여 차량의 사각지대를 포함한 영상을 신뢰성 있게 개발하는 기술을 이용한 시스템을 설계 구현하였다.
카메라 데이터를 취득시 하나의 프레임 정보 단위로 취득하도록 하며, 프레임 데이터는 임베디드 뷰에 표현하기 위하여 RGB 값으로 변환한다. 픽셀에 대해서 백워드 매핑 방법을 이용해서 원하는 VIEW를 구성한다. LUT를 위한 데이터 베이스로는 MapX1, MapX2, MapX3, MapX4, MapY1, MapY2, MapY3, MapY4, AVM_MapX1, AVM_MapX2, AVM_MapX3, AVM_MapX4, AVM_MapY1, AVM_MapY2, AVM_MapY3, AVM_MapY4 데이터를 적용하여 각 채널별로 매핑 테이블을 구성한다.
직선의 교차점을 갖는 체스 패턴에서 각각의 코너 점인 수직 10개, 수평 5개인 교차점을 찾고, 중요 점인 외각 교점을 이용하여 최외각의 점을 중심으로 수직으로 11개의 직선과 수평으로 6개의 직선을 생성한다. 하여 중앙에 비치되는 교차점의 유무를 검색하여 직선 내에 존재 유무를 평가 한다. 직선이 행과 열 방향으로 각각 더하고, 이에 대해서 최소한의 거리를 갖는 직선의 방정식을 구하면, 왜곡보정을 최대화 할 수 있다.
직선이 행과 열 방향으로 각각 더하고, 이에 대해서 최소한의 거리를 갖는 직선의 방정식을 구하면, 왜곡보정을 최대화 할 수 있다. 행선분의 직선에 대해서 에러 점을 갖는 점에 대해서 거리를 구하여 합하여 제곱의 합을 구하여 측정한다. 이러한 원리를 이용하여, 실제 알고리즘 구현에서 직선 위에 있는 점들이 그리는 직선과 이 점들이 카메라 모델에 의해 투영되고 왜곡 보정 후 위치와의 거리를 계산하여 이 거리를 왜곡 거리(distortion distance)로 취할 수 있다.

이론/모형

왜곡 계수 추정 방법을 이용하여 체스 판 패턴을 촬영 후, 왜곡 계수만으로 왜곡 보정이 빠르게 동작 되지만, 체스 판의 행, 열에 선분에 미세한 오차가 발생하는 것을 실험을 통해서 확인 되었다. 왜곡 계수만을 이용한 왜곡 보정의 경우에서 발생하는 미세한 오차에 대해서 보정을 위한 방법으로 2차원 패턴을 이용한 왜곡 거리 추정 방법을 이용한다.

성능/효과

카메라 왜곡중심에 대한 왜곡 보정 계수를 이용해서 보정을 할 수 있다. 왜곡 계수 추정 방법을 이용하여 체스 판 패턴을 촬영 후, 왜곡 계수만으로 왜곡 보정이 빠르게 동작 되지만, 체스 판의 행, 열에 선분에 미세한 오차가 발생하는 것을 실험을 통해서 확인 되었다. 왜곡 계수만을 이용한 왜곡 보정의 경우에서 발생하는 미세한 오차에 대해서 보정을 위한 방법으로 2차원 패턴을 이용한 왜곡 거리 추정 방법을 이용한다.

후속연구

본 논문에서는 왜곡 처리를 위해 Offline 처리와 Online 처리로 구분하여야 하며, Offline 처리는 영상 신호를 기준으로 LUT 생성을 위한 처리와 Online 처리는 Offline에 의해서 생성된 LUT를 왜곡 영상에 적용하여 실시간으로 왜곡 보정 되도록 처리하였으며, 이미지 센서에서 출력되는 영상을 7인치 LCD에 출력시 영상 데이터와 동기 시호가 일치 되지 않아 영상에 잡음이 생기고, 색상이 정확하게 표현되지 않으며 또한 왜곡 보정에 필요한 데이터 수집이 어려워지기 때문에 SRAM을 사용하여 동기를 맞추어서 7인차 LCD 화면에서도 왜곡없이 화면에 나타났다. 추후 자동차에 적용을 하기 위하여서는 360° 파노라마 뷰에 맞게 영상연결 기술을 개발이 필요할 것으로 사료된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	본 연구에서 실시간으로 영상을 왜곡 보정하기 위해 사용한 처리는?	본 논문에서는 왜곡 처리를 위해 Offline 처리와 Online 처리로 구분하여야 하며, Offline 처리는 영상 신호를 기준으로 LUT 생성을 위한 처리와 Online 처리는 Offline에 의해서 생성된 LUT를 왜곡 영상에 적용하여 실시간으로 왜곡 보정 되도록 처리하였으며, 이미지 센서에서 출력되는 영상을 7인치 LCD에 출력시영상 데이터와 동기 시호가 일치 되지 않아 영상에 잡음이 생기고, 색상이 정확하게 표현되지 않으며 또한 왜곡 보정에 필요한 데이터 수집이 어려워지기 때문에 SRAM을 사용하여 동기를 맞추어서 7인차 LCD 화면에서도 왜곡없이 화면에 나타났다. 추후 자동차에 적용을 하기 위하여서는 360° 파노라마 뷰에 맞게 영상연결 기술을 개발이 필요할 것으로 사료된다.
	렌즈 왜곡의 보정 방법으로 대부분 사용되었던 것은 무엇인가?	렌즈 왜곡의 보정 방법은 현재까지 다양한 방법들이 시도되었는데 대부분 왜곡을 수학적으로 모델링하여 왜곡정도를 결정하는 파라미터를 추정하고 이를 역변환 아혀 보정을 수행하는 것이었다. 이 방법은 영상 촬영시의 카메라 세팅 정보나 패턴에 대한 정보들이 추가적으로 필요하여 촬영 전에 이러한 정보들을 미리 얻어야 하는 노력이 요구된다는 문제가 있다.
	기존의 렌즈 왜곡의 보정 방법의 단점은?	렌즈 왜곡의 보정 방법은 현재까지 다양한 방법들이 시도되었는데 대부분 왜곡을 수학적으로 모델링하여 왜곡정도를 결정하는 파라미터를 추정하고 이를 역변환 아혀 보정을 수행하는 것이었다. 이 방법은 영상 촬영시의 카메라 세팅 정보나 패턴에 대한 정보들이 추가적으로 필요하여 촬영 전에 이러한 정보들을 미리 얻어야 하는 노력이 요구된다는 문제가 있다. 이러한 문제를 보완하기 위한 방법으로 영상 정보만을 이용한 렌즈 왜곡 보정 방법이 제안되었다[3-4].

참고문헌 (9)

P. Viola and M. Jones, "Robust Real-time Object Detection", International J. Computer Vision, pp.137-154, 2004.
J. Cho, S. Mirzaei, J. Oberg, and R.Kastner, "FPGA-Based Face Detection System Using Haar Classifierss", Dept, of Computer Sci. Eng. Univ. of CA, 2009.
A. Nowakowski, and W. Skarbek, "Lens Radial Distortion Calibration Using Homography of Central Points," EUROCON, 2007. The International Conference on "Computer as a Tool", pp.340-343, Sept, 2007.
F. Devernay and O. Faugeras, "Straight lines have to be straight -automatic calibration and removal of distortion from scenes of structured environments," Mach. Vision and Appl. vol. 13, no. 1, pp. 14-924, Aug, 2001.

상세보기
Z. Sun, R. Miller, G. Bebies, and D. DiMeo, "A Real-time Precrash Vehicle Detection System," Sixth IEEE Workshop on Appli cations of Computer Vision, pp.171-178, 2012. 12
H. J. W. Belt, "Storage Size Reduction for the Integral Image", Koninikljke Philips Electronics N.V, pp.7-9, Dec, 2007.
M. Bertozzi, A. Boggi, A. Fascioli, and R Fscioli, "Stereo Inverse Perspective Mapping: Theory and Applications," Image and Vision Computing Vol.16, No.8, pp.585-590, 1998.

상세보기
Thorsten Thorm ahlen and Hellward Broszio, "Automatic line-based estimation of radial lens distortion" Integrated Computer-Aided Engineering. Vol. 12, No. 2, pp.177-190, 2005.

상세보기
Shigehiro Miyatake, Masaru Miyamoto, Koichi Ishida, Takashi Morimoto, Yasuo Masaki, Hideki Tanabe "Transversal-Readout Architecture for CMOS Active Pixel Image Sensor". IEEE Transactions on Electron Devices, Vol. 50, 2003

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증