[논문]방사왜곡을 고려한 보정 영상 위최근접 화소 이용 보간법

최창원; 이준환

doi:10.5573/ieek.2013.50.7.181

[국내논문] 방사왜곡을 고려한 보정 영상 위최근접 화소 이용 보간법
An Interpolation Method for a Barrel Distortion Using Nearest Pixels on a Corrected Image 원문보기

Journal of the Institute of Electronics Engineers of Korea = 전자공학회논문지, v.50 no.7, 2013년, pp.181 - 190

초록
AI-Helper

본 논문에서는 어안렌즈의 방사왜곡을 고려한 개선된 양선형 보간법을 제안한다. 어안렌즈에서 발생하는 방사왜곡의 보정은 크게 좌표 변환과 보간 작업의 두 단계를 통해 진행된다. 본 논문은 방사왜곡을 고려한 보간법에 대한 연구이다. 기존 기술과 달리 왜곡 영상이 아닌 보정 영상에서 근접한 좌표 4개를 사용한 보간법을 제안한다. 실험결과는 주관적인 화질과 객관적인 화질(PSNR)이 향상되는 것을 보여준다.

Abstract ▼ AI-Helper

We propose an interpolation method considering barrel distortion of fisheye lens using nearest pixels on a corrected image. The correction of barrel distortion comprises coordinate transformation and interpolation. This paper focuses on interpolation. The proposed interpolation method uses nearest four coordinates on a corrected image rather than on a distorted image unlike existing techniques. Experimental results show that both subjective and objective image qualities are improved.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

하지만 영상의 외곽으로 갈수록 방사 왜곡이 심해짐에 따라 왜곡 영상에서 인접한 화소가 보정 영상에서는 인접한 화소가 아닐 수 있다. 그래서 본 논문에서는 왜곡 영상이 아닌 보정 영상에서의 최근접 화소를 이용한 보간법을 제안한다.
하지만, 방사 왜곡이 심해지는 영상의 외곽으로 갈수록 왜곡 영상에서의 근접 좌표가 보정영상에서는 근접좌표가 아닐 수 있다. 그렇기 때문에 본 논문에서는 어안 렌즈의 방사 왜곡을 고려하여 보정 영상 위에서 최근접 좌표를 이용한 보간법을 제안 하였다. 제안한 알고리즘은 기존 왜곡 보정을 위하여 많이 사용되었던 선형 보간법과 비교하여 PSNR이 평균 0.
하지만, 어안렌즈를 통하여 촬영된 왜곡 영상은 영상의 외곽으로 갈수록 방사 왜곡이 심해짐에 따라 왜곡 영상에서 근접한 화소들이 보정 영상에서는 근접한 화소가 아닌 경우가 발생하게 된다. 그렇기 때문에 본 논문에서는 왜곡 영상이 아닌 보정 영상에서 최근접 좌표들을 이용한 보간법을 제안한다.

제안 방법

즉, 이는 보간할 좌표인 C에 대한 정보를 ID가 6, 7, 9, 11인 좌표보다 ID가 3, 6, 7, 9가 더 많이 가지고 있음을 의미한다. 본 논문에서는 ID가 3, 6, 7, 9와 같이 C에 최근접한 4개의 좌표들을 보정 영상에서의 최근접 좌표라 하고 C_k(k = 0, 1, 2, 3)로 정의하겠다. 또한, ID가 6, 7, 10, 11과같이 왜곡 영상에서 인접한 좌표들을 왜곡 영상에서의 인접 좌표라 하고 D_k(k = 0, 1, 2, 3)로 정의한다.
실험은 왜곡되지 않은 테스트 영상(768x512 또는 512x768)에 대하여 초점 거리를 20mm로 적용 후, 식 (1)을 이용하여 왜곡 영상으로 변환하고 이를 보정 영상으로 변환할 때, 다른 보간법들에 따른 성능을 비교 하는 방식으로 진행하였다. 테스트 영상은 Kodak Lossless True Color Image^[20]에서 획득한 24장의 영상을 사용하였다.
즉, D₀ = 6, D₁ = 7, D₂ = 10, 그리고 D₃ = 11이며, C₀ = 6, C₁ = 9, C₂ = 3, 그리고 C₃ = 7이다. 제안하는 보간법에서는 C_k를 이용 하여 보간을 수행한다.
제안하는 보간법은 보정 영상에서 최근접 좌표 4개를 선택하여 보간을 수행한다. 이때 C_k는 짧은 거리 순으로 정렬되기 때문에 거리에 반비례하게 계산된 보간 계수 ic_k는 k가 작을수록 더 큰 값을 가지게 된다.

대상 데이터

실험은 왜곡되지 않은 테스트 영상(768x512 또는 512x768)에 대하여 초점 거리를 20mm로 적용 후, 식 (1)을 이용하여 왜곡 영상으로 변환하고 이를 보정 영상으로 변환할 때, 다른 보간법들에 따른 성능을 비교 하는 방식으로 진행하였다. 테스트 영상은 Kodak Lossless True Color Image^[20]에서 획득한 24장의 영상을 사용하였다. 비교에 사용한 보간법은 최근접 보간법, 선형 보간법, 3차 회선 보간법, 개선된 선형 보간법^[14]이다.

이론/모형

마찬가지로, 방사왜곡 보정에서 보간법은 왜곡된 영상에 대하여 보정 영상을 생성할 때, 방사 왜곡으로 인하여 화소 값이 결정되지 않는 화소에 대한 화소 값을 결정하는 것이다^[1]. 기존 대부분 방사왜곡 보정의경우, 선형 보간법^{[11], [12]}이나 3차 회선 보간법^[13]을 사용 하였다. 하지만 어안 렌즈로 촬영한 영상의 경우, 방사 왜곡으로 인하여 기존에 좋은 성능을 보이는 보간법이 좋은 성능을 보이지 않는 경우가 발생한다.
본 논문에서는 좌표 변환을 위하여 기하학적인 모델중 하나인 구형 사상 모델^[9]을 사용하였다. 해당 방법은 렌즈를 완전한 구로 가정하기 때문에 다른 방법들에 비하여 정확도가 떨어지는 단점을 가지고 있다.

성능/효과

그림 10에서 밝은 영역은 D_k 와 C_k가 같거나 ic₀이 1에 가깝다는 것을 의미하며 어두운 영역은 그 반대의 경우이다. 결론적으로 그림 10에서 볼 수 있듯이 방사 왜곡이 영상의 외곽으로 갈수록 심해지기 때문에 영상 중심이 영상 외곽에 비하여 밝음을 확인할 수 있다.
결론적으로 제안하는 보간법은 방사 왜곡을 고려하여 보정된 이미지에서 최근접한 4개의 좌표를 선택하여 보간을 수행하기 때문에 영상의 외곽에서 특히 많은 성능이 향상됨을 예상할 수 있다. 이에 대해 IV장 실험 결과에서 볼 수 있듯이 제안하는 보간법이 영상 전체적으로도 성능 향상을 보이지만 특히 영상 외곽에서 화질이 향상되는 것을 확인할 수 있다.
표 3는 서로 다른 보간법에 따른 영상 외곽을 보여준다. 기존 보간법에서는 계단 현상(staircase phenomenon)이 심하게 나타나는 데 반하여 제안하는 보간법에서는 계단현상이 많이 줄어드는 것을 확인할 수 있다.
그림 8은 이에 대한 예로 영상 중심 부분의 좌표 변환 결과이다. 보간 좌표 C에 대하여 보정 영상 위에서 최근접 좌표를 찾은 결과 C₃이나 C₄가 대각선 좌표인 C₅보다 C에 근접함을 확인할 수 있다. 즉, 기존 선형 보간법에서 사용한 {C₀, C₁, C₂, C₅}가 아닌{C₀, C₁, C₂, C₃}이나 {C₀, C₁, C₂, C₄}가 선택됨을 알 수 있다.
574 dB만큼 향상되는 것을 보였으며, 영상의 외곽에서 계단 현상이 많이 줄어드는 것도 확인할 수 있었다. 본 논문에서 어안 렌즈의 방사 왜곡에 대한 내용을 다루었지만, 전방위 렌즈에 대하여서도 동일한 방법으로 보간이 가능하다.
결론적으로 제안하는 보간법은 방사 왜곡을 고려하여 보정된 이미지에서 최근접한 4개의 좌표를 선택하여 보간을 수행하기 때문에 영상의 외곽에서 특히 많은 성능이 향상됨을 예상할 수 있다. 이에 대해 IV장 실험 결과에서 볼 수 있듯이 제안하는 보간법이 영상 전체적으로도 성능 향상을 보이지만 특히 영상 외곽에서 화질이 향상되는 것을 확인할 수 있다.
499 dB로, 다른 보간법들보다 높음을 확인할 수 있다. 제안하는 보간법은 영상의 외곽에 대하여 더 좋은 성능을 보이며, 표 2는 서로 다른 보간법들 간의 영상 우측 상단의 16분의 1에 대한 PSNR을 보여준다. 제안하는 보간법의 평균 PSNR이 26.
제안하는 보간법은 영상의 외곽에 대하여 더 좋은 성능을 보이며, 표 2는 서로 다른 보간법들 간의 영상 우측 상단의 16분의 1에 대한 PSNR을 보여준다. 제안하는 보간법의 평균 PSNR이 26.949로, 다른 보간법들보다 높음을 확인할 수 있다.
객관적 화질을 비교하기 위해 표 1은 제안하는 보간법과 기존 보간법들의 전체 영상에 대한 PSNR(Peak Signal to Noise Ratio)을 보인다. 제안하는 보간법의평균 PSNR이 27.499 dB로, 다른 보간법들보다 높음을 확인할 수 있다. 제안하는 보간법은 영상의 외곽에 대하여 더 좋은 성능을 보이며, 표 2는 서로 다른 보간법들 간의 영상 우측 상단의 16분의 1에 대한 PSNR을 보여준다.
그렇기 때문에 본 논문에서는 어안 렌즈의 방사 왜곡을 고려하여 보정 영상 위에서 최근접 좌표를 이용한 보간법을 제안 하였다. 제안한 알고리즘은 기존 왜곡 보정을 위하여 많이 사용되었던 선형 보간법과 비교하여 PSNR이 평균 0.574 dB만큼 향상되는 것을 보였으며, 영상의 외곽에서 계단 현상이 많이 줄어드는 것도 확인할 수 있었다. 본 논문에서 어안 렌즈의 방사 왜곡에 대한 내용을 다루었지만, 전방위 렌즈에 대하여서도 동일한 방법으로 보간이 가능하다.
해당 방법은 렌즈를 완전한 구로 가정하기 때문에 다른 방법들에 비하여 정확도가 떨어지는 단점을 가지고 있다. 하지만, 좌표 변환과 보간법은 독립적으로 수행이 가능하며, 본 논문에서는 보간법에 초점을 맞췄기 때문에 구형 사상 모델을 사용하였으나 다른 좌표 변환 방법을 사용해도제안하는 보간법의 효과는 동일하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	방사왜곡을 보정하기 위해서는 어떤 단계를 거치는가?	이러한 방사왜곡을 보정하기 위해 두 단계[6]를 거치게 된다. 첫 번째는 어안렌즈로부터 획득한 영상을 보정할 영상으로 좌표 변환하는 것이다. 두 번째는 보정할 영상 위에서 해당 좌표의 화소 값을 결정하는 보간법에 대한 것이다.
	초광각렌즈의 장점은?	어안렌즈 또는 초광각렌즈는 광각 렌즈와 비교하여 화각이 넓다는 장점을 가지고 있기 때문에 최근 자동차[1], 항법 장치[2], 로봇[3], 영상 의학[4] 등의 다양한 머신 비젼 분야에서 다양하게 활용되고 있다. 하지만 화각이 넓어짐에 따라 광축으로부터 멀어지는 외곽으로 갈수록방사왜곡이 심해진다.
	화각이 넓어짐에 따라 어떤 문제가 발생하는가?	어안렌즈 또는 초광각렌즈는 광각 렌즈와 비교하여 화각이 넓다는 장점을 가지고 있기 때문에 최근 자동차[1], 항법 장치[2], 로봇[3], 영상 의학[4] 등의 다양한 머신 비젼 분야에서 다양하게 활용되고 있다. 하지만 화각이 넓어짐에 따라 광축으로부터 멀어지는 외곽으로 갈수록방사왜곡이 심해진다. 이러한 방사왜곡을 보정하기 위해 두 단계[6]를 거치게 된다.

참고문헌 (21)

C. Hughes, M. Glavin, E. Jones, and P. Denny, "Wide-angle camera technology for automotive applications: a review," IET Intell. Transp. Syst., vol. 3, no. 1, pp. 19-31, Mar. 2009.

상세보기
E. Royer, M. Lhuillier, M. Dhome, and J. Lavest, "Monocular vision for mobile robot localization and autonomous navigation," Int. Jour. Computer Vision, vol. 74, no. 3, pp. 237-260, Sep. 2007.

상세보기
J. Courbon, Y. Mezouar, L. Eck, P. Martinet, "A generic fisheye camera model for robotic applications," IEEE/RSJ Int. Conf. IROS 2007, pp. 1683-1688, Oct. 2007.
K. V. Asari, S. Kumar, and D. Radhakrishnan, "A new approach for nonlinear distortion correction in endoscopic images based on least squares estimation," IEEE Trans. Med. Imaging, vol. 18, no. 4, pp. 345-354, Apr. 1999.

상세보기
R. E. Jacobson, S. F. Ray, G. G. Attridge, and N. R. Axford, The manual of photography: photographic and digital imaging, Focal Press, Massachusetts, 2000.
S. Chen, H. Huang, and C. Luo, "Time multiplexed VLSI architecture for real-time barrel distortion correction in video-endoscopic images," IEEE Trans. Circuits Syst. Video Technol., vol. 21, no. 11, pp. 1612-1621, Nov. 2011.

상세보기
B. Prescott and G. F. McLean, "Line-based correction of radial lens distortion," Graphical Models and Image Processing, vol. 59, no. 1, pp. 39-47, Jan. 1997.

상세보기
M. Ahmed, A. Farag, "Nonmetric calibration of camera lens distortion: differential methods and robust estimation," IEEE Trans. Image Process., vol. 14, no. 8, pp. 1215-1230, Aug. 2005.

상세보기
K. Johnson, P. W. Smith, and M. A. Abidi, "A quadric surface projection model for wide-angle lenses," Proc. SPIE, vol. 3522, Boston, MA, pp. 424-434, Nov. 1999.
T. M. Lehmann, C. Gonner, and K. Spitzer, "Survey: interpolation methods in medical image processing," IEEE Trans. Med. Imag., vol. 19, no. 11, pp.1049-1075, Nov 1999.
S. Shah and J.K. Aggarwal, "Intrinsic parameter calibration procedure for a (high-distortion) fish-eye lens camera with distortion model and accuracy estimation," Pattern Recognition, vol. 29, no. 11, pp. 1775-1788, Nov. 1996.

상세보기
J. C. A. Fernandes, M.J.O. Ferreira, J.A.B.C. Neves and C.A.C. Couto, "Fast correction of lens distortion for image applications," IEEE ISIE, vol. 2, pp. 708-712, 1997.
K. Daloukas, C. D. Antonopoulos, N. Bellas, and S. M. Chai, "Fisheye lens distortion correction on multicore and hardware accelerator platforms," IEEE IPDPS 2010, pp. 1-10, Apr. 2010.
J. Y. Han, Fisheye image correction and low-power scaler design, master's thesis, Kwangwoon University, 2010.
D. C. Brown, "Decentering distortion of lenses," Photogrammetric Engineering, vol. 32, no. 3, pp. 444-462, 1966.
D. Schneider, E. Schwalbe, and H. -G. Maas, "Validation of geometric models for fisheye lenses," Jour. ISPRS, vol. 64, no. 3, pp. 259-266, May. 2009.
R. Tsai, "A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf tv cameras and lenses," IEEE J. Robot. Autom., vol. RA-3, no. 4, pp. 1165-1172, Aug. 1987.
황용호, 홍현기, "투영곡선의 자동정합을 이용한 전방향 카메라 보정," 전자공학회 논문지, 제 45권 SP편, 제 6호, 125-132쪽, 2008년 11월

원문보기 상세보기
김선영, 윤인혜, 김동균, 백준기, "나선형 패턴을 사용한 어엔란즈 영상 교정 및 기하학적 왜곡 보정," 전자공학회 논문지, 제 49권 SP편, 제 4호, 16-22쪽, 2012년 7월
Kodak Lossless True Color Image http://r0k.us/graphics/kodak/
R. G. Keys, "Cubic convolution interpolation for digital image processing," IEEE Trans. Acoust., Speech, Signal Process., vol. 29, no. 6, pp. 1153-116, Dec. 1981.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증