[논문]개선된 화질의 영상을 이용한 열화상 카메라 캘리브레이션

김주오; 이덕우

doi:10.5762/kais.2021.22.4.621

개선된 화질의 영상을 이용한 열화상 카메라 캘리브레이션
Calibration of Thermal Camera with Enhanced Image 원문보기

한국산학기술학회논문지 = Journal of the Korea Academia-Industrial cooperation Society, v.22 no.4, 2021년, pp.621 - 628

초록
AI-Helper

본 논문에서는 3개의 시점을 가진 열화상 카메라의 캘리브레이션을 수행하는 방법을 제안하고, 카메라의 내부 파라미터 추정 및 그 결과의 정확도를 파악하기 위해 역투영 오류값을 제시한다. 3개의 시점을 가진 카메라는 일반 카메라와 다르게 각 시점마다 겹치는 영상이 존재하지 않고, 획득한 영상의 화질은 일반 카메랄 획득한 영상보다 낮다. 카메라 캘리브레이션은 3차원 실제 영상의 좌표 정보 또는 카메라와 목표물체 사이의 거리를 계산하기 전에 반드시 수행되어야 하는 작업이다. 카메라 캘리브레이션 작업을 통해 얻는 것은 카메라의 내부 및 외부 파라미터이며 내부 파라미터는 카메라의 초점거리, 비대칭계수, 이미지 중심점으로 구성되어 있고, 외부 파라미터는 사용되는 카메라들 사이 또는 사용되는 카메라의 상대적 위치인 회전행렬과 변위벡터로 구성되어 있다. 본 논문에서는 열화상 카메라의 캘리브레이션을 수행하는 방법을 제안하며, 열화상 카메라의 캘리브레이션 수행을 위해 온도에 반응하는 열상 체커보드를 활용한다. 캘리브레이션이 안정적으로 수행되기 위해 본 논문에서는 심층 학습 기반 촬영대상 물체의 화질을 개선하여 코너 추출의 정확도를 높인 후 캘리브레이션 파라미터 계산을 수행하고, 개선된 화질의 영상이 캘리브레이션을 개선한 결과를 제시한다.

Abstract ▼ AI-Helper

This paper proposes a method to calibrate a thermal camera with three different perspectives. In particular, the intrinsic parameters of the camera and re-projection errors were provided to quantify the accuracy of the calibration result. Three lenses of the camera capture the same image, but they are not overlapped, and the image resolution is worse than the one captured by the RGB camera. In computer vision, camera calibration is one of the most important and fundamental tasks to calculate the distance between camera (s) and a target object or the three-dimensional (3D) coordinates of a point in a 3D object. Once calibration is complete, the intrinsic and the extrinsic parameters of the camera(s) are provided. The intrinsic parameters are composed of the focal length, skewness factor, and principal points, and the extrinsic parameters are composed of the relative rotation and translation of the camera(s). This study estimated the intrinsic parameters of thermal cameras that have three lenses of different perspectives. In particular, image enhancement based on a deep learning algorithm was carried out to improve the quality of the calibration results. Experimental results are provided to substantiate the proposed method.

주제어

표/그림 (17)

그림 Fig. 1. Original image of thermal checkerboard
그림 Fig. 2. Image of thermal checkerboard with low-resolution
그림 Fig. 3. Upscaled luminance components from Fig.2
그림 Fig. 4. High-Resolution image obtained using VDSR
그림 Fig. 5. Thermal checkerboard used for calibration
그림 Fig. 6. Thermal checkerboard with corner detection
그림 Fig. 7. Infrared Camera with three lenses
그림 Fig. 8. Thermal checkerboard from cam1
그림 Fig. 9. Thermal checkerboard from cam2
그림 Fig. 10. Thermal checkerboard from cam3
그림 Fig. 11. Thermal checkerboard with circular patterns from cam1
그림 Fig. 12. Thermal checkerboard with circular patterns from cam2
그림 Fig. 13. Thermal checkerboard with circular patterns from cam3
그림 Fig. 14. Corner detection of checkerboard
그림 Fig. 15. Reprojection errors of calibration. (a) cam1, (b) cam2, (c) cam3
표 Table 1. Reprojection Errors (Average)
그림 Fig. 16. Reprojection errors with circular patterns. (a) cam1, (b) cam2, (c) cam3

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 개선된 화질의 영상을 이용한 열화상 카메라 캘리브레이션을 수행하는 방법을 제시하였다. 캘리브레이션 정확도를 높이기 위한 방법으로 VDSR신경망을 이용하여 화질을 개선하였고 안정적인 캘리브레이션 파라미터 계산 결과를 제공한다.
열화상 영상의 특성은 켈리브레이션 과정에 영향을 미치므로 결과의 정확도에 영향을 미친다. 본 논문에서는 열화상 카메라 캘리브레이션을 수행하는 방법을 제안한다. 캘리브레이션의 안정성을 높이기 위해서 대상의 화질을 개선하여 캘리브레이션 파라미터 계산 결과의 안정성을 추가한다.

가설 설정

Chatterjeee 카메라 매개변수가 선형 및 비선형 최적화 방법 모두에 의해 계산되는 non coplanar 카메라 캘리브레이션을 위한 알고리즘을 제시했다[2]. 그러나 Tsai의방법과 Chatterjee의 방법 계산 모두 목표물체의 점과 센서 사이의 거리가 사전에 알려져 있다고 가정하여 하나의 이미지를 사용하여 카메라 매개 변수를 계산한다. Zhange 카메라 캘리브레이션을 위한 유연한 새로운 기법을 제안했다[3].

제안 방법

3채널 중 Y채널만을 사용하는데 인간은 색의 변화보다 밝기의 변화에 더 민감하기 때문에 Y채널만 사용하여 훈련한다. LR 이미지의 업스케일 된 Y채널을 HR의 Y 채널과의 차이를 예측하도록 학습한다. Fig.
또한 열상 체커보드의 구조 특성상 기울이는 각도를 제어할 때 열이 전도되서 코너부를 정확이 측정하지 못하는 경우도 발생하여 기존의 체커보드에 추가하여 원형의 체커보드도 함께 사용하였다.
본문에서는 열화상 카메라 캘리브레이션을 진행한다. 열화상 카메라의 특성상 전형적인 체커보드로는 불가능하기 때문에 Fig.
카메라 캘리브레이션을 위해서 체커보드 코너 검출을 실행한다. 코너 검출을 위해서 기울기 (gradient) 기반의 영상을 활용하여 코너를 추출한다.
캘리브레이션 정확도를 높이기 위한 방법으로 VDSR신경망을 이용하여 화질을 개선하였고 안정적인 캘리브레이션 파라미터 계산 결과를 제공한다. 실험을 통해서 화질 개선이 이루어진 후의 역투영 오류가 낮아짐을 확인하였고, 원형패턴보다 사각패턴에서의 역투영 오류가 더 낮음을 확인할 수 있다.
본 논문에서는 열화상 카메라 캘리브레이션을 수행하는 방법을 제안한다. 캘리브레이션의 안정성을 높이기 위해서 대상의 화질을 개선하여 캘리브레이션 파라미터 계산 결과의 안정성을 추가한다. 2장에서는 열화상 카메라로 획득한 이미지의 화질을 개선하고 3장에서는 내부파라미터를 구하기 위한 캘리브레이션의 절차를 제시한다.
코너 검출을 위해서 기울기 (gradient) 기반의 영상을 활용하여 코너를 추출한다. (Fig.

대상 데이터

본 논문에서 열화상 카메라는 3개의 렌즈로 구성되어있으며 (각 렌즈를 각각 cam1, cam2, cam3으로 표기한다) 이 세 개의 렌즈가 획득하는 영상 간에는 오버랩되는 부분이 없다는 특징이 있다. (Fig.

성능/효과

그 중에서 CNN을 사용하여 LR에서 HR로의 매핑을 엔드 투 엔드 (end to end) 방식으로 학습할 수 있음을 입증했다. 본 논문에서 사용한 VDSR (Very deep super resolution) 기술은 기존의 SRCNN의 문제점을 해결한 방식으로 VDSRe SRCNN보다 더 많은 수의 계층을 설정하여 이미지의 좁은 영역에서의 정보를 얻는 기존의 방식보다 넓은 수용영역(receptive field)를사용하여 보다 많은 영상 정보를 사용해서 높은 스케일에서도 좋은 성능을 나타내며, 잔류학습 (residual learning) 방식과 높은 학습률 (learning-rate)를 사용하여 빠른 수렴 결과 (convergence)를 만들어 냈다. 잔류학습 방식은 LR과 HR 이미지의 유사도가 높음으로 인해서 높은 효율을 가진다.
캘리브레이션 정확도를 높이기 위한 방법으로 VDSR신경망을 이용하여 화질을 개선하였고 안정적인 캘리브레이션 파라미터 계산 결과를 제공한다. 실험을 통해서 화질 개선이 이루어진 후의 역투영 오류가 낮아짐을 확인하였고, 원형패턴보다 사각패턴에서의 역투영 오류가 더 낮음을 확인할 수 있다. 본 논문에서는 3개의 렌즈로 구성된 카메라의 내부 파라미터의 계산을 주로 다루었으며 향후에는 외부 파라미터의 계산에 대한 연구를 수행할 것이다.

후속연구

실험을 통해서 화질 개선이 이루어진 후의 역투영 오류가 낮아짐을 확인하였고, 원형패턴보다 사각패턴에서의 역투영 오류가 더 낮음을 확인할 수 있다. 본 논문에서는 3개의 렌즈로 구성된 카메라의 내부 파라미터의 계산을 주로 다루었으며 향후에는 외부 파라미터의 계산에 대한 연구를 수행할 것이다.

참고문헌 (19)

R. Y. Tsai, "A versatile camera calibration technique for high accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses," IEEE Journal of Robotics and Automation, vol. RA-3, pp. 323-343, 1987. DOI: http://dx.doi.org/10.1109/JRA.1987.1087109

상세보기
C. Chatterjee and V. P. Roychowdhury, "Algorithms for coplanar calibration," Machine Vision and Applications, Springer-Verlag 2000, pp. 84-97, 2000. DOI : https://doi.org/10.1007/s001380050127

상세보기
Z. Zhang, "A flexible new technique for camera calibration," IEEE Trans. Pattern Anal. Machine Intell., vol. PAMI-22 no. 11, pp. 1330-1334, 2000. DOI: http://dx.doi.org/10.1109/34.888718

상세보기
K. Sirisantisamrid, T. Matsuura and K. Tirasesth, "A determination method for initial values of coplanar camera calibration parameters," APCCAS2006, Singapore, pp.1069-1072, Dec. 4-7, 2006. DOI:http://dx.doi.org/10.1109/APCCAS.2006.342273
K. Sirisantisamrid, T. Matsuura and K. Tirasesth, "Determination of initial parameters with noise robustness for coplanar calibration," IEEE TENCON2006, Hong Kong, Nov. 14-17, 2006. DOI: http://dx.doi.org/10.1109/TENCON.2006.343939
K. Sirisantisamrid, K. Tirasesth and T. Matsuura, "An algorithm for coplanar camera calibration," IIHMSP2007, Kaohsiung, Taiwan, pp. 596-599, Nov. 26-28, 2007. DOI:http://dx.doi.org/10.1109/IIH-MSP.2007.72
K. Sirisantisamrid, K. Tirasesth and T. Matsuura, "A determination method of camera parameters for coplanar camera calibration," ICEAST2007, Bangkok,Thailand, pp.830-833, Nov. 21-23, 2007. DOI : https://doi.org/10.1109/APCCAS.2006.342273
S Vidas, R Lakemond, "A mask-based approach for the geometric calibration of thermal-infrared cameras". IEEE Trans. on Instrumentation and Measurement, 61, 6, pp.1625-1635, 2012. DOI :http://dx.doi.org/10.1109/TIM.2012.2182851

상세보기
Z Baisheng. "Calibration study of High-precision Near Infrared Camera". Chinese Medical Equipment Journal, 12, 32, pp.15-17, 2011. DOI : https://doi.org/10.1117/1.OE.58.9.094107

상세보기
M. Irani and S. Peleg. "Improving resolution by image registration". CVGIP: Graphical models and image processing, 53, 3, pp.231-239, 1991. DOI:http://dx.doi.org/10.1016/1049-9652(91)90045-L

상세보기
W. T. Freeman, E. C. Pasztor, and O. T. Carmichael. "Learning low-level vision". International journal of computer vision, 40, 1, pp.25-47, 2000 DOI : https://doi.org/10.1023/A:1026501619075
C. E. Duchon. "Lanczos filtering in one and two dimensions". Journal of Applied Meteorology, 18, 8, pp.1016-1022, 1979. DOI: http://dx.doi.org/10.1175/1520-0450(1979)018%3C1016:LFIOAT%3E2.0.CO;2

상세보기
J. Sun, Z. Xu, and H.-Y. Shum. "Image super-resolution using gradient profile prior". 2008 IEEE Conference on Computer Vision and Pattern Recognition, June, 2008. DOI : https://doi.org/10.1109/CVPR.2008.4587659
D. Glasner, S. Bagon, and M. Irani. "Super-resolution from a single image". 2009 IEEE 12th International Conference on Computer Vision, September, 2009. DOI : https://doi.org/10.1109/ICCV.2009.5459271
C. G. Marco Bevilacqua, Aline Roumy and M.-L. A. Morel. "Low-complexity single-image super-resolution based on nonnegative neighbor embedding". British Machine Vision Conference, pp.135.1-135.10, 2012. DOI : http://dx.doi.org/10.5244/C.26.135
R. Zeyde, M. Elad, and M. Protter. "On single image scale-up using sparse-representations". Curves and Surfaces, pp.711-730, 2012. DOI:http://dx.doi.org/10.1007/978-3-642-27413-8_47

상세보기
S. Schulter, C. Leistner, and H. Bischof. "Fast and accurate image upscaling with super-resolution forests". Conference on Computer Vision and Pattern Recognition , pp.3791-3799, 2015. DOI:http://dx.doi.org/10.1109/CVPR.2015.7299003
C. Dong, C. C. Loy, K. He, and X. Tang. "Image superresolution using deep convolutional networks". IEEE Transactions on Pattern Analysis and Machine Intelligence, 38, 2, pp.295-307, 2016. DOI:http://dx.doi.org/10.1109/TPAMI.2015.2439281

상세보기
J. More. "The Levenberg-Marquardt algorithm: Implementation and theory". Numerical Analysis, 630, pp. 105-116, 2006. DOI:http://dx.doi.org/10.1007/BFb0067700

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증