[논문]호모그래피 변환을 이용한 가시광 및 적외선 열화상 영상 정합

이상협; 박장식

doi:10.21289/ksic.2021.24.6.707

호모그래피 변환을 이용한 가시광 및 적외선 열화상 영상 정합
Visible Light and Infrared Thermal Image Registration Method Using Homography Transformation 원문보기

한국산업융합학회 논문집 = Journal of the Korean Society of Industry Convergence, v.24 no.6/1, 2021년, pp.707 - 713

Abstract ▼ AI-Helper

Symptoms of foot-and-mouth disease include fever and drooling a lot around the hoof, blisters in the mouth, poor appetite, blisters around the hoof, and blisters around the hoof. Research is underway on smart barns that remotely manage these symptoms through cameras. Visible light cameras can measure the condition of livestock such as blisters, but cannot measure body temperature. On the other hand, infrared thermal imaging cameras can measure body temperature, but it is difficult to measure the condition of livestock. In this paper, we propose an object detection system using deep learning-based livestock detection using visible and infrared thermal imaging composite camera modules for preemptive response

주제어

표/그림 (7)

그림 Fig. 1 Block diagram of the proposed algorithm
그림 Fig. 2 Examples of Visible light and infrared thermal multi camera dataset
그림 Fig. 3 Object detection results for livestock (a) Visible image, (b) Infrared thermal image
그림 Fig. 4 Block diagram of keypoint extraction based image registration
그림 Fig. 5 Object detection results for livestock (a) Visible image, (b) Infrared thermal image
그림 Fig. 6 Objects detected simultaneously in visible light and thermal image are displayed in green
표 Table 1. Object detection performance measurement according to deep learning model

AI 본문요약
AI-Helper

제안 방법

구제역 선제적 대응을 위한 호모그래피 변환을 이용한 복합 카메라 정합 영상 데이터셋에 대한 심층학습 기반의 객체 검출을 제안한다. 제안하는 알고리즘은 Fig.
4은 특징 기반의 영상 정합을 나타낸다. 두 입력 영상에 대해 각각 특징점 추출(Keypoint extraction)을 수행하고 이를 이용해 영상 정합을 수행한다.
본 논문에서는 구제역 선제적 대응을 위해 가시광 및 적외선 열화상 복합 카메라 모듈을 사용하여 심층학습 기반 객체 검출 및 호모그래피 변환을 적용하여 가시광 영상과 적외선 열화상 영상을 정합하는 방법을 제안한다.
본 논문에서는 효율적인 축사 관리를 위하여 가시광 및 열화상 복합 카메라로부터 가시광 영상과 열화상 영상을 획득하고, YOLO 딥러닝 모델을 활용하여 객체를 검출하고 영상 정합하는 방법 을 제안한다.

대상 데이터

학습에 사용된 데이터는 동일한 환경에 대해 가시광과 적외선 열화상 복합 카메라 모듈로 촬영된 우축사 영상을 사용한다. 가시광 영상 및 적외선 열화상 영상 학습에 각 정지영상 1,717장과 가축객체 3,500건을 사용한다. 시험을 위해 575장의 정지영상과 가축 객체 1,500건을 사용한다.
가시광 영상은 색영상(Color image)이고, 해상도는 1920×1080 화소이다
가축 객체 검출 학습과 시험을 위해 데이터셋은 가시광 및 열화상 복합 카메라를 사용하는 모듈을 이용하여 주간 우축사를 촬영한 영상 데이터 셋을 구축하였다.
복합 카메라 영상 데이터셋은 각 카메라 영상에 대해 42건의 동영상에서 생성된 2,173장의 정지영상에서 가축 객체 5,000건으로 구성되어 있어, 총 82건의 영상, 4,346장의 정지영상, 가축 객체 10,000건으로 구성되어 있다. 가시광 영상은 색영상(Color image)이고, 해상도는 1920×1080 화소이다.
가시광 영상 및 적외선 열화상 영상 학습에 각 정지영상 1,717장과 가축객체 3,500건을 사용한다. 시험을 위해 575장의 정지영상과 가축 객체 1,500건을 사용한다.
적외선 열화상 영상은 회색조 영상(Gray scale image)이고, 해상도는 640×512 화소이다.
성능 비교를 위하여 단일 영상만 이용한 심층 학습 기반의 객체 검출과 복합 카메라 데이터셋의 객체 검출의 미검출 성능과 온도 측정 유무를 비교 분석한다. 학습 및 추론 그리고 영상정합 후처리 시뮬레이션은 리눅스 Ubuntu 18.04, PyTorch, CUDA 10.2, CuDNN 7.2, Caffe2, Dual Quadro P5000 GPU 환경에서 수행하였다.
심층 학습 기반의 객체 검출 모델은 YOLO v4 를 사용한다. 학습에 사용된 데이터는 동일한 환경에 대해 가시광과 적외선 열화상 복합 카메라 모듈로 촬영된 우축사 영상을 사용한다. 가시광 영상 및 적외선 열화상 영상 학습에 각 정지영상 1,717장과 가축객체 3,500건을 사용한다.

데이터처리

성능 비교를 위하여 단일 영상만 이용한 심층 학습 기반의 객체 검출과 복합 카메라 데이터셋의 객체 검출의 미검출 성능과 온도 측정 유무를 비교 분석한다. 학습 및 추론 그리고 영상정합 후처리 시뮬레이션은 리눅스 Ubuntu 18.
심층학습 기반의 객체 검출 정확도는 기존의 단순 영상 정합과 제안하는 호모그래피 변환을 이용한 영상 정합 영상에 대해 FPPI (False Positive per Image) 0.1 기준에서의 미검출율(Miss rate) 로 측정하였고, Table 1에 표기하였다.

이론/모형

객체 검출에는 2,173장의 정지영상과, 가축 객체 5,000건에 대하여 YOLO v4 모델을 사용한다. 적외선 열화상 영상만 사용하는 객체 검출에 비해 미검출율이 0.
심층 학습 기반의 객체 검출 모델은 YOLO v4 를 사용한다. 학습에 사용된 데이터는 동일한 환경에 대해 가시광과 적외선 열화상 복합 카메라 모듈로 촬영된 우축사 영상을 사용한다.
특징점 추출은 윤곽선을 특징점으로 하여 추출한다. 윤곽선 검출은 Canny 윤곽선 검출 기법을 통해 윤곽선을 추출한다. 두 영상의 해상도가 일치하지 않기 때문에, 해상도가 높은 가시광 영상에 대해 적외선 열화상 영상을 슬라이딩 윈도우 (Sliding Window) 기법을 통해 1화소씩 움직여 모든 픽셀에 대해 상관관계를 계산하여 상관관계 값이 가장 높은 값을 가지는 위치를 선정한다.

성능/효과

기존의 가시광 영상의 객체 검출은 온도 정보 를 알 수 없고, 적외선 열화상 영상은 가시광 영상에 비해 객체 검출 성능이 높고 온도 정보를 알 수 있으나 색상 정보가 없는 문제점이 있다. 이를 본 논문에서 제안하는 영상 정합을 통해 객체의 색상 정보 및 온도 정보를 활용하여 구제역에 대해 선제적 대응이 가능할 것으로 판단된다.
객체 검출에는 2,173장의 정지영상과, 가축 객체 5,000건에 대하여 YOLO v4 모델을 사용한다. 적외선 열화상 영상만 사용하는 객체 검출에 비해 미검출율이 0.002 높지만, 색상 정보를 알 수 있다는 장점을 가지고 있다.

후속연구

기존의 가시광 영상의 객체 검출은 온도 정보 를 알 수 없고, 적외선 열화상 영상은 가시광 영상에 비해 객체 검출 성능이 높고 온도 정보를 알 수 있으나 색상 정보가 없는 문제점이 있다. 이를 본 논문에서 제안하는 영상 정합을 통해 객체의 색상 정보 및 온도 정보를 활용하여 구제역에 대해 선제적 대응이 가능할 것으로 판단된다.

참고문헌 (14)

Zaidi, S. S. A., Ansari, M. S., Aslam, A., Kanwal, N., Asghar, M., and Lee, B., "A Survey of Modern Deep Learning based Object Detection Models," arXiv preprint arXiv:2104.11892, (2021).
Park, S.-J., Han, S.-Y., Park, S.-B., and Kim, J.-H., "A Study on the Detection Method of Lane Based on Deep Learning for Autonomous Driving," Journal of the Korean Society of Industry Convergence, vol. 23, no. 6_2, pp. 979-987, (2020).

원문보기 상세보기
J.-H. Lee and J.-S. Kim, "A Study on the Stability Control of Injection-molded Product Weight using Artificial Neural Network," Journal of The Korean Society of Industry Convergence, vol. 23, no. 5, pp. 773-787, Oct. 2020.

원문보기 상세보기
Qiao, Y., Su, D., Kong, H., Sukkarieh, S., Lomax, S., and Clark, C., "Data augmentation for deep learning based cattle segmentation in precision livestock farming," In 2020 IEEE 16th International Conference on Automation Science and Engineering, pp. 979-984. DOI: 10.1109/CASE48305.2020.9216758. (2020)
Jamal SM, Belsham GJ. "Foot-and-mouth disease: past, present and future," Vet Res, vol. 44, no. 1, pp. 116. DOI: 10.1186/1297-9716-44-116. PMID: 24308718; PMCID: PMC4028749. (2013)

상세보기
W. Lee, S. Hwang and J. Kim, "Fast Detection of Disease in Livestock based on Machine Learning," The 37th conference of Korea Institute of information and communication engineering, vol. 19, no. 1, pp.294-297, (2015).
Chowdhury, S., Verma, B., Roberts, J., Corbet, N., and Swain, D., "Deep Learning Based Computer Vision Technique for Automatic Heat Detection in Cows," 2016 International Conference on Digital Image Computing: Techniques and Applications, pp. 1-6, (2016).
Lee, Y., and Shin, J., "DNN Based Multispectrum Pedestrian Detection Method Using Color and Thermal Image," Journal of Broadcast Engineering, vol. 23, no. 3, pp. 361-368, (2018).

원문보기 상세보기
Xudong, Z., Xi, K., Ningning, F., and Gang, L., "Automatic recognition of dairy cow mastitis from thermal images by a deep learning detector," Computers and Electronics in Agriculture, vol. 178, (2020).

상세보기
Bochkovskiy, A., Wang, C. Y., and Liao, H. Y. M., "Yolov4: Optimal speed and accuracy of object detection," arXiv preprint arXiv:2004.10934, (2020).
Liu, J., Yang, S., Fang, Y., and Guo, Z., "Structure-guided image inpainting using homography transformation," IEEE Transactions on Multimedia, vol. 20, no. 12, pp. 3252-3265, (2018).

상세보기
Wang, R. J., Li, X., and Ling, C. X., "Pelee: A real-time object detection system on mobile devices," arXiv preprint arXiv:1804.06882, (2018).
Borovec, J., Kybic, J., Arganda-Carreras, I., Sorokin, D. V., Bueno, G., Khvostikov, A. V., and et. al, "ANHIR: automatic non-rigid histological image registration challenge," IEEE transactions on medical imaging, vol . 39, no. 10, pp. 3042-3052, (2020).

상세보기
Nguyen, T., Chen, S. W., Shivakumar, S. S., Taylor, C. J., and Kumar, V., "Unsupervised deep homography: A fast and robust homography estimation model," IEEE Robotics and Automation Letters, vol. 3, no. 3, pp. 2346-2353, (2018).

상세보기

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증