[논문]임베디드 시스템용 Single Shot Multibox Detector Model 기반 적외선 열화상 영상의 객체검출

나웅환; 김응태

임베디드 시스템용 Single Shot Multibox Detector Model 기반 적외선 열화상 영상의 객체검출
Object Detection of Infrared Thermal Image Based on Single Shot Multibox Detector Model for Embedded System 원문보기

나웅환 (한국산업기술대학교) , 김응태 (한국산업기술대학교)

지난 수 년 동안 계속해서 일반 실상 카메라를 이용한 영상분석기술에 대한 연구가 활발히 진행되고 있다. 최근에는 딥러닝 기술을 적용한 지능형 영상분석기술로 발전해 왔으며 국방기지방호, CCTV, 사용자 얼굴인식, 머신비전, 자동차, 드론 산업이 활성화되면서 많은 시너지를 효과를 일으키고 있다. 그러나 어두운 밤과 안개, 날씨, 연기 등 다양한 여건에서 따라서 카메라의 영상분석 정확성 감소와 오류가 수반될 수 있으며 일반적으로 딥러닝 기술을 활용하기 위해서는 고사양의 GPU를 필요로 하기 때문에 다른 추가적인 시스템이 요구된다. 이에 본 연구에서는 열적외선 영상의 객체 검출에 적용하기 위해 SSD(Single Shot MultiBox Detector) 기반의 경량적인 MobilNet 네트워크로 재구성하여, 모바일 기기 등 낮은 사양의 낮은 임베디드 시스템에서도 활용 할 수 있는 방법을 제안한다. 모의 실험결과 제안된 방식의 모델은 적외선 열화상 카메라에서 객체검출과 학습시간이 줄어든 것을 확인 할 수 있었다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

기존 One-Stage방법 중의 하나인 SSD(SingleShot MulitBox Detector)의 경우, 기본이 되는 네트워크 모델인 VGG-16[4은] 네트워크 구조상 층이 깊고 학습되는 파라미터의 개수가 증가하여 높은 연산량을 가짐으로 모바일 기기나 IoT환경에서는 추론속도가 매우 저하되는 문제가 발생하여 사용이 적합하지 않는 문제점이 있다. 본 연구에서는 임베디드 시스템 장치에 적용하여 연산량을 줄이면서도 정확도 손실을 최소화하도록 구조를 개선하기 위해서 SSD기반 MobileNet을 기본 네트워크 모델로 취하여 적외선 열화상 카메라에서의 실시간 객체검출에 대한 연구를 진행하였다.
이에 본 논문에서는 저사양의 임베디드 시스템에 학습된 딥러닝 모델을 내장하여 객체 검출을 하기 위해서 SSD의 기본 네트워크 모델을 VGGNet이 아닌 MobileNet을 적용하여 연구하였으며, SSD에 이용한 MobileNet의 구조는 그림 4와 같다.

제안 방법

MobileNet-SSD를 학습시키기 위해서 JetsonTX2에서 I2C와 SPI통신으로 Lepton 3.5을 연결하고 동작시켜 야간에서 사람만 촬영하였다. 열적외선 카메라에서는 출력되는 영상은 객체를 더 잘 분간 할 수 있도록 하기 위해서 온도가 높을수록 흰색 낮을수록 검은색으로 표현하였으며, 160 x 120 크기의 영상을 Bicubic보간법을 통해 320 x 240 영상으로 크기를 2배 늘렸다.
기존의 SSD는 기본 CNN기반의 네트워크 모델로 VGG-16을 변형하여 활용하였다. VGG-16은 일반적인 합성곱층, 통합층(PoolingLayer), 완전 열결층(fully ConnectedLayer)으로 구성되어있는 간단한 구조를 가졌지만 네트워크의 층이 깊으며 완전 연결층이 3개가 있고 통합층을 거친 뒤에는 특징맵이 2배로 커지면서 과도하게 많은 파라미터가 존재하여 높은 연산량을 가진다.
특히 객체 분류 및 검출 기술을 모바일 기기, 경량 디바이스, IoT 디바이스 시스템에 활용하려는 시도를 중심으로 딥러닝 모델의 압축 및 계산량을 줄이는 고속화모델 구조로 변경하는 다양한 경량적인 딥러닝 모델들의 관한 연구가 활발히 진행되고 있다. 본 논문에서 활용한 경량적인 딥러닝 모델 중 하나인 MobileNet[2]은 기존 CNN기반 모델들에서 쓰이는 일반적인 합성곱(Convolution)은 과는 다르게 각 입력 채널마다 하나의 필터를 사용하는 깊이별 합성곱(DepthwiseConvolution) 과 깊이별 합성곱의 결과를 통합하는 1x1의 위치별 합성곱(Pointwise Convolution)을 이용하여, 필터링을 담당하는 층과 통합을 담당하는 층을 분리하여 망을 설계한 DepthwiseSeparableConvolution의 형태를 구성하고 있으며, 각 각의 합성곱에는 모두 배치 정규화(BatchNormalization)와 Relu가 적용되었다. 이러한 DepthwiseSeparableConvolution의 이 점으로 다른 CNN 모델들과 비교하였을 때 매우 적은 연산량과 파라미터로 높은 정확성을 도출 할 수 있다.
이에 본 논문에서는 저사양의 임베디드 시스템에 학습된 딥러닝 모델을 내장하여 객체 검출을 하기 위해서 SSD의 기본 네트워크 모델을 VGGNet이 아닌 MobileNet을 적용하여 연구하였으며, SSD에 이용한 MobileNet의 구조는 그림 4와 같다. 입력으로 들어온 영상은 먼저 가장 첫번째로 일반적인 3X3의 합성곱 연산을 하고 계산량과 파라미터를 대폭줄이는 MobileNet의 3X3 DepthwiseConvolution과 1X1 PointwiseConvolution으로 구성된 Depth SeparableConvoltion을 총 13층을 거쳐 SSD의 합 성곱층에서 각 각의 크기가 다른 특징맵을 추출하면서 다른 객체 검출 기법들 보다 빠르고 정확성 있게 학습하고 객체를 검출 할 수 있게 된다.

대상 데이터

실험을 위해 임베디드 시스템 장치인 JetosnTX2와 장파 적외선 열화상 카메라 모듈인 Lepton 3.5를 활용하여 환경을 구성하였다. Jetson TX2는 딥 러닝, 컴퓨터 비전, 가속 컴퓨팅, 멀티미디어용 라이브러리들을 제공하는 전용 SDK인 Jetpack을 적하여, AI 기반 NVR(네트워크 비디오 레코더)에서 고정밀 제조 분야의 AOI(자동 광학 검사), AMR(오토노머스 모바일 로봇), 드론, 스마트 카메라 등을 구현하는데 활용되는 소형 컴퓨터이며, Lepton 3는 스마트폰 및 기타 모바일 장치에서도 사용할 수 있는 정도의 작은 크기이며, 열 감지로 야간 방범카메라, 콘크리트 측정기, 열화상 멀티메터 등에 활용되는 카메라이다.
열적외선 카메라에서는 출력되는 영상은 객체를 더 잘 분간 할 수 있도록 하기 위해서 온도가 높을수록 흰색 낮을수록 검은색으로 표현하였으며, 160 x 120 크기의 영상을 Bicubic보간법을 통해 320 x 240 영상으로 크기를 2배 늘렸다. 훈련 영상과 시험 영상 각 각 4950장, 990장 총 5940장을 레이블링 한 후에 CUDA9.0v, cuDNNl7.1,1v라이브러리와 GeForceGTX 10606GB의 GPU를 사용하여 학습시켰으며, 각각의 훈련과 시험 영상들은 표4와 같이 세분화된 영상들로 구성되어 있다.

성능/효과

또 한 그림 6, 7, 8에서 MobileNet기반의 SSD모델로 적외선 열화상 카메라로 거리에 따라 객체 검출을 하였으며, 최대 100m거리에 있는 객체까지 검출 할 수 있는 것을 확인하였다.
표5는 MobileNet기반의 SSD와 기존의 VGG-16기반의 SSD의 열화상 영상에서의 객체 검출 성능과 파라미터의 수, 학습시간을 비교 분석한 결과이다. MobileNet-SSD보다 VGG-16SSD가 mAP가 높지만, 파라미터 의 수는 MobileNet-SSD가 5배, 연산량은 20배 정도 낮으며, 학습시간도 줄어들었다. 또 한 그림 6, 7, 8에서 MobileNet기반의 SSD모델로 적외선 열화상 카메라로 거리에 따라 객체 검출을 하였으며, 최대 100m거리에 있는 객체까지 검출 할 수 있는 것을 확인하였다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

임베디드 시스템용 Single Shot Multibox Detector Model 기반 적외선 열화상 영상의 객체검출
Object Detection of Infrared Thermal Image Based on Single Shot Multibox Detector Model for Embedded System 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

임베디드 시스템용 Single Shot Multibox Detector Model 기반 적외선 열화상 영상의 객체검출 Object Detection of Infrared Thermal Image Based on Single Shot Multibox Detector Model for Embedded System 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

임베디드 시스템용 Single Shot Multibox Detector Model 기반 적외선 열화상 영상의 객체검출
Object Detection of Infrared Thermal Image Based on Single Shot Multibox Detector Model for Embedded System 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper