[논문]신경망 기반의 유기된 물체 인식 방법

류동균; 이재흥

doi:10.7471/ikeee.2018.22.4.1131

신경망 기반의 유기된 물체 인식 방법
The Method of Abandoned Object Recognition based on Neural Networks 원문보기

전기전자학회논문지 = Journal of IKEEE, v.22 no.4, 2018년, pp.1131 - 1139

류동균 (Dept. of Electronics Engineering, Hanbat National University) , 이재흥 (Dept. of Electronics Engineering, Hanbat National University)

초록
AI-Helper

본 논문에서는 합성곱 신경망을 이용한 유기된 물체 인식 방법을 제안한다. 유기된 물체 인식 방법은 영상 내에서 유기 물체에 대한 영역을 먼저 검출하며 검출된 영역이 있을 경우 해당 영역에 합성곱 신경망을 적용하여 어떤 물체를 나타내는지 인식하는 과정을 거친다. 실험은 쓰레기 무단투기를 검출하는 응용 시스템을 통해 진행되었다. 실험 결과, 유기 물체에 대한 영역을 효율적으로 검출하는 것을 볼 수 있었다. 검출된 영역은 합성곱 신경망으로 들어가 쓰레기인지 아닌지 분류되는 과정을 거쳤다. 이를 위해 자체적으로 수집한 쓰레기 데이터와 오픈 데이터베이스로 합성곱 신경망을 학습시켰다. 학습 결과, 학습에 포함되지 않은 테스트셋에 대해 약 97%의 정확도를 달성하였다.

Abstract ▼ AI-Helper

This paper proposes a method of recognition abandoned objects using convolutional neural networks. The method first detects an area for an abandoned object in image and, if there is a detected area, applies convolutional neural networks to that area to recognize which object is represented. Experiments were conducted through an application system that detects illegal trash dumping. The experiments result showed the area of abandoned object was detected efficiently. The detected areas enter the input of convolutional neural networks and are classified into whether it is a trash or not. To do this, I trained convolutional neural networks with my own trash dataset and open database. As a training result, I achieved high accuracy for the test set not included in the training set.

주제어

표/그림 (17)

그림 Fig. 1. The diagram for proposed method. 그림 1. 제안하는 방법에 대한 구성도
그림 Fig. 2. The example of box area decision. 그림 2. 추정된 박스 영역의 예시
표 Table 1. The algorithm of Background estimation. 표 1. 배경 추정 알고리즘
표 Table 2. The algorithm of updating box list. 표 2. 박스 리스트 갱신 알고리즘
표 Table 3. The algorithm of background decision. 표 3. 배경 여부 판단 알고리즘
그림 Fig. 3. The result of image subtraction using background estimation. 그림 3. 배경 추정을 통한 차 영상 획득 결과
그림 Fig. 4. The result of preprocessing for difference image. 그림 4. 차 영상에 대한 전처리 결과
그림 Fig. 5. The result of object area decision. 그림 5. 물체 영역 추정 결과
그림 Fig. 6. The result of fixed area detection. 그림 6. 멈춰있는 영역 검출 결과
그림 Fig. 7. The result of redetection of short-time occluded box. 그림 7. 짧은 시간 폐색된 박스의 재검출 결과
그림 Fig. 8. The result of background decision. 그림 8. 배경 여부 판단 결과
그림 Fig. 9. The result of abandoned object recognition 1. 그림 9. 유기 물체 인식 결과 1
그림 Fig. 10. The result of abandoned object recognition 2. 그림10.유기 물체 인식 결과 2
표 Table 4. Data number per label. 표 4. 라벨별 데이터 개수
그림 Fig. 11. The result of data augmentation. 그림11.데이터증대 결과
표 Table 5. Augmentation pipeline. 표 5. 데이터증대 파이프라인
표 Table 6. The result of training. 표 6. 학습 결과

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

특히 쓰레기 무단투기 문제의 경우 사회 환경에 미치는 영향이 크지만 감시 방법에 대한 연구가 광범위하게 이루어지지 않고 있다. 본 논문에서는 쓰레기 무단투기 감시 문제를 해결하기 위해 합성곱 신경망을 이용한 유기된 물체 인식 방법을 제안한다. 또한 제안하는 방법을 적용한 쓰레기 무단투기 검출기를 소개한다.
본 논문에서는 쓰레기 무단투기를 검출하는 응용시스템을 통해 유기된 물체 인식에 대한 실험을 진행하였다. 여기서 쓰레기 무단투기 검출은 허가되지 않은 지역에 모든 형태의 쓰레기를 버리는 행위를 검출하는 것을 목적으로 한다.
잘라낸 영역은 합성곱 신경망의 입력으로 들어가며 해당 영역이 어떤 물체를 나타내는지 분류하는 과정을 거치게 된다. 본 논문에서는 쓰레기 투기 검출을 위해 물체 클래스를 움직이는 물체와 움직이지 않는 물체로 분류하는 이진 분류 문제를 다룬다. 움직이는 물체는 사람, 자동차, 자전거 등에 해당하며 움직이지 않는 물체는 쓰레기봉투, 음식물 쓰레기통, 박스 등 투기될 수 있는 다양한 물체를 포함한다.
본 논문에서는 유기된 물체를 인식하는 방법을 제안하였으며 제안한 방법을 적용한 쓰레기 무단투기 검출기를 소개하였다. 유기 물체 인식을 위해 영상 내에서 유기 물체에 대한 영역을 먼저 검출하였다.
본 논문에서는 제안하는 유기 물체 인식 방법을 적용한 쓰레기 투기 검출기를 소개한다. 배경 추정을 통한 차 영상을 이용하기 때문에 변화하는 배경에 대해 실시간으로 적응이 가능하며, 방대한 데이터를 기반으로 신경망을 학습시키기 때문에 실제 응용시스템으로 적용이 가능하다.
본 논문에서는 쓰레기 무단투기를 검출하는 응용시스템을 통해 유기된 물체 인식에 대한 실험을 진행하였다. 여기서 쓰레기 무단투기 검출은 허가되지 않은 지역에 모든 형태의 쓰레기를 버리는 행위를 검출하는 것을 목적으로 한다. 본 장은 크게 유기된 물체를 인식하는 부분과 인식을 위해 합성곱 신경망에서 물체를 학습시키는 부분으로 나누어져 있다.

제안 방법

그림 3의 차 영상은 잡음이 많고 변화된 영역이 뚜렷하게 나타나있지 않다. 따라서 전처리 과정으로 중간값 필터 처리, 모폴로지 처리, 이진화 처리를 순자적으로 수행하였다. 이때 중간값 필터의 크기는 5x5, 모폴로지 처리 필터 크기는 7x7, 이진화 처리의 임계값은 30으로 설정하였다.
본 장에서는 유기된 물체를 검출 및 인식하는 방법과 쓰레기 투기를 검출하는 방법에 대한 기존의 연구를 소개한다. 또한 기존의 연구와 비교하여 본 논문에서 제안하는 방법이 갖는 차별점을 제시한다.
본 논문에서는 쓰레기 무단투기 감시 문제를 해결하기 위해 합성곱 신경망을 이용한 유기된 물체 인식 방법을 제안한다. 또한 제안하는 방법을 적용한 쓰레기 무단투기 검출기를 소개한다.
본 논문에서 제안하는 방법은 유기된 물체의 영역을 검출하고 합성곱 신경망을 적용하여 해당 영역이 어떤 물체를 나타내는지 인식까지 수행한다. 이때 인식은 영상 전체가 아닌 유기 물체로 추정된 영역에 대해서만 합성곱 신경망 연산을 하기 때문에 CPU 환경에서도 실시간 연산이 가능하다.
본 논문에서 제안하는 유기 물체 인식 방법은 영상 내에서 유기된 물체의 영역을 추정하고 추정한 영역에 대해 합성곱 신경망을 적용하여 물체를 인식한다. 제안하는 유기 물체 인식 방법에 대한 구성도를 그림 1에 나타내었다.
본 실험에서는 ImageNet 데이터셋으로 미리 학습된 모델을 재학습시켰다. 경사 하강법으로는 Adam을 사용하였고 학습률은 0.
본 논문에서는 유기된 물체를 인식하는 방법을 제안하였으며 제안한 방법을 적용한 쓰레기 무단투기 검출기를 소개하였다. 유기 물체 인식을 위해 영상 내에서 유기 물체에 대한 영역을 먼저 검출하였다. 유기 물체로 검출된 영역이 있을 경우 합성 곱 신경망을 통해 해당 물체를 인식하였다.
그 외로 오픈 데이터베이스인 CIFAR-100, COCO, VOC 2012를 사용하였다. 이진 분류이기 때문에 실제 신경망이 출력하는 결과는 2개의 클래스에 대한 값이지만 효율적인 학습을 위해 각 클래스마다 여러 개의 라벨을 사용하였다. 움직이지 않는 물체 클래스에 대해서는 4개의 라벨(쓰레기봉투, 쓰레기통, 박스, ETC)을 사용하였다.
유기 물체로 검출된 영역이 있을 경우 합성 곱 신경망을 통해 해당 물체를 인식하였다. 인식을 위해 자체적으로 수집한 쓰레기 데이터와 오픈 데이터베이스로 합성곱 신경망을 학습시켰다. 학습 결과, 학습에 포함되지 않은 테스트셋에 대해 약 97%의 정확도를 달성하였다.
정확한 결과 비교를 위해 MobileNet-v2 외에도ResNet-50, Inception-v3에서도 학습을 진행하였다. 학습 결과는 학습 세대수와 상관없이 각 구조별로 가장 좋은 모델을 반영하였다.
추정된 물체 영역이 멈춰있는 물체인지 움직이고 있는 물체인지 판단하기 위해 현재 프레임과 이전 프레임에서 추정된 모든 박스 영역을 IoU를 통해 각각 비교한다. 추정된 박스 영역의 예시를 그림 2에 나타내었다.
합성곱 신경망의 인식 실험은 신경망의 학습을 위해 Intel i5-4.3GHz, Nvidia GTX1070, 16GB RAM이 탑재된 고사양 PC에서 진행하였다.

대상 데이터

영상의 크기는 640x480으로 설정하였다. 구현은 Ubuntu, Mac os 환경에서 OpenCV, Keras, Tensorflow, Arm- Compute-Library 등을 사용하였다.
학습을 위해 직접 수집한 쓰레기봉투, 박스, 쓰레기통 등을 사용하였다. 그 외로 오픈 데이터베이스인 CIFAR-100, COCO, VOC 2012를 사용하였다. 이진 분류이기 때문에 실제 신경망이 출력하는 결과는 2개의 클래스에 대한 값이지만 효율적인 학습을 위해 각 클래스마다 여러 개의 라벨을 사용하였다.
0001로 설정하였다. 미니 배치 크기는 64개로 설정하였으며 쓰레기봉투 4개, 쓰레기통 4개, 박스 4개, ETC 20개, 사람 16개, 탈것 16개로 구성하였다. 매번 미니배치를 구성할 때마다 Augmentation을 적용하였다.
유기된 물체 인식에 대한 실험은 Odroid-XU4 보드를 이용하였으며 Exynoss 5422, Mali-T628, 2GB RAM이 탑재되어 있다. 영상의 크기는 640x480으로 설정하였다. 구현은 Ubuntu, Mac os 환경에서 OpenCV, Keras, Tensorflow, Arm- Compute-Library 등을 사용하였다.
이진 분류이기 때문에 실제 신경망이 출력하는 결과는 2개의 클래스에 대한 값이지만 효율적인 학습을 위해 각 클래스마다 여러 개의 라벨을 사용하였다. 움직이지 않는 물체 클래스에 대해서는 4개의 라벨(쓰레기봉투, 쓰레기통, 박스, ETC)을 사용하였다. 움직이는 물체 클래스에 대해서는 2개의 라벨(사람, 탈것)을 사용하였다.
유기된 물체 인식에 대한 실험은 Odroid-XU4 보드를 이용하였으며 Exynoss 5422, Mali-T628, 2GB RAM이 탑재되어 있다. 영상의 크기는 640x480으로 설정하였다.
일정 프레임이상 움직이지 않는 영역을 멈춰있는 영역으로 판단하며 본 실험에서는 200 프레임을 임계값으로 설정하였다. 200 프레임동안 움직이지 않는 박스가 멈춰있는 영역으로 검출되며 배경이 아닌 실제 유기된 물체일 경우 즉시 배경으로 적응된다.
세 구조 모두 우수한 성능을 보여주었으며 MobileNet-v2의 경우 6개의 라벨에 대해 평균 약 97%의 정확도를 보여주었다. 최종적으로 본 논문에서는 연산 효율 면에서 가장 경량화된 구조인 MobileNet-v2를 사용하였다.
학습을 위해 직접 수집한 쓰레기봉투, 박스, 쓰레기통 등을 사용하였다. 그 외로 오픈 데이터베이스인 CIFAR-100, COCO, VOC 2012를 사용하였다.

이론/모형

본 실험에서는 ImageNet 데이터셋으로 미리 학습된 모델을 재학습시켰다. 경사 하강법으로는 Adam을 사용하였고 학습률은 0.0001로 설정하였다. 미니 배치 크기는 64개로 설정하였으며 쓰레기봉투 4개, 쓰레기통 4개, 박스 4개, ETC 20개, 사람 16개, 탈것 16개로 구성하였다.
전처리 과정을 거친 영상은 잡음이 제거되어 물체 영역 추정이 가능하다. 물체 영역 추정을 위한 알고리즘으로 Suzuki85 [12]를 사용한다. Suzuki85는 이진화된 영상으로부터 물체의 외곽선을 추출하며 물체가 여러 개 있을 경우 인접성에 따라 물체를 분류한다.
이에 따라 배경을 새로운 환경에 계속적으로 적응시키기 위해 ∑-Δ 배경 추정 알고리즘 [11]의 일부를 사용한다.
전처리된 영상에 Suzuki85 알고리즘을 적용하여 사각형의 형태로 물체의 외곽선을 추출하였다. 물체가 여러 개 있을 경우에도 잘 분류되는 모습을 확인할 수 있었다.
멈춰있는 영역이 검출되었을 때 기존 배경 리스트(old_bgs)에 등록된 배경이 있을 경우 해당 영역과 등록된 배경 간의 IoU와 유사도를 확인한다. 정확한 유사도 비교를 위해 등록된 배경과 검출된 영역 각각에 대해 겹치는 영역만 추출하여 비교하며 유사도 비교 알고리즘은 Structural Similarity Index [13]를 사용한다. 유사도가 높을 경우 해당 영역은 배경이라고 판단하며 낮을 경우 최종적으로 유기된 물체영역이라고 판단한다.
움직이는 물체는 사람, 자동차, 자전거 등에 해당하며 움직이지 않는 물체는 쓰레기봉투, 음식물 쓰레기통, 박스 등 투기될 수 있는 다양한 물체를 포함한다. 합성곱 신경망의 구조로는 MobileNet-v2를 사용하였다.

성능/효과

학습 결과를 표 6에 나타내었다. 세 구조 모두 우수한 성능을 보여주었으며 MobileNet-v2의 경우 6개의 라벨에 대해 평균 약 97%의 정확도를 보여주었다. 최종적으로 본 논문에서는 연산 효율 면에서 가장 경량화된 구조인 MobileNet-v2를 사용하였다.
인식을 위해 자체적으로 수집한 쓰레기 데이터와 오픈 데이터베이스로 합성곱 신경망을 학습시켰다. 학습 결과, 학습에 포함되지 않은 테스트셋에 대해 약 97%의 정확도를 달성하였다.
정확한 결과 비교를 위해 MobileNet-v2 외에도ResNet-50, Inception-v3에서도 학습을 진행하였다. 학습 결과는 학습 세대수와 상관없이 각 구조별로 가장 좋은 모델을 반영하였다. 학습 결과를 표 6에 나타내었다.

질의응답

핵심어	질문	논문에서 추출한 답변
	본 실험에서 ∆t의 의미는?	It는 입력 영상, Mt는 추정된 배경 영상이다. ∆t는 현재까지 추정된 배경 영상과 입력 영상의 차이다. update_rate 값은 배경 영상을 입력 영상에 대해 얼마나 적응시킬지를 결정하며 본 논문에서는 0.
	영상처리 분야의 예시는?	최근 딥러닝 기술이 급격하게 발전하면서 다양한 분야에 인공지능 시스템이 적용되고 있다. 영상처리 분야에서는 얼굴 인식, 보행자 검출과 같은 응용 기술의 성능이 올라감에 따라 지능형 보안 감시시스템의 활용이 많아지고 있다. 하지만 CCTV 관제 센터 등의 대부분의 감시 시스템은 여전히 관제요원이 실시간으로 영상을 감시하는 형태를 보이고 있다.
	쓰레기 투기 검출을 위한 실험에서 합성곱 신경망의 입력으로 물체를 분류하는 기준은?	본 논문에서는 쓰레기 투기 검출을 위해 물체 클래스를 움직이는 물체와 움직이지 않는 물체로 분류하는 이진 분류 문제를 다룬다. 움직이는 물체는 사람, 자동차, 자전거 등에 해당하며 움직이지 않는 물체는 쓰레기봉투, 음식물 쓰레기통, 박스 등 투기될 수 있는 다양한 물체를 포함한다. 합성곱 신경망의 구조로는 MobileNet-v2를 사용하였다.

참고문헌 (13)

T. G. Song and Y. H. Joo, "Recognition and Recovery for Abandoned Objects," in KIEE Summer Conference, pp.1392-1393, 2016.
N. Ghuge and P. Dhulekar, "Abandoned Object Detection," International Journal for Modern Trends in Science and Technology, vol.3, pp.215-218, 2017.
J. H. Goo, S. H. Oh and S. K. Jung, "Abandoned Object Detection using Online Robust PCA," in Korea Computer Congress, pp.1319-1321, 2014.
J. H. Im, S. W. Lee, S. S. Jang, J. H. Lim, T. K. Kim and J. K. Paik, "Multi-Frame Reference-Based Background Modeling for Abandoned Object Detection," in IEEK Summer Conference, pp.343-344, 2010.
H. S. Park, J. H. Park, H. J. Choi and J. K. Paik, "Stolen and Abandoned Object Detection Method Based on Dual Background Image," in IEEK Summer Conference, pp.604-606, 2015.
J. S. Ha, J. C. Shin, H. S. Park and J. K. Paik, "Abandoned Object Detection Using Pixel-wise Finite State Machine and Deep Convolutional Neural Network," in IEEK Summer Conference, pp.691-693, 2018.
D. Shyam, A. Kot and C. Athalye, "Abandoned Object Detection Using Pixel-Based Finite State Machine and Single Shot Multibox Detector," in IEEE International Conference on Multimedia and Expo, pp.1-6, 2018. DOI:10.1109/ICME.2018.8486464
W. Liu, D. Anguelov, D. Erhan, C. Szegedy, and S. Reed, "Ssd: Single shot multibox detector," in European Conference on Computer Vision, pp.21-37, 2016.
A. Dabholkar, B. Muthiyan, S. Srinivasan, S. Ravi, H. Jeon and J. Gao, "Smart Illegal Dumping Detection," in IEEE Third International Conference on Big Data Computing Service and Applications, 2017.
H. Begur, M. Dhawade, N. Gaur, P. Dureja, H. Jeon and J. Gao, "An edge-based smart mobile service system for illegal dumping detectionand monitoring in san jose," SCI. IEEE, 2017.
J. Richefeu, A. Manzanera, "robust and computationally ef？cient motion detection algorithm based on sigma-delta background estimation," in IEEE ICVGIP, 2004
S. Suzuki and K. Abe, "Topological structural analysis of digitized binary images by border following," Computer Vision, Graphics, and Image Processing, vol.30, no.1, pp.32-46, 1985.

상세보기
W. Zhou, A. Bovik, H. Sheikh and E. Simoncelli, "Image Qualifty Assessment: From Error Visibility to Structural Similarity," IEEE Transactions on Image Processing, vol.13, no.4, pp.600-612, 2004. DOI:10.1109/TIP.2003.819861

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증