김재중
(Graduate School of Disaster Prevention, Kangwon National University)
,
류진규
(Graduate School of Disaster Prevention, Kangwon National University)
,
곽동걸
(Graduate School of Disaster Prevention, Kangwon National University)
,
변선준
(Thermal-Hydraulic Design Team, KEPCO Nuclear Fuel)
최근 딥러닝(deep learning) 인공지능 기반의 컴퓨터 비전 분야는 각종 영상분석 분야에서 화제로 떠오르고 있다. 본 연구에서는 딥러닝 기반의 여러 이미지 인식 알고리즘 중 이미지 내에서 객체를 검출하는 데 사용되는 Faster R-CNN 알고리즘을 이용하여 화재 이미지에서 불꽃을 검출하고자 한다. 학습 과정에서 소량의 데이터셋을 통한 화재검출 정확도 향상을 위해 이미지 오그멘테이션(image augmentation) 기법을 이용하고, 이미지 오그멘테이션을 6가지 유형별로 나누어 학습하여 정확도, 정밀도, 검출률을 비교하였다. 그 결과, 이미지 오그멘테이션의 종류가 늘어날수록 검출률이 상승하지만, 다른 객체 검출 모델들의 일반적인 정확도와 검출률의 관계와 마찬가지로 오검출율 또한 10%에서 최대 30%까지 증가하게 됨을 확인하였다.
최근 딥러닝(deep learning) 인공지능 기반의 컴퓨터 비전 분야는 각종 영상분석 분야에서 화제로 떠오르고 있다. 본 연구에서는 딥러닝 기반의 여러 이미지 인식 알고리즘 중 이미지 내에서 객체를 검출하는 데 사용되는 Faster R-CNN 알고리즘을 이용하여 화재 이미지에서 불꽃을 검출하고자 한다. 학습 과정에서 소량의 데이터셋을 통한 화재검출 정확도 향상을 위해 이미지 오그멘테이션(image augmentation) 기법을 이용하고, 이미지 오그멘테이션을 6가지 유형별로 나누어 학습하여 정확도, 정밀도, 검출률을 비교하였다. 그 결과, 이미지 오그멘테이션의 종류가 늘어날수록 검출률이 상승하지만, 다른 객체 검출 모델들의 일반적인 정확도와 검출률의 관계와 마찬가지로 오검출율 또한 10%에서 최대 30%까지 증가하게 됨을 확인하였다.
Recently, computer vision field based deep learning artificial intelligence has become a hot topic among various image analysis boundaries. In this study, flames are detected in fire images using the Faster R-CNN algorithm, which is used to detect objects within the image, among various image recogn...
Recently, computer vision field based deep learning artificial intelligence has become a hot topic among various image analysis boundaries. In this study, flames are detected in fire images using the Faster R-CNN algorithm, which is used to detect objects within the image, among various image recognition algorithms based on deep learning. In order to improve fire detection accuracy through a small amount of data sets in the learning process, we use image augmentation techniques, and learn image augmentation by dividing into 6 types and compare accuracy, precision and detection rate. As a result, the detection rate increases as the type of image augmentation increases. However, as with the general accuracy and detection rate of other object detection models, the false detection rate is also increased from 10% to 30%.
Recently, computer vision field based deep learning artificial intelligence has become a hot topic among various image analysis boundaries. In this study, flames are detected in fire images using the Faster R-CNN algorithm, which is used to detect objects within the image, among various image recognition algorithms based on deep learning. In order to improve fire detection accuracy through a small amount of data sets in the learning process, we use image augmentation techniques, and learn image augmentation by dividing into 6 types and compare accuracy, precision and detection rate. As a result, the detection rate increases as the type of image augmentation increases. However, as with the general accuracy and detection rate of other object detection models, the false detection rate is also increased from 10% to 30%.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 연구에서는 이미지 기반 인공지능 물체감지 검출기법 중 딥러닝 기반의 Faster R-CNN 기법을 이용하여 화재에서의 불꽃을 인식하고, 이미지 오그멘테이션기법을 이용하여 검출 정확성을 향상시키고자 한다. 이미지 오그멘테이션에서는 6가지의 유형을 설정하여 학습시키고, 사용된 유형에 따른 화재 이미지의 검출 평가를 통해 정밀도의 차이를 비교하였다.
제안 방법
또한 본 연구에서는 파이썬(Python)에서 사용되는 대표적인 인공지능 오픈소스 라이브러리인 텐서플로우(tensorflow)와 이것에 연동하여 사용할 수 있는 오픈소스 프레임워크인 Object Detection API를 활용하였고, Faster R-CNN 검출기법을 기반으로 객체검출모델을 구성하였다.
본 연구에서 사용한 이미지 오그멘테이션은 객체검출 API의 전처리기(preprocessor)을 이용하여, 그림 3과 같이 원본이미지를 무작위 회전, 좌우반전,상하반전, 색채왜곡효과, 대비조정 등과 같은 방법을 통하여 인위적으로 학습에 필요한 이미지 데이터셋의 수를 보강하였다.
본 연구에서는 이미지 기반 인공지능 물체감지 검출기법 중 딥러닝 기반의 Faster R-CNN 기법을 이용하여 다양한 화재에서의 불꽃을 검출하였고,소량의 이미지 데이터로 화재검출의 정확성을 높이기 위해 이미지 오그멘테이션 기법을 이용하여 향상시켰다. 제안한 이미지 오그멘테이션에서는 400장의 기본 이미지 데이터셋과 6가지의 유형을 설정하여 학습시켰고, 사용된 유형에 따른 화재 이미지의 검출 평가를 통해 정확도의 차이를 비교하였다.
앞서의 표 2에서 정의한 이미지 오그멘테이션을 적용한 각 유형별 모델들에 대해 10,000회, 15,000회, 30,000회 학습을 수행하였고, 각 유형에 대한 화재, 비화재 이미지 검출 평가를 수행한 결과를 표 4에 작성하였다.
본 연구에서는 이미지 기반 인공지능 물체감지 검출기법 중 딥러닝 기반의 Faster R-CNN 기법을 이용하여 화재에서의 불꽃을 인식하고, 이미지 오그멘테이션기법을 이용하여 검출 정확성을 향상시키고자 한다. 이미지 오그멘테이션에서는 6가지의 유형을 설정하여 학습시키고, 사용된 유형에 따른 화재 이미지의 검출 평가를 통해 정밀도의 차이를 비교하였다.
본 연구에서는 이미지 기반 인공지능 물체감지 검출기법 중 딥러닝 기반의 Faster R-CNN 기법을 이용하여 다양한 화재에서의 불꽃을 검출하였고,소량의 이미지 데이터로 화재검출의 정확성을 높이기 위해 이미지 오그멘테이션 기법을 이용하여 향상시켰다. 제안한 이미지 오그멘테이션에서는 400장의 기본 이미지 데이터셋과 6가지의 유형을 설정하여 학습시켰고, 사용된 유형에 따른 화재 이미지의 검출 평가를 통해 정확도의 차이를 비교하였다. 본 연구를 통해 소량의 데이터셋으로도 불꽃을 95%이상의 비율로 검출할 수 있음을 확인하였 으며, 단순히 이미지 오그멘테이션의 종류를 늘리거나 복잡한 변조를 많이 할 경우 실제 정확도는 80%아래까지 떨어지는 경우가 발생함을 확인하였다.
표 2는 본 연구에서 제안한 이미지 오그멘테이션 요소별 유형을 나타낸다. 표와 같이 5개의 이미지 증강 요소들을 선정하여, A～F까지 6개의 유형별로 나누어 이미지 오그멘테이션의 증강기법을 적용하여 분석하였다.
대상 데이터
400장의 다소 적은 수의 양으로 구성된 기본 데이터셋을 통해 학습하였고, 평가를 위해 화재이미지 40장과 비화재(No_F.)이미지 40장을 사용하였으며, 화재이미지에서는 30,000회 학습 기준으로 평균 37.7장의 이미지에서 불꽃의 위치를 올바르게 검출하였다. 최종 학습의 종료시점인 30,000회 학습하였을 경우를 기준으로 정확도, 정밀도, 검출률을 그림7과 같이 그래프로 표시하였다.
본 연구에서는 다양한 화재검출을 위하여, 화재가 포함된 이미지 사진을 총 400장 수집하여 데이터셋을 구성하였다. 라벨링(labeling)된 400장의 사진은 표 1과 같이 320장은 트레인셋(train set)으로 80장은 테스트셋(test set)으로 나누었다.
이론/모형
본 연구에서 사용한 검출기법인 Faster R-CNN에서는 객체검출 최종단계에서 Softmax 함수를 이용한 분류기(classifier)가 사용되었다.
학습을 위한 트레인셋 이미지들은 Faster R-CNN 알고리즘 모델이 유추한 검출값과 실제값과의 오류 분석을 위해 사용되었고, 테스트셋 이미지들은 학습과정 중 RPN과 RoI 풀링의 학습모델의 가중치 조절을 위해 사용되었다.
성능/효과
88로 상승하였다. Random horizontal flip과 Random vertical flip을 적용한 유형 C의 경우도 동일한 정확도와 정밀도 그리고 검출률을 보였다. 그러나 유형 D의 경우부터는 기존보다 검출률은 0.
결과적으로 Random adjust contrast와 Random color distort를 적용한 유형 E와 5가지 오그멘테이션을 모두 적용한 유형 F의 경우 모두 검출률은 좋아지었으나 정확도와 정밀도는 크게 떨어지는 것으로 이미지 오그멘테이션 기법이 원본이미지에 비해 변화가 크거나 종류가 많아질수록 background error가 많이 나타남을 알 수 있다. 그 결과 가장 학습이 잘된 케이스는 background error가 적으면서 검출률이 비교적 높아 정확도가 증가한 유형 B와 C로 분석되었다.
결과적으로 Random adjust contrast와 Random color distort를 적용한 유형 E와 5가지 오그멘테이션을 모두 적용한 유형 F의 경우 모두 검출률은 좋아지었으나 정확도와 정밀도는 크게 떨어지는 것으로 이미지 오그멘테이션 기법이 원본이미지에 비해 변화가 크거나 종류가 많아질수록 background error가 많이 나타남을 알 수 있다. 그 결과 가장 학습이 잘된 케이스는 background error가 적으면서 검출률이 비교적 높아 정확도가 증가한 유형 B와 C로 분석되었다. 이는 이미지 오그멘테이션의 효과를 많이 추가한 유형 D, E ,F의 경우는 학습초반 손실이 커졌고, 학습 진행을 오래하더라도 정확도가 떨어지게 된다는 결과를 얻었다.
그러므로 데이터셋을 저장할 때 이진 파일 형식을 사용하면 데이터셋의 로드시 파이프 라인의 성능이 활성화되고, 학습된 모델의 교육시간을 향상시키는 효과가 주어진다. 그 결과, 이진형식의 데이터는 적은 디스크 공간을 요구하고 복사 시간이 짧으며 디스크에서 훨씬 효율적으로 읽을 수 있는 장점이 주어진다.
85로 나타났다. 그리고 Random horizontal flip만을 적용한 B의 경우는 전체적으로 TP와 FP의 수치가 좋아져 정확도, 정밀도, 검출률 모두 0.88로 상승하였다. Random horizontal flip과 Random vertical flip을 적용한 유형 C의 경우도 동일한 정확도와 정밀도 그리고 검출률을 보였다.
연구 초기 15,000회까지 학습하였을 때에는 이러한 이유가 A～C 유형의 경우는 기본 데이터셋이 소량인 점과 단순히 뒤집기 반전의 이미지 오그멘테이션의 기법을 사용하여 과적합이 발생하여 TP와 FP의 비율이 적은 것으로 분석되었고, 반면에 유형 E와 F의 경우는 이미지 오그멘테이션의 요소 증가로 인한 데이터셋의 다양성이 증가하여 안정적으로 FP의 비율과 학습손실이 줄어든 결과를 가진다. 그리고 실제 학습 횟수 2만회 초반부터는 A～F 경우 모두 FP는 크게 줄어들지 않고 손실 또한 큰 변화가 없어 30,000회에서 학습을 종료하게 되었다.
반복학습의 횟수는 텐서보드를 통해 확인하였을 때 손실이 크게 줄어들지 않고 일정 수치에 수렴하는 30,000회 까지 진행하였고, 이미지 오그멘테이션의 증강 요소를 늘리게 되면 학습 초반에 손실이 커졌지만, 학습 횟수가 20,000회 이후에서의 손실은 A～F까지의 경우가 모두 비슷하게 나타났다. 리눅스운영체제 기반의 딥러닝 Faster R-CNN과 텐서플로우를 이용한 학습과정 프로세서를 그림 4에 나타낸다.
제안한 이미지 오그멘테이션에서는 400장의 기본 이미지 데이터셋과 6가지의 유형을 설정하여 학습시켰고, 사용된 유형에 따른 화재 이미지의 검출 평가를 통해 정확도의 차이를 비교하였다. 본 연구를 통해 소량의 데이터셋으로도 불꽃을 95%이상의 비율로 검출할 수 있음을 확인하였 으며, 단순히 이미지 오그멘테이션의 종류를 늘리거나 복잡한 변조를 많이 할 경우 실제 정확도는 80%아래까지 떨어지는 경우가 발생함을 확인하였다. 이것은 이미지오그멘테이션의 종류가 늘어날수록 검출률은 상승하지만, 오검출율 또한 10%에서 최대 30%까지 증가하게 됨을 확인하였다.
[12]의 논문에서도 마찬가지로 선택된 이미지 오그멘테이션 효과가 단순히 이미지를 scale, rotate, flips 등의 효과를 통해 학습한 경우보다 노이즈가 심한 이미지 오그멘테이션을 통해 학습하였을 때 정확도가 더 낮게 나타났다. 본 연구에서도 case B, C, D와 같이 뒤집기, 회전과 같은 사물에 대한 데이터가 원본의 패턴을 갖는 경우 이미지 오그멘테이션 기법이 정확도 향상에 도움이 되었고, 반면 Color Distortion 과 Adjust Contrast의 경우는 다양한 데이터셋을 확보할 수는 있으나, 원본에서 특징을 갖는 많은 정보들이 변형되고 손실 되어 데이터셋안의 데이터들로부터 학습하려는 사물에 대한 적절한 상관관계나 특징을 얻지 못하여 학습과정 중의 손실이 크고, 이미지 검출에 대한 정확도가 낮게나타났다. 이미지검출 모델 학습에 있어서 검출률보다 background error의 비율을 줄여 정확도와 정밀도를 증가시키는 것이 객체검출 알고리즘에서 중요한 요소로 분석되었다.
연구 초기 15,000회까지 학습하였을 때에는 이러한 이유가 A～C 유형의 경우는 기본 데이터셋이 소량인 점과 단순히 뒤집기 반전의 이미지 오그멘테이션의 기법을 사용하여 과적합이 발생하여 TP와 FP의 비율이 적은 것으로 분석되었고, 반면에 유형 E와 F의 경우는 이미지 오그멘테이션의 요소 증가로 인한 데이터셋의 다양성이 증가하여 안정적으로 FP의 비율과 학습손실이 줄어든 결과를 가진다. 그리고 실제 학습 횟수 2만회 초반부터는 A～F 경우 모두 FP는 크게 줄어들지 않고 손실 또한 큰 변화가 없어 30,000회에서 학습을 종료하게 되었다.
84까지 떨어졌다. 유형 E의 경우는 검출률 0.93으로 대부분의 화재사진에서 불꽃을 정확하게 검출하였으나 비화재사진에서 높은 오검출로인해 FP의 수치가 증가하여 background error가 급격히 증가함을 보여주었다. 유형 F의 경우는 검출률 0.
93으로 대부분의 화재사진에서 불꽃을 정확하게 검출하였으나 비화재사진에서 높은 오검출로인해 FP의 수치가 증가하여 background error가 급격히 증가함을 보여주었다. 유형 F의 경우는 검출률 0.95, 정밀도 0.76, 정확도 0.83으로 이번 연구에서 10,000회 학습에서 FP의 비율이 가장 높은 12장까지 검출되어 정확도 하락의 높은 원인이 되었다. 이것은 이미지 오그멘테이션의 종류가 늘어날수록 검출률이 상승하지만, 오검출율 또한 10%에서 최대 30%까지 증가하게 됨을 확인하였다.
83으로 이번 연구에서 10,000회 학습에서 FP의 비율이 가장 높은 12장까지 검출되어 정확도 하락의 높은 원인이 되었다. 이것은 이미지 오그멘테이션의 종류가 늘어날수록 검출률이 상승하지만, 오검출율 또한 10%에서 최대 30%까지 증가하게 됨을 확인하였다.
본 연구를 통해 소량의 데이터셋으로도 불꽃을 95%이상의 비율로 검출할 수 있음을 확인하였 으며, 단순히 이미지 오그멘테이션의 종류를 늘리거나 복잡한 변조를 많이 할 경우 실제 정확도는 80%아래까지 떨어지는 경우가 발생함을 확인하였다. 이것은 이미지오그멘테이션의 종류가 늘어날수록 검출률은 상승하지만, 오검출율 또한 10%에서 최대 30%까지 증가하게 됨을 확인하였다. 이는 Lecoutre et al.
본 연구에서도 case B, C, D와 같이 뒤집기, 회전과 같은 사물에 대한 데이터가 원본의 패턴을 갖는 경우 이미지 오그멘테이션 기법이 정확도 향상에 도움이 되었고, 반면 Color Distortion 과 Adjust Contrast의 경우는 다양한 데이터셋을 확보할 수는 있으나, 원본에서 특징을 갖는 많은 정보들이 변형되고 손실 되어 데이터셋안의 데이터들로부터 학습하려는 사물에 대한 적절한 상관관계나 특징을 얻지 못하여 학습과정 중의 손실이 크고, 이미지 검출에 대한 정확도가 낮게나타났다. 이미지검출 모델 학습에 있어서 검출률보다 background error의 비율을 줄여 정확도와 정밀도를 증가시키는 것이 객체검출 알고리즘에서 중요한 요소로 분석되었다.
질의응답
핵심어
질문
논문에서 추출한 답변
이미지 분류 수행 모델과 비교했을 때 객체검출기법의 단점은 무엇인가?
CNN 기법의 객체검출(object detection)기법은 이미지분류(classification)만을 수행하는 모델보다 비교적 추론시간이 오래 걸리고, 오검출율이 높다. 그러나 객체검출기법은 이미지 하나로부터 한번에 여러 사물의 종류와 위치을 추론할 수 있는 장점이 주어진다[3][4].
선택적탐색(selective search) 검출 알고리즘의 비용적, 시간적 비효율성을 개선하기 위하여 어떤 기법을 이용할 수 있는가?
하지만 이 방법은 많은 데이터 소비로 인해 비용적, 시간적으로 비효율적이었다. 이를 개선하기 위해 입력 이미지에서 슬라이딩 윈도우(sliding window) 방식 즉, 일정한 크기를 가지는 윈도우를 가지고 이미지의 모든 영역을 탐색하면서 객체를 검출해내는 방식인 Region proposal 생성 알고리즘을 이용하여, 객체가 존재할 것으로 추정되는 Region proposal들을 추출해서 Bounding box에 의한 CNN을 거쳐 객체를 검출하는 R-CNN 기법이 소개되었다[7][8].
딥러닝 분석데이터의 출력은 어떻게 나타나는가?
딥러닝은 인공지능 알고리즘 기법 중 동물의 신경구조를 본떠 만든 퍼셉트론 알고리즘(perceptron algorithm)을 기초한 것으로서, 분석 데이터의 출력은 입력값과 가중치(weight)의 곱, 그리고 바이어스(bias)의 합으로 주어진다. 이 출력값이 예측값의 활성함수(activation function) 리턴값과 다를 경우 가중치를 조정하여 또 다시 업데이트된 출력값을 활성함수 리턴값과 비교해 나가며 분석하는 것으로써 임계치를 넘으면 1, 임계치를 넘지 못하면 0을 출력한다.
참고문헌 (12)
J. S. Won, "A Study Focused on Responding to Fire-Related Accidents", The Seoul Institute Policy Report, Vol. 239, pp.1-21, 2017.
L. Xiao, "A Distributed Reinforcement Learning Solution With Knowledge Transfer Capability for A Bike Rebalancing Problem," arXiv preprint, arXiv: 1810.04058, 2018.
Y. Bengio, "Learning Deep Architecture for AI," Foundations and trends(R) in Machine Learning, Vol.2, No.1, pp.1-127, 2009.
G. Hinton, S. Osindero, "A Fast Learning Algorithm for Deep Belief Nets," Neural Computation, Vol.18, No.7, pp.1527-1554, 2006.
R. Girshick, J. Donahue, T. Darrell, "Rich feature hierarchies for accurate object detection and semantic segmentation," arXiv preprint, arXiv:1311.2524v5, pp.1-20, 2014.
S. Ren, K. He, R. Girshick, "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks," arXiv preprint, arXiv:1506.01497, 2016.
M. K. Lee, K. S. Seo, "Comparison of Region-based CNN Methods for Defects Detection on Metal Surface," The Transactions of the Korean Institute of Electrical Engineers, Vol.67, No.7, pp.865-870, 2018.
L. Perez, J. Wang, "The Effectiveness of Data Augmentation in Image Classification using Deep Learning,"arXiv preprint, arXiv:1712.04621, 2017.
A. Lecoutre, B. Negrevergne, F. Yger, "Recognizing Art Style Automatically in painting with deep learning," Proceedings of Machine Learning Research, Vol.77, pp.327-342, 2017.
Z. Hussain, F. Gimenez, D. Yi, "Differential Data Augmentation Techniques for Medical Imaging Classification Tasks," AMIA Annu Symp Proc., pp.979-984, 2017.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.