[논문]단일 단계 검출 방법을 위한 이미지 합성기반 학습 데이터 증강에 관한 연구

이선경; 정치윤; 문경덕; 김채규

문제 정의

RetinaNet은 Focal loss를 사용하여 학습 과정에서 분류하기 쉬운 예제들의 학습 기여도를 낮춤으로써 클래스의 불균형 문제를 해결하였으며, 두 단계 검출 방법보다 높은 검출 성능과 처리 속도를 보여주었다[4]. 따라서, 본 논문에서는 RetinaNet을 사용하여 이미지 합성기반 데이터 증강 방법의 성능을 분석하였다.
본 논문에서는 아티팩트 효과를 줄이면서도 학습에 필요한 데이터의 양을 줄 일 수 있는 이미지 합성기반 데이터 증강 방법을 제안하였다. 먼저, 본 논문에서는 배경 영상에 객체 영상을 합성할 때 발생하는 아티팩트 효과를 줄이기 위하여 양방향 필터(Bilateral filter) 기반의 이미지 합성 데이터 생성 방법을 제안하였다. 또한, 단일 단계 검출의 대표적 방법인 RetinaNet[4]을 사용하여 이미지 합성기반 데이터 증강 방법의 성능을 분석하였다.
본 논문에서는 다양한 블렌딩 방법을 적용하지 않고 양방향 필터 기반의 영상 합성 방법을 제안한다. 기존 연구에서 사용한 가우시안 필터의 경우 경계의 모든 영역을 평활화(Smoothing)하여 객체의 윤곽선도 평활화되는 문제점이 존재하였다.
본 논문에서는 아티팩트 효과를 줄이면서도 학습에 필요한 데이터의 양을 줄 일 수 있는 이미지 합성기반 데이터 증강 방법을 제안하였다. 먼저, 본 논문에서는 배경 영상에 객체 영상을 합성할 때 발생하는 아티팩트 효과를 줄이기 위하여 양방향 필터(Bilateral filter) 기반의 이미지 합성 데이터 생성 방법을 제안하였다.
본 논문에서는 양방향 필터 기반의 이미지 합성 데이터 생성 방법을 제안하고, 단일 단계 검출의 대표적인 방법인 RetinaNet에서의 이미지 합성기반 데이터 증강 방법의 성능을 분석하였다. 제안 방법에서는 Mask R-CNN을 사용하여 객체 영역의 마스크를 추출한 후, 객체와 배경 영상을 합성하는 과정에서 객체의 경계선을 보존하면서도 주변 영역을 평활화하여 영상 합성의 품질을 높일 수 있는 양방향 필터를 적용하였다.

제안 방법

두 번째 단계에서는 배경 영상에 랜덤하게 객체의 위치를 설정한 후 해당 위치에 객체 영상을 합성함으로써 객체의 범주 및 위치에 대한 학습용 태깅 데이터를 생성한다. 마지막 단계에서는 실제 데이터 및 합성 데이터를 사용하여 객체 검출 방법 및 이미지 합성 방법의 성능을 분석한다.
제안 방법에서는 Mask R-CNN을 사용하여 객체 영역의 마스크를 추출한 후, 객체와 배경 영상을 합성하는 과정에서 객체의 경계선을 보존하면서도 주변 영역을 평활화하여 영상 합성의 품질을 높일 수 있는 양방향 필터를 적용하였다. 실제 데이터 및 합성 데이터를 사용하여 RetinaNet의 객체 검출 성능을 분석하였다. 공개 데이터셋을 사용한 실험 결과를 통해 본 논문에서 제안한 양방향 필터 기반의 합성 방법이 다른 블렌딩 방법보다 객체 검출 방법의 성능을 더 향상시키는 것을 확인하였다.
본 논문에서는 양방향 필터 기반의 이미지 합성 데이터 생성 방법을 제안하고, 단일 단계 검출의 대표적인 방법인 RetinaNet에서의 이미지 합성기반 데이터 증강 방법의 성능을 분석하였다. 제안 방법에서는 Mask R-CNN을 사용하여 객체 영역의 마스크를 추출한 후, 객체와 배경 영상을 합성하는 과정에서 객체의 경계선을 보존하면서도 주변 영역을 평활화하여 영상 합성의 품질을 높일 수 있는 양방향 필터를 적용하였다. 실제 데이터 및 합성 데이터를 사용하여 RetinaNet의 객체 검출 성능을 분석하였다.

대상 데이터

데이터 증강을 위한 객체 데이터는 BigBIRD 데이터셋 중 GMU-Kitchen 데이터와 중복되는 11개 객체 데이터를 사용하였다. BigBIRD 데이터셋에서 한 객체는 5개의 카메라 위치와 120 개의 다른 각도 촬영된 총 600장의 영상으로 구성되어 있으며, 본 논문에서는 객체별로 2개의 카메라 위치에서 촬영된 240장 영상을 랜덤하게 선택하여 합성에 사용하였다.
첫 번째 단계인 객체 영역 추출 단계에서는 Big Berkeley Instance Recognition Dataset (BigBIRD) 데이터셋을 사용하였다. BigBIRD 데이터셋은 125개의 객체를 카메라의 각도 및 위치를 달리하여 촬영한 영상으로 구성되어 있으며, 본 논문에서는 GMU-Kitchen 데이터셋[6]에 존재하는 11개의 객체 데이터를 사용하였다. BigBIRD 데이터셋은 객체 영상마다 객체 마스크 영상이 존재하지만, 투명한 재질로 이뤄진 객체의 경우 마스크 영상이 부정확하게 검출되는 문제점이 존재한다.
이미지 합성기반 데이터 증강 방법의 성능 분석에는 GMU-Kitchen 데이터셋을 사용하였다. GMU-Kitchen 데이터셋은 9개의 영상으로 구성되어 있으며, 각 영상은 11개의 객체 정보를 포함한다. GMU-Kitchen 데이터셋은 3-겹 교차 검증으로 구분되어 있으며, 본 실험에서도 데이터셋에서 정의한 3-겹 교차 검증을 수행하여 성능을 측정하였다.
데이터 증강을 위한 객체 데이터는 BigBIRD 데이터셋 중 GMU-Kitchen 데이터와 중복되는 11개 객체 데이터를 사용하였다. BigBIRD 데이터셋에서 한 객체는 5개의 카메라 위치와 120 개의 다른 각도 촬영된 총 600장의 영상으로 구성되어 있으며, 본 논문에서는 객체별로 2개의 카메라 위치에서 촬영된 240장 영상을 랜덤하게 선택하여 합성에 사용하였다.
영상 합성 단계에서는 1.358장의 배경 영상이 사용되었으며，성능 비교를 위한 영상 합성 방법은 기존 연구[3]에서 사용한 가우시안 필터, 포아송 블렌딩, 박스 필터와 본 논문에서 제안한 양방향 필터를 사용하였다. 영상 합성을 위해 사용된 방법의 파라미터는 기존 연구에서 사용한 값을 사용하였으며, 본 논문에서 제안한 양방향 필터의 경우 거리는 5, 색상과 공간에 대한 표준편차 값은 25를 사용하였다.
영상 합성 단계에서는 배경 영상과 객체 영상을 합성하여 객체 검출 모델의 학습 데이터를 생성한다. 영상 합성을 위한 배경 영상은 UW Scenes 데이터셋[8]을 사용하였다. 배경 영상에 객체 영상을 합성하게 되면 객체 영상의 경계에 아티팩트가 생성되며, 이는 객체 검출 방법의 성능을 저하하는 원인이 된다.
358장의 배경 영상이 사용되었으며，성능 비교를 위한 영상 합성 방법은 기존 연구[3]에서 사용한 가우시안 필터, 포아송 블렌딩, 박스 필터와 본 논문에서 제안한 양방향 필터를 사용하였다. 영상 합성을 위해 사용된 방법의 파라미터는 기존 연구에서 사용한 값을 사용하였으며, 본 논문에서 제안한 양방향 필터의 경우 거리는 5, 색상과 공간에 대한 표준편차 값은 25를 사용하였다. 배경 영상에 최소 1개에서 최대 4개의 객체가 랜덤하게 선택되어 배치되며, 동일 영상에 대해서 각기 다른 필터를 적용한 합성 영상이 생성된다.
첫 번째 단계인 객체 영역 추출 단계에서는 Big Berkeley Instance Recognition Dataset (BigBIRD) 데이터셋을 사용하였다. BigBIRD 데이터셋은 125개의 객체를 카메라의 각도 및 위치를 달리하여 촬영한 영상으로 구성되어 있으며, 본 논문에서는 GMU-Kitchen 데이터셋[6]에 존재하는 11개의 객체 데이터를 사용하였다.

데이터처리

GMU-Kitchen 데이터셋은 9개의 영상으로 구성되어 있으며, 각 영상은 11개의 객체 정보를 포함한다. GMU-Kitchen 데이터셋은 3-겹 교차 검증으로 구분되어 있으며, 본 실험에서도 데이터셋에서 정의한 3-겹 교차 검증을 수행하여 성능을 측정하였다.
이미지 합성기반 데이터 증강 방법의 성능 분석에는 GMU-Kitchen 데이터셋을 사용하였다. GMU-Kitchen 데이터셋은 9개의 영상으로 구성되어 있으며, 각 영상은 11개의 객체 정보를 포함한다.

이론/모형

00001을 설정하였으며 네트워크 모델은 Keras 라이브러리를 사용하여 구현하였다. 객체 검출 방법의 성능 측정은 IoU (Intersection over Union) 가 0.5일 때의 mAP(mean Average Precision)을 사용하였다.
객체 검출을 위한 RetinaNet 모델은 백본 네트워크로 ResNet-50을 사용하였으며, 에포크(epochs)는 30으로 설정하고, 반복(iteration) 횟수는 객체 데이터의 수로 설정하였다. 학습 비율은 0.
BigBIRD 데이터셋은 객체 영상마다 객체 마스크 영상이 존재하지만, 투명한 재질로 이뤄진 객체의 경우 마스크 영상이 부정확하게 검출되는 문제점이 존재한다. 따라서 객체 마스크를 정확하게 추출하기 위하여 Mask R-CNN[7] 알고리즘을 사용하였다. Mask R-CNN은 Faster R-CNN이 검출한 객체 영역에서 각 픽셀이 객체에 해당되는지를 판단하는 Fully Convolutional Network을 결합한 알고리즘이다.
먼저, 본 논문에서는 배경 영상에 객체 영상을 합성할 때 발생하는 아티팩트 효과를 줄이기 위하여 양방향 필터(Bilateral filter) 기반의 이미지 합성 데이터 생성 방법을 제안하였다. 또한, 단일 단계 검출의 대표적 방법인 RetinaNet[4]을 사용하여 이미지 합성기반 데이터 증강 방법의 성능을 분석하였다. 본 논문에서 제안한 방법을 공개 데이터셋을 사용하여 실험한 결과 기존 방법보다 더 적은 양의 증강 데이터를 사용하여 기존 방법과 동일한 성능을 가지는 것을 확인하였다.

성능/효과

실제 데이터 및 합성 데이터를 사용하여 RetinaNet의 객체 검출 성능을 분석하였다. 공개 데이터셋을 사용한 실험 결과를 통해 본 논문에서 제안한 양방향 필터 기반의 합성 방법이 다른 블렌딩 방법보다 객체 검출 방법의 성능을 더 향상시키는 것을 확인하였다. 또한, 본 논문에서 사용한 단일 검출 방법 및 이미지 데이터 증강 기법을 사용하면 기존 방법보다 더 적은 양의 증강 데이터로 동일한 성능을 보여주는 것을 실험 결과로 확인하였다.
기존 연구[3]는 블렌딩을 사용하지 않은 합성 영상과 가우시안 필터 및 포아송 블렌딩을 적용한 합성 영상을 모두 학습 데이터로 사용하므로 본 논문에서 제안된 방법보다 3배나 많은 증강 데이터를 사용하게 된다. 따라서 본 논문에서 제안한 방법은 기존 방법보다 더 적은 양의 증강 데이터로 동일하거나 더 높은 성능을 보여주는 것을 표1의 결과에서 확인할 수 있다.
공개 데이터셋을 사용한 실험 결과를 통해 본 논문에서 제안한 양방향 필터 기반의 합성 방법이 다른 블렌딩 방법보다 객체 검출 방법의 성능을 더 향상시키는 것을 확인하였다. 또한, 본 논문에서 사용한 단일 검출 방법 및 이미지 데이터 증강 기법을 사용하면 기존 방법보다 더 적은 양의 증강 데이터로 동일한 성능을 보여주는 것을 실험 결과로 확인하였다.
또한, 단일 단계 검출의 대표적 방법인 RetinaNet[4]을 사용하여 이미지 합성기반 데이터 증강 방법의 성능을 분석하였다. 본 논문에서 제안한 방법을 공개 데이터셋을 사용하여 실험한 결과 기존 방법보다 더 적은 양의 증강 데이터를 사용하여 기존 방법과 동일한 성능을 가지는 것을 확인하였다.
표 1은 이미지 합성기반 객체 검출 성능평가 결과를 나타낸다. 실험 결과를 살펴보면 이미지 합성기반 증강 데이터를 사용하여 RethiaNet을 학습하면 증강 데이터를 사용하지 않은 경우에 비하여 성능이 증가하게 되며，이미지 합성 방법 중 본 논문에서 제안한 양방향 필터를 사용한 합성 방법의 성능 향상이 가장 크게 나타났다. 제안 방법은 배경 영상의 레이아웃을 분석하여 데이터를 증강하는 기존 방법[2]보다 높은 성능을 나타내며, 다양한 블렌딩 방법을 적용한 기존 연구[3]와 동일한 성능을 보여주었다.
기존 연구에서는 배경 영상의 레이아웃을 분석하여 실제와 유사한 영상이 생성되도록 객체를 배치하는 방법이 제안되었다[2]. 이렇게 생성된 합성 영상을 학습데이터로 활용하면 SSD(Single shot multibox detector)와 Faster R-CNN 등의 객체 검출 방법의 성능이 향상된다는 것을 보여주었다. 그러나 배경 영상의 레이아웃을 분석하는 방법은 새로운 형태의 배경 영상에 적용하기 어렵고, 배경 영상에 객체를 합성할 때 객체와 배경 영상이 접한 영역에서 아티팩트(Artifact)가 발생하는 문제가 있다.
실험 결과를 살펴보면 이미지 합성기반 증강 데이터를 사용하여 RethiaNet을 학습하면 증강 데이터를 사용하지 않은 경우에 비하여 성능이 증가하게 되며，이미지 합성 방법 중 본 논문에서 제안한 양방향 필터를 사용한 합성 방법의 성능 향상이 가장 크게 나타났다. 제안 방법은 배경 영상의 레이아웃을 분석하여 데이터를 증강하는 기존 방법[2]보다 높은 성능을 나타내며, 다양한 블렌딩 방법을 적용한 기존 연구[3]와 동일한 성능을 보여주었다. 기존 연구[3]는 블렌딩을 사용하지 않은 합성 영상과 가우시안 필터 및 포아송 블렌딩을 적용한 합성 영상을 모두 학습 데이터로 사용하므로 본 논문에서 제안된 방법보다 3배나 많은 증강 데이터를 사용하게 된다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

단일 단계 검출 방법을 위한 이미지 합성기반 학습 데이터 증강에 관한 연구
A Study on Synthesizing Training Data for One-stage Object Detector 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

단일 단계 검출 방법을 위한 이미지 합성기반 학습 데이터 증강에 관한 연구 A Study on Synthesizing Training Data for One-stage Object Detector 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

단일 단계 검출 방법을 위한 이미지 합성기반 학습 데이터 증강에 관한 연구
A Study on Synthesizing Training Data for One-stage Object Detector 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper