[논문]Mask R-CNN을 이용한 물체인식 및 개체분할의 학습 데이터셋 자동 생성

조현준; 김다윗; 송재복

doi:10.7746/jkros.2019.14.1.031

[국내논문] Mask R-CNN을 이용한 물체인식 및 개체분할의 학습 데이터셋 자동 생성
Automatic Dataset Generation of Object Detection and Instance Segmentation using Mask R-CNN 원문보기

로봇학회논문지 = The journal of Korea Robotics Society, v.14 no.1, 2019년, pp.31 - 39

조현준 (Korea University) , 김다윗 (Korea University) , 송재복 (Mechanical Engineering, Korea University)

Abstract ▼ AI-Helper

A robot usually adopts ANN (artificial neural network)-based object detection and instance segmentation algorithms to recognize objects but creating datasets for these algorithms requires high labeling costs because the dataset should be manually labeled. In order to lower the labeling cost, a new scheme is proposed that can automatically generate a training images and label them for specific objects. This scheme uses an instance segmentation algorithm trained to give the masks of unknown objects, so that they can be obtained in a simple environment. The RGB images of objects can be obtained by using these masks, and it is necessary to label the classes of objects through a human supervision. After obtaining object images, they are synthesized with various background images to create new images. Labeling the synthesized images is performed automatically using the masks and previously input object classes. In addition, human intervention is further reduced by using the robot arm to collect object images. The experiments show that the performance of instance segmentation trained through the proposed method is equivalent to that of the real dataset and that the time required to generate the dataset can be significantly reduced.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 데이터셋의 구조를 조작하여 학습한 Mask R-CNN을 이용하여, 이미지의 생성 및 레이블링 작업을 자동화함으로써, 물체인식 및 개체분할 알고리즘에 사용할 수 있는 데이터셋 생성을 위한 레이블링 비용을 대폭 줄일 수 있는 방법을 제안하였다. 실험을 통해, 물체인식 알고리즘과 개체분할 알고리즘을 실제 데이터셋으로 학습하였을 때보다 제안한 방법으로 생성된 데이터셋으로 학습하였을 때, AP 기준으로 약5%의 차이가 나타났다.
본 연구의 목표는 처음 보는 물체도 인식할 수 있도록 학습시킨 개체분할 알고리즘을 이용하여, 레이블링 작업을 자동으로 수행함으로써 데이터셋 생성을 위해 필요한 레이블링 비용을 대폭 절감할 수 있을 뿐만 아니라, 물체인식 및 개체분할 알고리즘 모두에 적용 가능한 방법을 제안하는 것이다. 먼저 대상 물체를 로봇을 이용하여 다양한 각도에서의 이미지를 얻고, 처음 보는 물체의 마스크를 얻을 수 있도록 학습한 개체분할 알고리즘을 이용하여 배경을 제거한다.

제안 방법

학습에 사용된 데이터 수는 [Table 1]과 같다. 또한, 동일한 데이터셋으로 YOLO v3를 학습시킨 결과도 비교해보았다.
본 연구의 목표는 처음 보는 물체도 인식할 수 있도록 학습시킨 개체분할 알고리즘을 이용하여, 레이블링 작업을 자동으로 수행함으로써 데이터셋 생성을 위해 필요한 레이블링 비용을 대폭 절감할 수 있을 뿐만 아니라, 물체인식 및 개체분할 알고리즘 모두에 적용 가능한 방법을 제안하는 것이다. 먼저 대상 물체를 로봇을 이용하여 다양한 각도에서의 이미지를 얻고, 처음 보는 물체의 마스크를 얻을 수 있도록 학습한 개체분할 알고리즘을 이용하여 배경을 제거한다. 배경이 제거된 물체 이미지를 다양한 배경 이미지와 합성하며, 다양한 환경을 반영하기 위해 여러 후처리 기법들을 사용한다.
본 연구에서는 [Fig. 1]과 같이 로봇의 말단에 카메라를 장착하여, 물체의 RGB 이미지를 얻는다. 이때, [Fig.
실제 데이터셋과 합성 데이터셋의 레이블링 비용을 비교하기 위하여 동일 양의 데이터 수집 시에 소요되는 시간을 측정하였다. [Table 4]는 각각 3,053장의 실제 데이터셋과 합성 데이터셋의 수집 시에 소요되는 시간이며, 총 소요시간을 비교하면, 합성 데이터셋이 실제 데이터셋 보다 56배 가량 빠르게 생성할 수 있다는 것을 알 수 있다.
제안한 데이터셋 생성 알고리즘은 물체인식을 위한 데이터셋과 개체분할을 위한 데이터셋을 모두 생성할 수 있다. 이를 검증하기 위하여 두 가지 기능을 모두 수행하는 Mask R-CNN의 알고리즘을 [Fig.
본 논문의 기여는 다음과 같다. 첫째, 학습데이터의 구조에 변화를 주어, 처음 보는 물체도 인식할 수 있도록 MaskR-CNN을 학습하였다. 둘째, 데이터의 레이블링 작업에 필요한 시간을 줄임으로써, 데이터셋 생성 시간을 절감하였다.

대상 데이터

[Fig. 11]과 같이 Amazon Robotics Challenge^[9]에 사용되었던 물건들과 그 외 몇 가지 물체를 더 추가하여 unknown 클래스까지 포함하여 총45종의 물체를 학습하였다. 기 학습 모델은 COCO 데이터셋^[10]을 학습한 모델을 사용하였다.

이론/모형

Precision_interp는 보간법(interpolation)을 통해 정밀도재현율 곡선을 그린 것이다. AP는 이 정밀도-재현율 곡선을 적분함으로써 구할 수 있으며, AP의 계산식은 PASCAL VOC challenge^[11]를 참고로 하였으며, 이때의 n은 7 또는 8을 사용하였다. 최종적으로 모든 물체 종류에 대한 AP의 평균값을 mAP(mean AP)라고 부르며, 실험결과로부터 5.
11]과 같이 Amazon Robotics Challenge^[9]에 사용되었던 물건들과 그 외 몇 가지 물체를 더 추가하여 unknown 클래스까지 포함하여 총45종의 물체를 학습하였다. 기 학습 모델은 COCO 데이터셋^[10]을 학습한 모델을 사용하였다. [Fig.
제안한 데이터셋 생성 알고리즘은 물체인식을 위한 데이터셋과 개체분할을 위한 데이터셋을 모두 생성할 수 있다. 이를 검증하기 위하여 두 가지 기능을 모두 수행하는 Mask R-CNN의 알고리즘을 [Fig. 12]의 19종 물체에 대하여 학습하였다. 학습에 사용된 데이터 수는 [Table 1]과 같다.

성능/효과

실험을 통해, 물체인식 알고리즘과 개체분할 알고리즘을 실제 데이터셋으로 학습하였을 때보다 제안한 방법으로 생성된 데이터셋으로 학습하였을 때, AP 기준으로 약5%의 차이가 나타났다. 그러나 데이터셋 생성 효율은 약 3,000장의 이미지를 생성할 때 약56배 높았고, 생성하는 데이터셋의 양이 늘어날수록 효율이 높아짐을 보였다. 또한, 개체분할 알고리즘인 Mask R-CNN 외에도 물체인식 알고리즘인 YOLO v3에 제안한 방법이 적용 가능함을 실험을 통해 보임으로써, 제안한 방법이 다양한 알고리즘에 적용 가능함을 보였다.
물체인식 및 개체분할 알고리즘을 합성 데이터셋을 이용하여 학습하면, 실제 데이터셋으로 학습하는 것과 5% 정도의 차이가 나타난다. 그러나 이를 이용하면, 데이터 수집 효율은 약 3,000장의 이미지로 구성된 데이터셋을 생성할 때 약56배 빠르게 수집할 수 있으며, 데이터 양이 증가할수록 그 효율이 증가하는 것을 볼 수 있다. 즉, 데이터를 많이 수집할수록 합성 데이터셋을 이용하여 학습하는 것이 레이블링 비용을 줄일 수 있다.
실제 데이터셋의 이미지를 수집하기 위해 지속적으로 장소를 바꾸며 사진을 찍어야 하며, 일반적으로 사진을 찍기 쉬운 디지털카메라나 휴대폰카메라를 이용하여 이미지를 수집한다면, 인공신경망이 처리하기에는 너무 큰 사이즈의 이미지이므로 이미지의 크기를 변경하는 과정이 필요하다. 그러나 제안한 방법을 이용하면, 로봇 말단의 카메라를 통해 이미지를 수집하고, 이는 이미 사용하기 적당한 크기의 이미지이므로 이미지의 크기 변경도 필요 없으며, 단순히 물체만 교체해주며 클릭 몇 번으로 대량의 이미지를 수집하는 것이 가능하다. 이와 같이 사람의 노동력을 줄이는 것도 레이블링 비용 절감에 기여한다.
첫째, 학습데이터의 구조에 변화를 주어, 처음 보는 물체도 인식할 수 있도록 MaskR-CNN을 학습하였다. 둘째, 데이터의 레이블링 작업에 필요한 시간을 줄임으로써, 데이터셋 생성 시간을 절감하였다. 셋째, 물체인식과 개체분할 알고리즘 모두에 적용할 수 있다
또한, 개체분할 알고리즘인 Mask R-CNN 외에도 물체인식 알고리즘인 YOLO v3에 제안한 방법이 적용 가능함을 실험을 통해 보임으로써, 제안한 방법이 다양한 알고리즘에 적용 가능함을 보였다. 따라서 제안한 알고리즘을 사용하여, 물류 현장과 같이 다양한 물체를 다루는 분야에서 물체인식 및 개체분할에 필요한 데이터 생성 비용을 대폭 줄임으로써, 물체인식과 개체분할의 활용도를 높일 수 있다
그러나 데이터셋 생성 효율은 약 3,000장의 이미지를 생성할 때 약56배 높았고, 생성하는 데이터셋의 양이 늘어날수록 효율이 높아짐을 보였다. 또한, 개체분할 알고리즘인 Mask R-CNN 외에도 물체인식 알고리즘인 YOLO v3에 제안한 방법이 적용 가능함을 실험을 통해 보임으로써, 제안한 방법이 다양한 알고리즘에 적용 가능함을 보였다. 따라서 제안한 알고리즘을 사용하여, 물류 현장과 같이 다양한 물체를 다루는 분야에서 물체인식 및 개체분할에 필요한 데이터 생성 비용을 대폭 줄임으로써, 물체인식과 개체분할의 활용도를 높일 수 있다
이는 다양한 환경에서 데이터를 얻을 수 있으며 자동화가 가능하지만, 생성된 데이터로 학습 시에 실제 환경과의 차이로 인해 실제 환경에서 잘 적용될지는 불확실한 단점이 있다. 또한, 위 4가지 방법들은 모두 물체인식 알고리즘에는 적용 가능하지만, 개체분할 알고리즘에는 적용이 불가능하다.
즉, 데이터를 많이 수집할수록 합성 데이터셋을 이용하여 학습하는 것이 레이블링 비용을 줄일 수 있다. 또한, 제안한 방법을 Mask R-CNN 외에도 물체인식의 대표적인 알고리즘인 YOLO v3에 적용하여도 비슷한 결과를 얻을 수 있다는 점을 보임으로써, 제안한 방법이 다양한 알고리즘에 적용 가능함을 증명하였다.
둘째, 데이터의 레이블링 작업에 필요한 시간을 줄임으로써, 데이터셋 생성 시간을 절감하였다. 셋째, 물체인식과 개체분할 알고리즘 모두에 적용할 수 있다
본 연구에서는 데이터셋의 구조를 조작하여 학습한 Mask R-CNN을 이용하여, 이미지의 생성 및 레이블링 작업을 자동화함으로써, 물체인식 및 개체분할 알고리즘에 사용할 수 있는 데이터셋 생성을 위한 레이블링 비용을 대폭 줄일 수 있는 방법을 제안하였다. 실험을 통해, 물체인식 알고리즘과 개체분할 알고리즘을 실제 데이터셋으로 학습하였을 때보다 제안한 방법으로 생성된 데이터셋으로 학습하였을 때, AP 기준으로 약5%의 차이가 나타났다. 그러나 데이터셋 생성 효율은 약 3,000장의 이미지를 생성할 때 약56배 높았고, 생성하는 데이터셋의 양이 늘어날수록 효율이 높아짐을 보였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	물체 인식과 개체분할 기술이 로봇과 융합되지 못한 이유는?	특히, 이미지 상의 물체의 종류와 위치를 검출하는 물체인식(object detection) 기술과 형상까지도 검출하는 개체분할(instance segmentation) 기술은 로봇 분야에서 다양한 작업의 수행을 위해서 활용되고 있다. 그러나 물체 인식과 개체분할을 위한 데이터셋의 생성 비용이 높으므로, 이들 기술과 로봇을 융합한 기술은 아직 잘 활용되지 못 하고 있다
	레이블링이란 무엇인가?	데이터셋의 생성 과정 중 레이블링(labeling) 단계에 가장 많은 비용이 소모되므로, 이를 줄임으로써 물체인식 및 개체분할의 활용도가 더욱 높아질 수 있다. 레이블은 데이터가 의미하는 것을 표시하는 일종의 정답이고, 이와 같은 정답을 표시하는 작업을 레이블링이라고 한다. 물체인식의 경우, 이미지 상의 모든 대상 물체들의 종류와 위치를 표시하는 것을 레이블링 작업이라고 한다.
	레이블링(labeling) 단계에 가장 많은 비용이 소모되는 것을 줄이기 위해 본 논문에서 제시한 방법은 무엇인가?	본 연구의 목표는 처음 보는 물체도 인식할 수 있도록 학습시킨 개체분할 알고리즘을 이용하여, 레이블링 작업을 자동으로 수행함으로써 데이터셋 생성을 위해 필요한 레이블링 비용을 대폭 절감할 수 있을 뿐만 아니라, 물체인식 및 개체분할 알고리즘 모두에 적용 가능한 방법을 제안하는 것이다. 먼저 대상 물체를 로봇을 이용하여 다양한 각도에서의 이미지를 얻고, 처음 보는 물체의 마스크를 얻을 수 있도록 학습한 개체분할 알고리즘을 이용하여 배경을 제거한다.

참고문헌 (11)

S. Levine, P. Pastor, A. Krizhevsky, J. Ibarz, and D. Quillen, "Learning Hand-Eye Coordination for Robotic Grasping with Large-Scale Data Collection," The International Journal of Robotics Research (IJRR), vol. 37, no. 4-5, pp. 421-436, 2018.
J. Mahler, J. Liang, S. Niyaz, M. Laskey, R. Doan, X. Liu, J. A. Ojea, and K. Goldberg, "Dex-net 2.0: Deep learning to plan robust grasps with synthetic point clouds and analytic grasp metrics," arXiv:1703.09312 [cs.RO], 2017.
A. Kuznetsova, H. Rom, N. Alldrin, J. Uijlings, I. Krasin, J. Pont-Tuset, S. Kamali, S. Popov, M. Malloci, T. Duerig, and V. Ferrari, "The Open Images Dataset V4: Unified image classification, object detection, and visual relationship detection at scale," arXiv:1811.00982 [cs.CV], 2018.
M. Oquab, L. Bottou, I. Laptev, and J. Sivic, "Is object localization for free? -Weakly-supervised learning with convolutional neural networks," 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, USA, pp. 685-694, 2015.
A. Yao, J. Gall, C. Leistner, and L. V. Gool, "Interactive object detection," 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Providence, RI, USA, pp. 3242-3249, 2012.
D. P. Papadopoulos, J. R. R. Uijlings, F. Keller, and V. Ferrari, "We don't need no bounding-boxes: Training object class detectors using only human verification," 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, pp. 854-863, 2016.
Y. Wu, Y. Wu, G. Gkioxari, and Y. Tian, "Building generalizable agents with a realistic and rich 3D environment," arXiv:1801.02209 [cs.LG], 2018.
K. He, G. GkioXari, P. Dollar, and R. Girshick, "Mask R-CNN," 2017 IEEE International Conference on Computer Vision (ICCV), Venice, Italy, pp. 2980-2988, 2017.
J. Leitner, A. W. Tow, N. Sunderhauf, J. E. Dean, J. W. Durham, M. Cooper, M. Eich, C. Lehnert, R. Mangels, C. McCool, P. T. Kujala, L. Nicholson, T. Pham, J. Sergeant, L. Wu, F. Zhang, B. Upcroft, and P. Corke, "The ACRV picking benchmark: A robotic shelf picking benchmark to foster reproducible research," 2017 IEEE International Conference on Robotics and Automation (ICRA), Singapore, Singapore, pp. 4705-4712, 2017.
T.-Y. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Dollar, and C. L. Zitnick, "Microsoft COCO: Common Objects in Context," European Conference on Computer Vision (ECCV), Zurich, Switzerland, pp.740-755, 2014.
M. Everingham, S. M. A. Eslami, L. V. Gool, C. K. I. Williams, J. Winn, and A. Zisserman, "The Pascal Visual Object Classes Challenge: A Retrospective," International Journal of Computer Vision (IJCV), vol. 111, no. 1, pp.98-116, 2015.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증