초록 ▼

□ 연구개발 목표 및 내용
• 최종 목표
이미지 기반 폐기물 분류 모델을 통해 다양한 종류의 비정형 폐기물의 종류를 구별 할 수 있는 인공지능 모델을 개발하고자 함. 해당 엣지컴퓨팅 환경에서 활용 가능하도록 설계하여 실사용이 가능한 수준으로 고도화 시키고자 함. 이를 공개 소프트웨어 형태로 배포하여 향후 연구개발 및 서비스 개발 등에 활용할 수 있도록 하고자 함.
정량적 목표치
- 2차 대회 샘플 데이터셋에 대한 macro F1-score 95%이상을 목표함.
- 모델 용량 30메가바이트(30Mb) 이하를

□ 연구개발 목표 및 내용
• 최종 목표
이미지 기반 폐기물 분류 모델을 통해 다양한 종류의 비정형 폐기물의 종류를 구별 할 수 있는 인공지능 모델을 개발하고자 함. 해당 엣지컴퓨팅 환경에서 활용 가능하도록 설계하여 실사용이 가능한 수준으로 고도화 시키고자 함. 이를 공개 소프트웨어 형태로 배포하여 향후 연구개발 및 서비스 개발 등에 활용할 수 있도록 하고자 함.
정량적 목표치
- 2차 대회 샘플 데이터셋에 대한 macro F1-score 95%이상을 목표함.
- 모델 용량 30메가바이트(30Mb) 이하를 목표함 (20배 이상 감소)
- 기존 모델 대비 추론시간 10배 감소 20 img/sec
• 전체 내용
Object Detection + Active Learning + 이미지 합성 증폭 알고리즘 방식을 활용하여 진행한 데이터셋 구축/학습 프로세스를 통해 연구개발전 개발하였던 Classification CNN model에 비해 비약적인 성능향상을 보여주었으며, 비정형 생활폐기물 이미지(찢김, 손상 등이 많은 이미지)에 대해서도 월등히 높은 성능을 보여주었음.
뿐만 아니라 최종목표의 정량적 목표에 해당하는 수치를 모두 초과 달성하였음
Object Detection 아키텍처 선택
One-stage detector로 추론속도 및 처리 속도 면에서 우수한 성능을 보이는 Yolo계열 모델, 아키텍처 탐색을 통해 기존 fpn 형태를 개선한 EfficietDet, transformer 기반 decoder를 통해 anchor 등과 같은 후처리 알고리즘을 없애고 object detection 문제를 direct set prediction 문제로써 해결하는 (deformable)DETR등 존재하는 다양한 아키텍처 중, 본 테스크에 가장 적합한 아키텍처를 선택하기 위하여 다양한 조건에서 학습을 수행하였으며, 성능지표 및 추론속도 지표에서 모두 높은 성능을 보이는 Yolo 계열 모델로 아키텍처를 선택함.
최종 선택한 아키텍처는 YoloV5모델로, 해당 모델을 baseline으로 하여 학습을 진행하였습니다.
Active Learning + Pre-labeling Method
Object detection 문제에서 가장 많은 비용이 들어가는 것은 데이터셋 제작임. 일반적으로 단순 분류문제를 풀기위한 데이터셋 제작에 비해 한 이미지 당 약 5~10배정도의 비용이 들어가며, 시간 및 필요인력 또한 비슷한 수준의 추가가 필요함. 뿐만 아니라 다양한 폐기물 관련 데이터셋을 보면 한 이미지를 다양한 각도에서 찍은 사진이 많고, 하나의 폐기물 객체를 여러 이미지에서 다른 구도로 재활용한 경우가 많아 데이터셋의 분포 다양성이 떨어지는 문제가 있었음.
데이터셋 다양성이 불충분한 문제로 인하여 데이터셋을 늘려도 모델의 성능 증가폭이 적었으며, overfitting되는 문제가 발생하였음. 이러한 문제를 극복하기 위하여 취약 샘플 분석을 통한 우선 레이블링 샘플 선택 알고리즘을 개발하여 학습에 추가적으로 필요한 데이터를 선별적으로 제작할 수 있었음.
또한 학습된 모델의 output 중 bbox를 pre-label로 제공하여 데이터셋 가공 효율을 증가시켰음.
배경합성 알고리즘을 이용한 데이터셋 증폭
자체 수집한 데이터셋은 대부분이 실내에서 촬영한 이미지라는 문제를 가지고 있었음. 실제 사용환경 및 Testset의 경우 야외 및 특수환경에서도 촬영될 수 있으나, 실제로 기보유한 데이터셋의 경우야외 배경에서 매우 취약한 문제가 존재하였음. 이를 극복하기 위하여 random bbox 배경합성 알고리즘을 통해 데이터 증폭을 진행하였으며, 과정은 아래와 같음.
1. 다양한 배경 데이터셋을 준비 - 약 100여장의 배경 데이터셋 준비(야외, 벤치, 아스팔트, 나무, 잔디 등)
2. 폐기물 이미지에 대하여 Augmentation 적용 후 bbox에 random margin을 주고 cropping
3. cropping 된 object set에서 random하게 오브젝트들을 query 하여 1의 배경에 합성
Validation Set Augmentation 평가를 통한 Sample distribution discrepancy 해소
연구과정에서 실제 활용단계에서 처음보는 sample 에 대한 성능을 validation set 성능지표 가 반영하고 있지 못하다고 판단하였음. 실제로 2020년 참여한 인공지능 그랜드 챌린지에서 89.44%라는 f1 score 로 우승하였으나, 자체적인 validation dataset으로 평가한 자체 성능평가 지표는 95%이상이었음. 뿐만아니라, 제출했던 모델 중 가장 높은 성능을 보인 모델은 제출한 다른 모델에 비해 자체 평가 데이터셋에 대해서는 성능이 낮은 모델이었음. 즉, 자체적으로 평가한 모델의 성능지표가 처음보는 dataset에 대해 완벽히 대변하지 못한다는 것을 의미하였음.
이는 연구개발과정에서 validation dataset의 성능지표를 기반으로 모델을 개선하기 때문에, 개선의 방향이 validation set에 overfitting 될 수 있기 때문으로 판단하였고, 이를 극복하기 위하여 validation set의 평가방식에 augmentation 및 배경합성 알고리즘을 적용하여, 주어진 validation dataset의 real world sample distribution discrepancy를 해소하였음.
실제 대회의 평가데이터셋으로 ablation study를 진행한 결과 단순 validation set 테스트 지표로 평가한 모델에 비하여 augmentation을 적용하여 평가한 방식에서의 모델의 성능지표 경향성이 일치하였음.

□ 연구개발성과
1. 정량 목표치 달성
2. 인공지능 그랜드 챌린지 후속대회 1위
3. 기술이전을 위한 사업제휴 진행중

□ 연구개발성과 활용계획 및 기대 효과
1. 폐기물 객체 인식 알고리즘의 인식 정확도 고도화 후속 연구
본 연구 사업을 통해 개발된 객체 인식 알고리즘의 경우 인공지능 그랜드 챌린지 대회에서 제공된 테스트 데이터셋과 크라우드 워커들을 통해 수집한 가정집 내에서의 촬영된 폐기물 이미지에 대해서는 높은 인식 정확도를 보여주고 있으나, 여러 물체가 겹쳐 있거나 투명한 물체가 복수개 배치되어 있을 때의 인식 정확도가 다소 떨어지는 것을 확인할 수 있었음.
이 때문에 PET / 비닐 / 플라스틱이 여러개 포함되어 있을 때 인식 정확도를 향상시키기 위해서 투명 물체 및 겹쳐진 물체에 대한 데이터셋 추가 구축 및 모델 학습 방법론에 대한 연구 진행 계획
2. 폐기물 처리 시설 내에서의 분류 자동화를 위한 기술 상용화
현재 전국에서 수집되는 재활용 쓰레기는 수거 후에 일괄적으로 중앙 폐기물 처리 시설로 모이는 형태임. 특히 코로나-19 사태로 인해 배달 음식과 E-commerce 시장의 성장으로 인해 각종 포장재와 일회용품의 사용이 폭발적으로 늘어나고 있음. 이러한 시장 상황에도 불구하고 기존의 폐기물 처리 시설에서는 인건비 상승으로 인해 고용 유지에 어려움을 겪고 있기 때문에 처리해야 되는 폐기물의 양은 증가했으나 처리 인력이 부족해지는 현상으로 이어지고 있음.
본 사업을 통해서 개발된 알고리즘을 고도화하여 폐기물 처리 시설 내에서의 각 분류 라인 별로 도입될 수 있는 자동화된 폐기물 자동 분류 시스템을 개발하는데 활용할 수 있을 것으로 예상됨.
3. 비용 효율적인 데이터셋 구축 파이프라인 프레임워크화
본 연구 사업을 통해 축적한 효율적인 데이터셋 구축 방법론은 다양한 딥러닝 어플리케이션 개발을 위해 필수적이라고 생각되며 이러한 니즈는 분야와 문제의 종류에 관계 없이 모두 적용될 수 있는 형태라고 생각됨. 따라서 본 연구 과제를 통해 축적한 불확실성에 기반한 라벨링 큐 시스템은 일반적인 데이터셋 구축으로 확장될 수 있다고 생각됨.
본 방법론을 일반적인 머신러닝 팀에서 주로 활용하는 쿠버네티스 기반의 오픈소스 프로그램으로 개발하여 다양한 기관체에서 효과적인 머신러닝을 운영하는데 활용하고자 함.

(출처 : 요약문 3p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 2
• 요 약 문 ... 3
• 목차 ... 7
• 1. 연구개발과제의 개요 ... 8
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 8
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 14
• 1) 연구수행 결과 ... 14
• 2) 목표 달성 수준 ... 20
• 4. 목표 미달 또는 미흡한 사항에 대한 분석 ... 20
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 22
• 1) 생활형 폐기물 객체 인식 데이터셋 공개 ... 22
• 2) Active Learning과 Pre-labeling을 통한 데이터셋 구축 비용 절감 방법론에 대한 기여 ... 24
• 3) 생활형 폐기물 객체 인식 AI의 학습 코드 공개 ... 25
• 6. 연구개발성과의 관리 및 활용 계획 ... 25
• 1) 향후 5년간 성과활용·확산 활용방안 및 계획(활동계획) ... 26
• 2) 주요 성과활용 (기대)성과목표 ... 28
• 3) 성과활용·관리 추진체계 ... 28
• 4) 기타 ... 28
• 7. 연구개발성과에 대한 후속연구 및 추가 개발 계획 ... 29
• 8. 연구개발비 사용실적 ... 30
• 1) 연구개발비 사용명세서 ... 30
• 2) 발생이자 사용명세서 ... 30
• 3) 반납액 명세서 ... 30
• 붙임 2. 자체 보안관리 진단표 ... 31
• 붙임 3. 공개 SW 요약서 ... 32
• 끝페이지 ... 33