초록 ▼

□ 연구개요
① 딥러닝 기반 action recognition을 최종 목표로, ② 학습 DB에 label 정보가 부족해도 제안된 self-supervised learning을 통해서 성능 저하를 극복하고, ③ 100% label이 있는 학습 DB로 학습한 딥러닝 네트워크와 비슷한 성능을 달성할 수 있는 신규 딥러닝 아키텍처 연구

□ 연구 목표대비 연구결과
본 연구의 산출물인 self-supervised learning 기반의 action recognition 알고리즘은 동영상으로부터 visual feature

□ 연구개요
① 딥러닝 기반 action recognition을 최종 목표로, ② 학습 DB에 label 정보가 부족해도 제안된 self-supervised learning을 통해서 성능 저하를 극복하고, ③ 100% label이 있는 학습 DB로 학습한 딥러닝 네트워크와 비슷한 성능을 달성할 수 있는 신규 딥러닝 아키텍처 연구

□ 연구 목표대비 연구결과
본 연구의 산출물인 self-supervised learning 기반의 action recognition 알고리즘은 동영상으로부터 visual feature를 학습하여 benchmark dataset에서 state-of-the-art 성능을 보임. 각 backbone architecture를 기반으로 관련 연구와 비교해 가장 높은 정확도를 보였음. 특히, S3D 기반으로 UCF101에서 88.7%, HMDB51에서 54.9%를 보였고, R3D-18 기반으로는 UCF101에서 82.8%로 supervised learning 기반 action recognition 알고리즘의 성능인 83.5%와 거의 유사한 정확도를 보임. Action recognition 뿐만 아니라 visual feature를 label 없이 잘 학습했는지 검증하기위해 video retrieval을 수행하여 query video와 같은 class인 동영상이 검색되는지 평가를 수행한 결과, UCF101 dataset에서 top-1 기준 정확도 24.6%, top-5 기준 정확도 41.9%로 준수한 성능을 보임.
2차년도 연구는 신규 프레임워크 설계를 위해 연구를 두 가지로 구분하여 self-supervised learning 기법 고도화 및 noise label 기반의 pseudo label 활용을 통한 성능 개선 방법론 연구를 진행하였음. self-supervised learning 기법 고도화의 경우 1차년도 문제점인 시공간정보 결합을 분리하여 R(2+1)D를 backbone으로 사용했을 때를 기준으로 UCF101 dataset에서 77.8%로, 1차년도 74.8% 성능 대비 3%의 정확도 향상을 보임. video retrieval 에서도 top-1 accuracy 기준 10.2% 증가하여 visual feature를 더욱 효과적으로 학습한 것을 확인함. noise label 기반의 negative regularization 기법은 공정한 평가를 위해 CIFAR10과 CIFAR100에서 기존 state-of-the-art 연구들과 비교를 진행하였음. 우선 CIFAR10에서 symmetric label noise 80%일 때 기존 가장 높은 성능을 보였던 ELR 대비 3.4%, asymmetric label noise 40%일 때 0.6% 높은 성능을 보였으며, CIFAR100에서 약 7% 높은 성능을 보여 우수한 성능을 입증하였음.

□ 연구개발성과의 활용 계획 및 기대효과(연구개발결과의 중요성)
data-driven 방식의 deep learning 모델의 성능을 보장하기위해서는 supervised learning 기법을 활용해야하며, 이는 대량의 labeled dataset을 요구함. 특히, action recognition task의 경우 dataset이 동영상으로 구성되어있기 때문에 더욱 많은 데이터와 label이 필요함. 본 과제를 통해 연구한 알고리즘은 이를 해결하기 위해 self-supervised learning 기법을 활용하여 모델을 학습시키고 소량의 labeled dataset을 활용하는 방법으로, video dataset에 대한 물리적 이해를 바탕으로 action recognition을 수행하는 딥러닝 모델을 구축하여 대량의 labeled dataset을 활용해 supervised learning을 수행한 모델과 비슷한 성능을 보임. 본 연구의 결과물은 label이 없거나 부족한 상황에서도 성공적으로 학습하는 딥러닝 기반모델로써 classification, detection segmentation 등으로 빠르게 적용 및 응용하여 활용 가능함. 또한 기존 action recognition을 위한 딥러닝 모델의 성능을 향상시키거나 dataset에 사용되는 유지비용을 줄일 수 있을 것으로 기대됨.

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 5
• 1) 1차년도 수행과정 및 내용 ... 5
• 2) 2차년도 수행과정 및 내용 ... 7
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 9
• 1) 정성적 연구개발성과(연구개발결과) ... 9
• 2) 세부 정량적 연구개발성과 ... 12
• 3) 목표 달성 수준 ... 12
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발결과의 중요성) ... 13
• 5. 연구개발성과의 관리 및 활용 계획 ... 13
• 6. 참고문헌 ... 14
• [붙임1] 세부 정량적 연구개발성과 ... 15
• [붙임2] 연구책임자 대표적 연구실적 및 증빙(요약문 및 사본) ... 20
• 끝페이지 ... 33