[논문]복수 이벤트 분석을 위한 딥러닝 기반 영상 분석 기법

박지선; 문명운; 치옥용; 한우철; 장현준; 서가가; 허언민; 조성재; 조경은

복수 이벤트 분석을 위한 딥러닝 기반 영상 분석 기법
A Video Analysis Method based on Deep Learning for Multiple Event Analysis 원문보기

박지선 (동국대학교 멀티미디어공학과) , 문명운 (동국대학교 멀티미디어공학과) , 치옥용 (동국대학교 멀티미디어공학과) , 한우철 (동국대학교 멀티미디어공학과) , 장현준 (동국대학교 멀티미디어공학과) , 서가가 (동국대학교 멀티미디어공학과) , 허언민 (동국대학교 멀티미디어공학과) , 조성재 (동국대학교 멀티미디어공학과) , 조경은 (동국대학교 멀티미디어공학과)

최근 딥러닝을 활용한 이미지 분석 기술 향상에 힘입어 동영상 분석 연구들이 활발히 진행되고 있다. 하지만 기존 연구들의 경우 특정 영상을 입력으로 단일 이벤트로만 분류한다. 본 논문에서는 복수 이벤트를 분석할 수 있는 딥러닝 기반 영상 분석 기법을 설계하고 실험 및 분석하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 단일 이벤트가 아닌 복수 이벤트를 분석할 수 있는 딥러닝 기반 영상 분석 기법을 설계하고 실험 및 분석하였다.
본 논문에서는 Faster-RCNN(Faster-Region Based Convolution Neural Network) 신경망[1]과 LRCN(Longterm Recurrent Convolution Networks) 신경망[2]을 결합하여 단일 동영상에서 복수의 이벤트 영상을 추출하여 분류할 수 있는 영상 분석 기법을 제안한다.
본 장에서는 단일 동영상을 입력으로 복수 이벤트를 추출하여 분류할 수 있는 딥러닝 기반의 영상 분석 기법을 설계한다. 제안된 기법은 1) 복수 이벤트 영상 추출 단계와 2) 영상 분석 기반 시나리오 생성 단계로 구성된다.

제안 방법

첫 번째 단계로, 복수 이벤트 영상을 추출하기 위해 특정 동영상을 입력 받아 객체 검출에 높은 성능을 보인 Faster-RCNN 신경망[1]을 적용하여 동영상 내에 존재하는 개체들을 검출한다. 검출된 객체들 중에서 일정거리 이하로 인접한 객체들을 하나의 이벤트 영역으로 통합하여 복수의 이벤트 영상을 추출한다.
본 실험은 윈도우 기반 파이참-community 개발 환경을 Intel i7, Nvidia GTX 980 GPU 및 DDR4 H/W 상에 구축하였으며, 딥러닝 기반 동영상 분석 모델은 대표적인 딥러닝 라이브러리인 Keras (backend Tensorflow) 상에서 구현하였다. <표 1>과 같이 입력 영상으로 부터 Faster-RCNN 기법을 통해 검출된 객체들을 통해 이벤트 영역이 추출되고, 이를 기반으로 추출된 복수의 이벤트 영상들은 LRCN 기법을 통해 각각 분류하였다.
두 번째 단계에서는, 앞 단계에서 추출된 복수 이벤트 영상을 딥러닝 기반 동영상 분류 모델의 일종인 LRCN 신경망[2]에 입력하여 각각의 영상을 하나의 이벤트 클래스로 분류한다. 이를 통해 각 영상이 어떤 이벤트에 속하는지 알 수 있다.
본 실험은 윈도우 기반 파이참-community 개발 환경을 Intel i7, Nvidia GTX 980 GPU 및 DDR4 H/W 상에 구축하였으며, 딥러닝 기반 동영상 분석 모델은 대표적인 딥러닝 라이브러리인 Keras (backend Tensorflow) 상에서 구현하였다. <표 1>과 같이 입력 영상으로 부터 Faster-RCNN 기법을 통해 검출된 객체들을 통해 이벤트 영역이 추출되고, 이를 기반으로 추출된 복수의 이벤트 영상들은 LRCN 기법을 통해 각각 분류하였다.
첫 번째 단계로, 복수 이벤트 영상을 추출하기 위해 특정 동영상을 입력 받아 객체 검출에 높은 성능을 보인 Faster-RCNN 신경망[1]을 적용하여 동영상 내에 존재하는 개체들을 검출한다. 검출된 객체들 중에서 일정거리 이하로 인접한 객체들을 하나의 이벤트 영역으로 통합하여 복수의 이벤트 영상을 추출한다.

성능/효과

본 논문에서는 단일 이벤트가 아닌 복수 이벤트를 분석할 수 있는 딥러닝 기반 영상 분석 기법을 설계하고 실험 및 분석하였다. 영상으로부터 Faster-RCNN 기법을 통해 객체를 검출하여 이를 기반으로 복수 이벤트 영상을 추출하고 이들을 LRCN 기법을 통해 각각 분류할 결과, 단일 영상을 입력으로 하여 복수 이벤트를 분석할 수 있음을 확인하였다. 향후 복수 이벤트 영역 추출 시 객체간 인접거리뿐만이 아니라 객체들의 이동 방향, 속도와 같은 다양한 요소를 고려한 이벤트 영상 추출이 가능하도록 발전시키려 한다.

후속연구

영상으로부터 Faster-RCNN 기법을 통해 객체를 검출하여 이를 기반으로 복수 이벤트 영상을 추출하고 이들을 LRCN 기법을 통해 각각 분류할 결과, 단일 영상을 입력으로 하여 복수 이벤트를 분석할 수 있음을 확인하였다. 향후 복수 이벤트 영역 추출 시 객체간 인접거리뿐만이 아니라 객체들의 이동 방향, 속도와 같은 다양한 요소를 고려한 이벤트 영상 추출이 가능하도록 발전시키려 한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

복수 이벤트 분석을 위한 딥러닝 기반 영상 분석 기법
A Video Analysis Method based on Deep Learning for Multiple Event Analysis 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

복수 이벤트 분석을 위한 딥러닝 기반 영상 분석 기법 A Video Analysis Method based on Deep Learning for Multiple Event Analysis 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

복수 이벤트 분석을 위한 딥러닝 기반 영상 분석 기법
A Video Analysis Method based on Deep Learning for Multiple Event Analysis 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper