[논문]딥러닝 기반의 객체 맥락정보 탐지

김건욱; 신재용; 황기수; 허유진; 오승준

문제 정의

본 논문에서는 입력 이미지로부터 검출된 객체와 인체의 키포인트를 탐지한 후, 그 두 영역 사이의 거리를 이용하여 맥락정보를 이미지 내 위치와 함께 출력하는 알고리즘을 제안하였다. 실험을 통해서 맥락정보를 자연어 형태로 출력하는 기존 작업과 다르게 해당 맥락정보의 발생 위치를 이미지 내에서 직접 파악 할 수 있음을 확인하였다.
이러한 문제를 해결하기 위하여 본 논문에서는 CNN을 기반으로 인체의 특징점을 탐지하고, 그 주변의 객체를 탐지하여 인체 특정 부위와, 검출된 객체 사이의 거리정보를 이용하여 입력영상의 맥락 정보를 탐지하는 방법을 제안한다. 이 알고리즘을 통해 모자를 쓰고 있는 사람, 총을 든 사람, 축구경기 중 볼을 소유한 선수 등 맥락정보와 그 대상의 위치정보를 검출하여 실질적으로 이미지 분석에 활용할 수 있다.

제안 방법

또한, 정확도 성능평가를 위하여 20개의 테스트 이미지에 대하여 이진 분류 기법에 따라 (True, Negative), (True, Positive), (False, Negative), (False, Positive)로 총 4가지 경우를 나누어 표1 과 같이 나타내었다. 여기서 (True, Positive)는 ‘총 든 사람을 총 든 사람으로 탐지’한 경우를 의미하고 (True, Negative)는 ‘총 든 사람을 총 안든 사람으로 탐지’함을, (False, Positive)는 ‘총 안든 사람을 총 안든 사람으로 탐지’함을, 그리고 (False, Negative)는 ‘총 안든 사람을 총든 사람으로 탐지’함을 의미한다.
먼저 입력된 이미지에 대해 키포인트 검출과, 객체 검출 작업을 각각 진행한다. 이 후, 검출된 객체의 바운딩 박스 중심점의 위치정보와 인체 키포인트들의 위치정보를 종합한다.
본 논문에서 제안하는 객체 맥락정보 탐지 모델은 입력 이미지로부터 검출된 객체와 인체의 키포인트들 사이의 정보를 이용하여 맥락정보를 파악한다. 인체를 키포인트 기반의 스켈레톤 형태로 출력 하기 위하여 본 논문은 Openpose[3]를 사용한다.
이 후, 검출된 객체의 바운딩 박스 중심점의 위치정보와 인체 키포인트들의 위치정보를 종합한다. 이 위치정보와 검출된 객체의 종류를 이용한 이미지 후처리를 통해 맥락정보를 파악한다. 예를 들어 그림3 같이 총을 든 사람을 찾고자 하는 경우, 객체 탐지를 통해 총을 찾아냄과 동시에 인체 키포인트 탐지를 해낸다.
먼저 입력된 이미지에 대해 키포인트 검출과, 객체 검출 작업을 각각 진행한다. 이 후, 검출된 객체의 바운딩 박스 중심점의 위치정보와 인체 키포인트들의 위치정보를 종합한다. 이 위치정보와 검출된 객체의 종류를 이용한 이미지 후처리를 통해 맥락정보를 파악한다.
이는 실제 총을 든 사람이 있을 때, 총의 손잡이는 사람 손에 가려져 사람 손이 총 이미지의 하나의 특징점이 된다는 것을 반영한 것이다 실험결과 그림4와 같이 총과 복수 인체의 특징점들을 추출 한후, 총과 가장 가까운 거리관계를 갖는 손을 찾아내 해당 특징점의 인체를 ‘Armed person’으로 출력하였다.
그러나 각각의 객체들을 탐지하는 것에 초점이 맞춰진 기존 연구에서는 해당 객체의 맥락정보가 결여되어 있기 때문에 아무리 높은 정확도를 보여도 이미지분석 결과를 실질적으로 사용하는데 어려움이 있다. 이에 대한 해결 방안으로 CNN을 기반으로 객체들을 탐지한 후 RNN(Recurre nt Neural Network)을 이용하여 맥락정보를 추출하고 그림1과 같이 자연어 형태로 그 정보를 출력하는 작업이 있었다.
제안하는 알고리즘의 성능 분석을 위해 총기 모형을 손에든 사람과 들지 않은 사람으로 그림4와 같이 상황을 설정하였다. 한편, Openpose 알고리즘 구동을 위해 1080x1920 크기의 원본 이미지를 960x720 크기로 조정한 이미지에 대하여 NV IDIA GeForce 1080 Ti를 사용하여 실험하였다.

대상 데이터

여기서 (True, Positive)는 ‘총 든 사람을 총 든 사람으로 탐지’한 경우를 의미하고 (True, Negative)는 ‘총 든 사람을 총 안든 사람으로 탐지’함을, (False, Positive)는 ‘총 안든 사람을 총 안든 사람으로 탐지’함을, 그리고 (False, Negative)는 ‘총 안든 사람을 총든 사람으로 탐지’함을 의미한다. 20개의 테스트 이미지에 총 64명의 사람객체가 있었는데, 이를 위 4가지 경우에 맞추어 분류한 결과가 표1과 같았다.
한편, Openpose 알고리즘 구동을 위해 1080x1920 크기의 원본 이미지를 960x720 크기로 조정한 이미지에 대하여 NV IDIA GeForce 1080 Ti를 사용하여 실험하였다. 또한, 총기를 효과적으로 학습시키기 위해 COCO dataset의 총기 관련 이미지들 중 총을 들고 있는 손 사진만을 따로 선별했다. 이는 실제 총을 든 사람이 있을 때, 총의 손잡이는 사람 손에 가려져 사람 손이 총 이미지의 하나의 특징점이 된다는 것을 반영한 것이다 실험결과 그림4와 같이 총과 복수 인체의 특징점들을 추출 한후, 총과 가장 가까운 거리관계를 갖는 손을 찾아내 해당 특징점의 인체를 ‘Armed person’으로 출력하였다.
제안하는 알고리즘의 성능 분석을 위해 총기 모형을 손에든 사람과 들지 않은 사람으로 그림4와 같이 상황을 설정하였다. 한편, Openpose 알고리즘 구동을 위해 1080x1920 크기의 원본 이미지를 960x720 크기로 조정한 이미지에 대하여 NV IDIA GeForce 1080 Ti를 사용하여 실험하였다. 또한, 총기를 효과적으로 학습시키기 위해 COCO dataset의 총기 관련 이미지들 중 총을 들고 있는 손 사진만을 따로 선별했다.

이론/모형

본 논문에서 제안하는 객체 맥락정보 탐지 모델은 입력 이미지로부터 검출된 객체와 인체의 키포인트들 사이의 정보를 이용하여 맥락정보를 파악한다. 인체를 키포인트 기반의 스켈레톤 형태로 출력 하기 위하여 본 논문은 Openpose[3]를 사용한다. 이는 COCO데이터와 MPI의 포즈 모델을 사용하여 학습 된머리, 눈, 어깨, 팔, 다리 등 15개 또는 18 개의 키포인트 (key-point)를 탐지한 하고 탐지된 각각의 키포인트를 조합하여 몸 전체를 예측한다.

성능/효과

그러나 이 Image Captioning[1] 형태는 입력 이미지의 맥락정보에 대한 위치정보가 결여되어 있기에, 해당 맥락정보가 발생한 위치를 알 수 없는 한계점이 존재하였다. 또한, 자연어 형태의 출력을 위해 시스템 복잡도가 크게 증가하여 그 구현을 위한 비용이 크게 증가하였다.
본 논문에서는 입력 이미지로부터 검출된 객체와 인체의 키포인트를 탐지한 후, 그 두 영역 사이의 거리를 이용하여 맥락정보를 이미지 내 위치와 함께 출력하는 알고리즘을 제안하였다. 실험을 통해서 맥락정보를 자연어 형태로 출력하는 기존 작업과 다르게 해당 맥락정보의 발생 위치를 이미지 내에서 직접 파악 할 수 있음을 확인하였다. 이후 은행, 의회 등과 같은 높은 수준의 보안이 필요한 장소에서 무장한 사람의 위치를 찾거나 스포츠 경기 촬영 및 분석 등 사람과 연관된 객체 사이의 맥락 정보 및 위치정보가 필요한 곳에 사용 될 수 있다.
CCTV로 총기를 소지한 테러범의 위치를 추적하는 경우 이와 같은 위치정보는 매우 유용할 것이다. 한편 FPS성능은 12로 나타나 실시간 영상 분석이 가능함을 확인하였다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

딥러닝 기반의 객체 맥락정보 탐지
Contextual Object Detection using Deep Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

딥러닝 기반의 객체 맥락정보 탐지 Contextual Object Detection using Deep Learning 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

딥러닝 기반의 객체 맥락정보 탐지
Contextual Object Detection using Deep Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper