[논문]지능형 객체 인식 기술을 이용한 실시간 동영상 검색시스템

장재영; 강찬혁; 윤재민; 조재원; 정지성; 전종훈

doi:10.7236/jiibc.2020.20.6.85

초록
AI-Helper

최근 범죄예방과 안전문제 등으로 CCTV와 같은 영상장비가 다양하게 활용되고 있다. 영상기기들은 대부분 24시간 작동되기 때문에 경비 인력을 절감할 수 있지만, 녹화된 영상에서 특정 인물과 같은 객체를 검색하는 업무는 여전히 수동으로 이루어지고 있어, 실시간 검색이 요구되는 상황에서는 정확하고 빠른 대처가 미흡하다. 본 논문에서는 최신 딥러닝 기술과 OpenCV 라이브러리를 이용하여 사용자의 의해 입력된 의상정보를 바탕으로 특정인물을 영상에서 빠르게 검색하고, 그 결과를 실시간으로 전송하는 기술을 제안한다. 개발된 시스템은 YOLO 라이브러리를 이용하여 실시간으로 인물객체를 탐지한 후, 딥러닝 기술을 이용하여 인간의 의상을 상/하의로 구분하고 OpenCV 라이브러리를 통해 색을 검출하여 특정 인물 객체를 자동으로 인식하도록 구현하였다. 본 논문에서 개발한 시스템은 특정 의상을 갖춘 인물객체를 정확하고 빠르게 인식할 뿐만 아니라 기타 객체 인식에도 활용할 수 있는 확장성을 갖추고 있어 다양한 용도의 영상감시시스템에 활용될 수 있을 것으로 기대된다.

Abstract ▼ AI-Helper

Recently, video-taping equipment such as CCTV have been seeing more use for crime prevention and general safety concerns. Since these video-taping equipment operates all throughout the day, the need for security personnel is lessened, and naturally costs incurred from managing such manpower should a...

Recently, video-taping equipment such as CCTV have been seeing more use for crime prevention and general safety concerns. Since these video-taping equipment operates all throughout the day, the need for security personnel is lessened, and naturally costs incurred from managing such manpower should also decrease. However, technology currently used predominantly lacks self-sufficiency when given the task of searching for a specific object in the recorded video such as a person, and has to be done manually; current security-based video equipment is insufficient in an environment where real-time information retrieval is required. In this paper, we propose a technology that uses the latest deep-learning technology and OpenCV library to quickly search for a specific person in a video; the search is based on the clothing information that is inputted by the user and transmits the result in real time. We implemented our system to automatically recognize specific human objects in real time by using the YOLO library, whilst deep learning technology is used to classify human clothes into top/bottom clothes. Colors are also detected through the OpenCV library which are then all combined to identify the requested object. The system presented in this paper not only accurately and quickly recognizes a person object with a specific clothing, but also has a potential extensibility that can be used for other types of object recognition in a video surveillance system for various purposes.

주제어

표/그림 (5)

그림 그림 1 동영상 검색 시스템 구조 Fig. 1. Video Search System Architecture
그림 그림 2. 의상인식 절차 Fig. 2. Costume Recognition Process
표 표 1. 의상분류 기준 Table 1. Costume Classes for Classification
그림 그림 3 의상정보 입력 화면 Fig. 3. Costume Information Input Interface
그림 그림 4. 인물객체 탐색 결과 Fig. 4. Human Object Search Result

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 동영상에서 입력된 인상착의를 바탕으로 인물객체를 자동 인식하고 사용자에게 검색결과를 서비스하는 동영상검색 시스템의 개발결과를 제시하였다. 개발된 시스템은 CCTV와 같은 감시장비로부터 실종자와 같은 신속한 검색이 가능하도록 동영상 속 인물들의 행동 특성을 반영하여 프레임들을 샘플링하는 방식으로 실시간 검색이 가능하도록 개발하였다.

제안 방법

본 논문에서는 동영상에서 입력된 인상착의를 바탕으로 인물객체를 자동 인식하고 사용자에게 검색결과를 서비스하는 동영상검색 시스템의 개발결과를 제시하였다. 개발된 시스템은 CCTV와 같은 감시장비로부터 실종자와 같은 신속한 검색이 가능하도록 동영상 속 인물들의 행동 특성을 반영하여 프레임들을 샘플링하는 방식으로 실시간 검색이 가능하도록 개발하였다. 본 시스템은 핵심 서브시스템인 객체인식서버에서 인물객체 탐지 후에 분류 모듈에서 Deep fashion dataset2를 학습한 모델을 통해 사람의 상/하의 영역을 추출하였다.
본 연구에서의 실험 환경에서 YOLO를 이용하여 인물객체 인식만 실행했을 경우 초당 45프레임까지 처리가 가능했지만, 의상인식 모듈에서 인상착의 인식까지 동시에 진행할 경우 초당 28프레임으로 처리 수준이 매우 낮아지는 것을 확인하였다. 따라서 본 연구에서는 영상의 전체 프레임에 대해 객체를 탐지하지 않고, 5개의 연속된 프레임 중에서 하나의 프레임만을 샘플링하여 객체탐지 모듈을 실행하였다. 즉, 초당 30프레임을 가정할 경우 0.
하지만 색상 정보까지 포함하여 분류 모델을 생성할 경우 너무 많은 클래스에 대한 분류모델을 생성해야하므로 정확도에 문제가 발생할 가능성이 높아진다. 따라서 본 연구에서는 의상 유형에 대한 분류를 우선적으로 실시하고 색상이 일 또는 유사한지에 대한 판단을 별도로 수행하도록 설계하였다. 본 연구에서는 OpenCV를 이용하여 사용자가 입력한 RGB모델의 색상값을 HSV 모델로 변화하여 검색에 활용하였다.
개발된 시스템은 CCTV와 같은 감시장비로부터 실종자와 같은 신속한 검색이 가능하도록 동영상 속 인물들의 행동 특성을 반영하여 프레임들을 샘플링하는 방식으로 실시간 검색이 가능하도록 개발하였다. 본 시스템은 핵심 서브시스템인 객체인식서버에서 인물객체 탐지 후에 분류 모듈에서 Deep fashion dataset2를 학습한 모델을 통해 사람의 상/하의 영역을 추출하였다. 추출된 영역에서 의상과 색상을 검출하여 입력된 인상착의와 일치 여부를 판단하였다.
본 연구의 결과는 CCTV에서의 동영상 속의 인물 탐색, 특히 실종자 탐색을 위한 시스템에 시범적으로 적용하여 개발하였다. 실행 결과는 그림3과 4와 같다.
특히 상/하의 정보는 의상정보 중에서도 특징들의 차이가 더 뚜렷하다. 이러한 기준을 바탕으로 본 논문에서는 상/하의 의상을 중심으로 인상착의를 인식을 할 수 있는 분류모델을 개발하였다.

이론/모형

해당 정보 받으면 동영상에 비동기식으로 프로그레스 바에 체크를 한다. 동영상의 프로그레스 바마킹을 구현에는 Ajax를 활용하였다. 이를 통해 페이지 이동 없이 고속으로 화면을 전환하고, 서버 처리를 기다리지 않도록 비동기식으로 결과를 전달받아 처리하였다.
따라서 본 연구에서는 의상 유형에 대한 분류를 우선적으로 실시하고 색상이 일 또는 유사한지에 대한 판단을 별도로 수행하도록 설계하였다. 본 연구에서는 OpenCV를 이용하여 사용자가 입력한 RGB모델의 색상값을 HSV 모델로 변화하여 검색에 활용하였다. RGB 모델을 HSV 모델로 변환해서 사용하는 이유는 RGB 모델로 색 정보를 검출하기 위해서는 R, G, B 세가지 속성을 모두 참고해야 하는 반면 HSV 모델로 색 정보를 검출하기 위해서는 H가 일정한 범위를 갖는 순수한 색 정보를 가지고 있기 때문에 RGB이미지 보다 쉽게 색을 분류할 수 있기 때문이다.
우선 인물객체에 대해서 영역을 분리하여 머리,상체, 하체 등을 인식해야한다. 인식방법은 YOLO를 활용한 학습을 통해서 가능하나 본 연구에서는 단순히 영역을 일정비율로 나누어 분리하였다. 예를 들어 인물객체를 세로방향으로 머리, 상체, 하체, 발 부분을 1:4:4:1의 비율로 나누었다.

성능/효과

본 연구에서의 실험 환경에서 YOLO를 이용하여 인물객체 인식만 실행했을 경우 초당 45프레임까지 처리가 가능했지만, 의상인식 모듈에서 인상착의 인식까지 동시에 진행할 경우 초당 28프레임으로 처리 수준이 매우 낮아지는 것을 확인하였다. 따라서 본 연구에서는 영상의 전체 프레임에 대해 객체를 탐지하지 않고, 5개의 연속된 프레임 중에서 하나의 프레임만을 샘플링하여 객체탐지 모듈을 실행하였다.
본 시스템은 핵심 서브시스템인 객체인식서버에서 인물객체 탐지 후에 분류 모듈에서 Deep fashion dataset2를 학습한 모델을 통해 사람의 상/하의 영역을 추출하였다. 추출된 영역에서 의상과 색상을 검출하여 입력된 인상착의와 일치 여부를 판단하였다. 본 시스템은 이미 녹화된 동영상뿐만 아니라 실시간 동영상으로부터도 신속히 인물에 대한 탐색이 가능한 것을 확인하였으며, 이를 통해 각종 인물관련 감시 및 탐색 환경에 활용될 수 있을 것으로 기대된다.

후속연구

또한 본 논문에서는 상/하의 의상 종류와 색상으로만 인물을 특정하여 복잡한 패턴을 갖는 의상과 같은 세분화된 의상검색에는 한계를 갖고 있다. 따라서 좀 더 정확한 검색을 위해서 의상 무늬와 같은 패턴을 인식할 수 있도록 좀 더 세분화된 특성을 정의하여 실시간 감시나 탐색에 활용할 수 있도록 개선할 계획이다.
본 시스템은 이미 녹화된 동영상뿐만 아니라 실시간 동영상으로부터도 신속히 인물에 대한 탐색이 가능한 것을 확인하였으며, 이를 통해 각종 인물관련 감시 및 탐색 환경에 활용될 수 있을 것으로 기대된다. 또한 본 논문에서는 상/하의 의상 종류와 색상으로만 인물을 특정하여 복잡한 패턴을 갖는 의상과 같은 세분화된 의상검색에는 한계를 갖고 있다. 따라서 좀 더 정확한 검색을 위해서 의상 무늬와 같은 패턴을 인식할 수 있도록 좀 더 세분화된 특성을 정의하여 실시간 감시나 탐색에 활용할 수 있도록 개선할 계획이다.
추출된 영역에서 의상과 색상을 검출하여 입력된 인상착의와 일치 여부를 판단하였다. 본 시스템은 이미 녹화된 동영상뿐만 아니라 실시간 동영상으로부터도 신속히 인물에 대한 탐색이 가능한 것을 확인하였으며, 이를 통해 각종 인물관련 감시 및 탐색 환경에 활용될 수 있을 것으로 기대된다. 또한 본 논문에서는 상/하의 의상 종류와 색상으로만 인물을 특정하여 복잡한 패턴을 갖는 의상과 같은 세분화된 의상검색에는 한계를 갖고 있다.

참고문헌 (9)

Korean National Police Agency, Missing Children processed status report, 2020
J. Redmon, "Darknet: Open Source Neural Networks in c", http://pjreddie.com/darknet/, 2013
J. Redmon, et al. "You only look once: Unified, real-time object detection", Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. DOI: https://doi.org/10.1109/ CVPR.2016.91
C. Szegedy, et al. "Inception-v4, inception-resnet and the impact of residual connections on learning", arXiv preprint arXiv:1602.07261, 2016.
Y. Ge, et al. "Deepfashion2: A versatile benchmark for detection, pose estimation, segmentation and re-identification of clothing images", Proceedings of the IEEE conference on computer vision and pattern recognition. 2019. DOI: https://doi.org/10.1109/ CVPR. 2019.00548
J. Kim and P. Rhee, "Image Recognition based on Adaptive Deep Learning", The Journal of The Institute of Internet, Broadcasting and Communication (IIBC), Vol. No. 1, pp.113-117, 2018.
A. Krizhevsky, I. Sutskever, and G. E. Hinton, "Imagenet Classification with Deep Convolutional Neural Networks", Advances in Neural Information Processing Systems, pp. 1097-1105, 2012, DOI: https://doi.org/10.1145/3065386

상세보기
Y. Han, "Two-dimensional Automatic Transformation Template Matching for Image Recognition", Journal of the Korea Academia- Industrial cooperation Society, Vol. 20, No. 9, 2019, DOI: https://doi.org/10.5762/KAIS.2019.20.9.1

원문보기 상세보기
G. Jo, H.-W. Cho and Y. J. Son, "Implementation of 360-degree Image Recognition System Using Lidar Sensors and Yolo v3 Libraries in Cloud Server Environment", The Journal of Korean Institute of Information Technology, Vol. 18, No. 2, 2020, DOI: https://doi.org/10.14801/jkiit.2020.18.2.1

상세보기

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

지능형 객체 인식 기술을 이용한 실시간 동영상 검색시스템
Development of Real-time Video Search System Using the Intelligent Object Recognition Technology 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (5)

표/그림 (5)

AI 본문요약
AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

참고문헌 (9)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

지능형 객체 인식 기술을 이용한 실시간 동영상 검색시스템 Development of Real-time Video Search System Using the Intelligent Object Recognition Technology 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (5) 모든 표/그림 보기

표/그림 (5) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

참고문헌 (9)

이 논문을 인용한 문헌

저자의 다른 논문 :

장재영 (38)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

지능형 객체 인식 기술을 이용한 실시간 동영상 검색시스템
Development of Real-time Video Search System Using the Intelligent Object Recognition Technology 원문보기

초록
AI-Helper

표/그림 (5)

표/그림 (5)

AI 본문요약
AI-Helper