[논문]실감형 360도 미디어의 RGB 벡터 및 객체 특징정보를 이용한 대표 프레임 선정 방법

박병찬; 유인재; 이재청; 장세영; 김석윤; 김영모

doi:10.7471/ikeee.2020.24.4.1050

실감형 360도 미디어의 RGB 벡터 및 객체 특징정보를 이용한 대표 프레임 선정 방법
A Reference Frame Selection Method Using RGB Vector and Object Feature Information of Immersive 360° Media 원문보기

전기전자학회논문지 = Journal of IKEEE, v.24 no.4, 2020년, pp.1050 - 1057

박병찬 (Dept. of Computer Science and Engineering, Soongsil University) , 유인재 (Research Institute, Beyondtech Inc.) , 이재청 (Research Institute, Beyondtech Inc.) , 장세영 (Dept. of Computer Science and Engineering, Soongsil University) , 김석윤 (Dept. of Computer Science and Engineering, Soongsil University) , 김영모 (Dept. of Computer Science and Engineering, Soongsil University)

초록
AI-Helper

실감형 360도 미디어는 기존 영상보다 고품질, 초대용량으로 영상의 크기가 크며, 다양한 렌더링 방식을 사용하여 기존방식으로 이미지 처리할 경우 영상인식 속도가 느려지는 문제가 있다. 또한, 실감형 360도 미디어의 특성상 특정 장소에서 카메라를 고정시켜 한 장면만 촬영하는 경우가 대부분이기 때문에, 모든 영상에서 특징정보를 추출할 필요가 없다. 본 논문에서는 실감형 360 미디어의 프레임 추출과정, 프레임 다운사이징, 구형 형태의 렌더링 과정을 거치고, 렌더링 과정에서 영상을 16개 프레임으로 분할 캡처하여 캡처된 프레임에서 객체 정보가 많은 중앙 부분에서 픽셀당 RGB 벡터와 딥 러닝을 이용하여 객체를 추출한 뒤, 객체 특징정보를 이용하여 대표 프레임을 선정하는 방법을 제안한다.

Abstract ▼ AI-Helper

Immersive 360-degree media has a problem of slowing down the video recognition speed when the video is processed by the conventional method using a variety of rendering methods, and the video size becomes larger with higher quality and extra-large volume than the existing video. In addition, in most cases, only one scene is captured by fixing the camera in a specific place due to the characteristics of the immersive 360-degree media, it is not necessary to extract feature information from all scenes. In this paper, we propose a reference frame selection method for immersive 360-degree media and describe its application process to copyright protection technology. In the proposed method, three pre-processing processes such as frame extraction of immersive 360 media, frame downsizing, and spherical form rendering are performed. In the rendering process, the video is divided into 16 frames and captured. In the central part where there is much object information, an object is extracted using an RGB vector per pixel and deep learning, and a reference frame is selected using object feature information.

주제어

표/그림 (18)

그림 Fig. 1. Faster R-CNN Architecture. 그림 1. Faster R-CNN 구조
그림 Fig. 2. Frame Extraction Process per Second. 그림 2. 초당 프레임 추출 과정
그림 Fig. 3. Frame Downsizing. 그림 3. 프레임 다운 사이징
그림 Fig. 4. Immersive 360 Media Image Rendering. 그림 4. 실감형 360 미디어 이미지 렌더링
그림 Fig. 5. Image Capture According to the Viewing Angle. 그림 5. 시야각에 따른 영상 캡처
표 Table 1. Coordinates According to the Viewing Angle. 표 1. 시야각에 따른 좌표
그림 Fig. 6. 90°*60° Field-of-view Capture. 그림 6. 90°*60°의 시야각에 따른 캡처
그림 Fig. 7. RGB Data Extraction Process. 그림 7. RGB 데이터 추출과정
그림 Fig. 8. (a) A Set Method for 2D Coordinates of Each Pixels. (b) A Extraction Method of RGB Vector. 그림 8. (a) 픽셀에 대한 2차원 좌표 설정 방법 (b) RGB 벡터 추출 방법
표 Table 2. Coordinates According to the Viewing Angle. 표 2. 시야각에 따른 좌표
그림 Fig. 10. RGB Vector per Frame. 그림 10. 프레임당 추출된 RGB 벡터
그림 Fig. 9. Immersive 360 Media Reference Frame Selection Process. 그림 9. 실감형 360 미디어 대표 프레임 선정과정
표 Table 3. Object Information Metadata. 표 3. 객체 정보 메타데이터
그림 Fig. 11. Classify Frame with a Critical Value of 25% or More. 그림 11. 임계값이 25% 이상인 프레임 구분
그림 Fig. 12. Frame Judged to be Another Frame due to RGB Vector. 그림 12. RGB Vector로 인해 다른 프레임으로 판단된 프레임
표 Table 4. PC Specification. 표 4. PC 사양
그림 Fig. 13. Final Reference Frame Selection. 그림 13. 최종 대표 프레임 선정
표 Table 5. Frame Determination using Object Feature Information. 표 5. 객체 특징정보를 이용한 프레임 판단

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

작되는 특성이 있다. 본 논문에서는 실감형 360도 미디어의 고 프레임 특성과 제작 시 특정 장소에 카메라를 고정하여 촬영하는 환경을 고려하여 data-checked="false">추출되는특징정보의수를줄이기위해서RGB벡터 및객체특징정보를이용한대표프레임선정방법 을 제안하였다.

가설 설정

대표값에따 라R:00, G:01, data-checked="false">B:10으로2bit의데이터로표시하며4개의픽셀을하나로묶어1Byte의값으로표 시한다.하나의큰픽셀로다시생성된4개의픽셀 은2차원배열의형태로좌표를설정한다.각배열 에서는 추출된 RGB 데이터의 대표값으로 선정하며, 과정은Fig.

제안 방법

좌표데이터는픽셀을기준으로x좌표와y좌 표를추출한다.FasterR-CNN알고리즘을이용하 여객체정보를추출할때바운딩박스로추출되는 데, 바운딩박스의왼쪽상단을x좌표, data-checked="false">오른쪽하단을y좌표로추출하고K-NearestNeighbor알고리 즘을 이용한 특징정보를 추출하며, 특징정보의 단위는 숫자로 추출한다.
data-checked="false">딥러닝기반으로객체특징정보를추출하기위해사전에객체정보를학습하였다.학습자료는Image- Net에서 제공하는 데이터셋을 이용하여 학습하였으며, 동물, 식물, 사람등을포함한1, 000개의 카테고리로 데이터셋을 수집하였다.
data-checked="false">본논문에서제안한대표프레임선정을위한실험을위하여Table4와같ePC를구비하여실험 하였다.
이러한실감형360미디어의특 징은기존에이용되고있는필터링기술을적용할 수없으므로실감형360미디어에서적용할수있 는필터링기술이필요하다[8].본논문에서는실감 형360미디어의빠른인식과검색을위하여실감 형 360 미디어의 프레임에서 각각 RGB의 data-checked="false">데이터를추출하여RGB벡터를추출하는방법과객체정 보를추출하는방법으로실감형360미디어의특징 중하나인카메라를특정장소에서고정시켜촬영 하기때문에모든데이터를추출할필요없이장면 (Scene)에대표되는프레임인대표프레임선정방 법을제안한다.
본논문에서제안하는실감형360미디어의RGB 벡터 추출 방법은 총 세 가지의 전처리 방법으로 RGB 벡터추출을위한데이터셋을만든다.
실감형 360도 미디어에서 대표프레임을 선정하기 위해 1초당 하나씩 추출되는 모든 data-checked="false">프레임에서딥러닝기술인FasterR-CNN알고리즘을이용하 여추출되는객체정보를추출한다.추출되는데이 터는Table3과같다.
통해 n*n크기의slidingWindow로256차원또는512차 원의featurevector를생성한다.이를기반으로후 보영역에대한4개의box좌표값을산출하여관심 영역을 만들어 내고 마지막으로 Fully Connection Layer를적용하여객체를검출한다.
첫 번째로 이전 프레임과 현재 프레임의 RGB벡터값을 비교하여 변위량을 확인한다. 변위량 계산식은식(1)와같다.
두 번째로 객체정보 비교이다.첫번째과정에서일정 이상의 임계값을 통과한 프레임을 대상으로 객체정보를 비교한다. Table 3의 메타데이터에서 비교하는 특징정보는 먼저 Location(x, y)를 비교하여 일치하면 Feature Point를비교한다.
data-checked="false">인식률을향상시키기위한과정이다.평면의실감형360미디어프레임을구형으로3D렌 더링한 후 각 각도에 따라캡처를진행한다. 캡처된 프레임들을 조합하여 하나의 프레임으로 변환하여 영상의 프로젝션 왜곡을 동일하게 보정하고구형좌표계에서발생한왜곡을최소화시킨다.

대상 데이터

data-checked="false">딥러닝기반으로객체특징정보를추출하기위해사전에객체정보를학습하였다.학습자료는Image- Net에서 제공하는 데이터셋을 이용하여 학습하였으며, 동물, 식물, 사람등을포함한1, 000개의 카테고리로 데이터셋을 수집하였다. 추출되는 data-checked="false">객체에대해Table3의메타데이터항목을기준으로객체 정보를추출한다.

이론/모형

RGB벡터의정 보는사람의눈으로볼때같은색상이라고하더라 도 실제 추출되는 벡터값은 다를 수 있기 data-checked="false">때문에객체정보를이용하여이중으로판단한다.객체정 보는딥러닝을기술인FasterR-CNN알고리즘을 통해객체정보를추출한다.

성능/효과

본 논문에서 제안한 대표 프레임 선정방법을 이용할 경우, 저작권 보호를 위한 필터링 기술 적용 시 중복되는 특징정보로 인하여 필터링 속도가 느려지는현상을방지할 수 있으며, 동영상 비교검색 시에도 모든 프레임을 비교하지않고대표 data-checked="false">프레임만을사용하여빠르게비교검색을할수있는효과 가있다.추후연구로대표프레임을이용하여저작 권보호기술을적용하기위한연구가필요하다.

후속연구

가있다.추후연구로대표프레임을이용하여저작 권보호기술을적용하기위한연구가필요하다.

참고문헌 (11)

J. S. Lee, "Changes in realistic media content distribution environment and production technology in the 5G era," NIPA Issue Report, Vol.22, 2019.
M. G. Kim, "Korean 5G-based VR.AR development urgentThere is no "law/policy," EYENEWS 24, 2019.
Y. Kim and D. Sin, "Feature-based filtering technology performance evaluation trend," Korean Institute of Information Technology, Vol.11, No.2, pp.1-7, 2013.
Y. S. Ho, "VR/AR content creation using 360-degree video," The Magazine of the IEEE, Vol.45, No.8, pp. 33-40, 2018.
S. Mun, M. Whang, S. Park, D. W. Lee and H. I. Kim, "Overview of VR Media Technology and Methods to Reduce Cybersickness," Journal of Broadcast Engineering, Vol.23. No.6, pp.800-812, 2018.

원문보기 상세보기
G. S. Lee, J. Y. Jeong, H. C. Shin and J. I. Seo, "Standardization Trend of 3DoF+ Video for Immersive Media," Electronics and Telecommunications Trends, Vol.34, No.6, pp.156-163, 2019. DOI: 10.22648/ETRI.2019.J.340614

원문보기 상세보기
Y. Kim, B. Park, S. Jang, I. Yoo, J. Lee and S. Y. Kim, "A Study on Fingerprinting Robustness Indicators for Immersive 360-degree Video," Journal of IKEEE, Vol.24, No.3, pp.743-753, 2020. DOI: 10.7471/ikeee.2020.24.3.743

원문보기 상세보기
S. Ren, K. He, R. Girshick and J. Sun "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.39, No.6, pp.1137-1149, 2017.

상세보기
D. Belur V, "Nearest neighbor (NN) norms: NN pattern classification technique," EEE Computer Society Press, 1991.
J. Lee, "An Efficient kNN Algorithm," KIPS Transactions on Software and Data Engineering (KTSDE), Vol.11, No.7, pp.849-854, 2004.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증