실감형 360도 미디어의 RGB 벡터 및 객체 특징정보를 이용한 대표 프레임 선정 방법 A Reference Frame Selection Method Using RGB Vector and Object Feature Information of Immersive 360° Media원문보기
실감형 360도 미디어는 기존 영상보다 고품질, 초대용량으로 영상의 크기가 크며, 다양한 렌더링 방식을 사용하여 기존방식으로 이미지 처리할 경우 영상인식 속도가 느려지는 문제가 있다. 또한, 실감형 360도 미디어의 특성상 특정 장소에서 카메라를 고정시켜 한 장면만 촬영하는 경우가 대부분이기 때문에, 모든 영상에서 특징정보를 추출할 필요가 없다. 본 논문에서는 실감형 360 미디어의 프레임 추출과정, 프레임 다운사이징, 구형 형태의 렌더링 과정을 거치고, 렌더링 과정에서 영상을 16개 프레임으로 분할 캡처하여 캡처된 프레임에서 객체 정보가 많은 중앙 부분에서 픽셀당 RGB 벡터와 딥 러닝을 이용하여 객체를 추출한 뒤, 객체 특징정보를 이용하여 대표 프레임을 선정하는 방법을 제안한다.
실감형 360도 미디어는 기존 영상보다 고품질, 초대용량으로 영상의 크기가 크며, 다양한 렌더링 방식을 사용하여 기존방식으로 이미지 처리할 경우 영상인식 속도가 느려지는 문제가 있다. 또한, 실감형 360도 미디어의 특성상 특정 장소에서 카메라를 고정시켜 한 장면만 촬영하는 경우가 대부분이기 때문에, 모든 영상에서 특징정보를 추출할 필요가 없다. 본 논문에서는 실감형 360 미디어의 프레임 추출과정, 프레임 다운사이징, 구형 형태의 렌더링 과정을 거치고, 렌더링 과정에서 영상을 16개 프레임으로 분할 캡처하여 캡처된 프레임에서 객체 정보가 많은 중앙 부분에서 픽셀당 RGB 벡터와 딥 러닝을 이용하여 객체를 추출한 뒤, 객체 특징정보를 이용하여 대표 프레임을 선정하는 방법을 제안한다.
Immersive 360-degree media has a problem of slowing down the video recognition speed when the video is processed by the conventional method using a variety of rendering methods, and the video size becomes larger with higher quality and extra-large volume than the existing video. In addition, in most...
Immersive 360-degree media has a problem of slowing down the video recognition speed when the video is processed by the conventional method using a variety of rendering methods, and the video size becomes larger with higher quality and extra-large volume than the existing video. In addition, in most cases, only one scene is captured by fixing the camera in a specific place due to the characteristics of the immersive 360-degree media, it is not necessary to extract feature information from all scenes. In this paper, we propose a reference frame selection method for immersive 360-degree media and describe its application process to copyright protection technology. In the proposed method, three pre-processing processes such as frame extraction of immersive 360 media, frame downsizing, and spherical form rendering are performed. In the rendering process, the video is divided into 16 frames and captured. In the central part where there is much object information, an object is extracted using an RGB vector per pixel and deep learning, and a reference frame is selected using object feature information.
Immersive 360-degree media has a problem of slowing down the video recognition speed when the video is processed by the conventional method using a variety of rendering methods, and the video size becomes larger with higher quality and extra-large volume than the existing video. In addition, in most cases, only one scene is captured by fixing the camera in a specific place due to the characteristics of the immersive 360-degree media, it is not necessary to extract feature information from all scenes. In this paper, we propose a reference frame selection method for immersive 360-degree media and describe its application process to copyright protection technology. In the proposed method, three pre-processing processes such as frame extraction of immersive 360 media, frame downsizing, and spherical form rendering are performed. In the rendering process, the video is divided into 16 frames and captured. In the central part where there is much object information, an object is extracted using an RGB vector per pixel and deep learning, and a reference frame is selected using object feature information.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
작되는 특성이 있다. 본 논문에서는 실감형 360도 미디어의 고 프레임 특성과 제작 시 특정 장소에 카메라를 고정하여 촬영하는 환경을 고려하여 data-checked="false">추출되는특징정보의수를줄이기위해서RGB벡터 및객체특징정보를이용한대표프레임선정방법 을 제안하였다.
가설 설정
대표값에따 라R:00, G:01, data-checked="false">B:10으로2bit의데이터로표시하며4개의픽셀을하나로묶어1Byte의값으로표 시한다.하나의큰픽셀로다시생성된4개의픽셀 은2차원배열의형태로좌표를설정한다.각배열 에서는 추출된 RGB 데이터의 대표값으로 선정하며, 과정은Fig.
제안 방법
좌표데이터는픽셀을기준으로x좌표와y좌 표를추출한다.FasterR-CNN알고리즘을이용하 여객체정보를추출할때바운딩박스로추출되는 데, 바운딩박스의왼쪽상단을x좌표, data-checked="false">오른쪽하단을y좌표로추출하고K-NearestNeighbor알고리 즘을 이용한 특징정보를 추출하며, 특징정보의 단위는 숫자로 추출한다.
data-checked="false">딥러닝기반으로객체특징정보를추출하기위해사전에객체정보를학습하였다.학습자료는Image- Net에서 제공하는 데이터셋을 이용하여 학습하였으며, 동물, 식물, 사람등을포함한1, 000개의 카테고리로 데이터셋을 수집하였다.
data-checked="false">본논문에서제안한대표프레임선정을위한실험을위하여Table4와같ePC를구비하여실험 하였다.
이러한실감형360미디어의특 징은기존에이용되고있는필터링기술을적용할 수없으므로실감형360미디어에서적용할수있 는필터링기술이필요하다[8].본논문에서는실감 형360미디어의빠른인식과검색을위하여실감 형 360 미디어의 프레임에서 각각 RGB의 data-checked="false">데이터를추출하여RGB벡터를추출하는방법과객체정 보를추출하는방법으로실감형360미디어의특징 중하나인카메라를특정장소에서고정시켜촬영 하기때문에모든데이터를추출할필요없이장면 (Scene)에대표되는프레임인대표프레임선정방 법을제안한다.
본논문에서제안하는실감형360미디어의RGB 벡터 추출 방법은 총 세 가지의 전처리 방법으로 RGB 벡터추출을위한데이터셋을만든다.
실감형 360도 미디어에서 대표프레임을 선정하기 위해 1초당 하나씩 추출되는 모든 data-checked="false">프레임에서딥러닝기술인FasterR-CNN알고리즘을이용하 여추출되는객체정보를추출한다.추출되는데이 터는Table3과같다.
통해 n*n크기의slidingWindow로256차원또는512차 원의featurevector를생성한다.이를기반으로후 보영역에대한4개의box좌표값을산출하여관심 영역을 만들어 내고 마지막으로 Fully Connection Layer를적용하여객체를검출한다.
첫 번째로 이전 프레임과 현재 프레임의 RGB벡터값을 비교하여 변위량을 확인한다. 변위량 계산식은식(1)와같다.
두 번째로 객체정보 비교이다.첫번째과정에서일정 이상의 임계값을 통과한 프레임을 대상으로 객체정보를 비교한다. Table 3의 메타데이터에서 비교하는 특징정보는 먼저 Location(x, y)를 비교하여 일치하면 Feature Point를비교한다.
data-checked="false">인식률을향상시키기위한과정이다.평면의실감형360미디어프레임을구형으로3D렌 더링한 후 각 각도에 따라캡처를진행한다. 캡처된 프레임들을 조합하여 하나의 프레임으로 변환하여 영상의 프로젝션 왜곡을 동일하게 보정하고구형좌표계에서발생한왜곡을최소화시킨다.
대상 데이터
data-checked="false">딥러닝기반으로객체특징정보를추출하기위해사전에객체정보를학습하였다.학습자료는Image- Net에서 제공하는 데이터셋을 이용하여 학습하였으며, 동물, 식물, 사람등을포함한1, 000개의 카테고리로 데이터셋을 수집하였다. 추출되는 data-checked="false">객체에대해Table3의메타데이터항목을기준으로객체 정보를추출한다.
이론/모형
RGB벡터의정 보는사람의눈으로볼때같은색상이라고하더라 도 실제 추출되는 벡터값은 다를 수 있기 data-checked="false">때문에객체정보를이용하여이중으로판단한다.객체정 보는딥러닝을기술인FasterR-CNN알고리즘을 통해객체정보를추출한다.
성능/효과
본 논문에서 제안한 대표 프레임 선정방법을 이용할 경우, 저작권 보호를 위한 필터링 기술 적용 시 중복되는 특징정보로 인하여 필터링 속도가 느려지는현상을방지할 수 있으며, 동영상 비교검색 시에도 모든 프레임을 비교하지않고대표 data-checked="false">프레임만을사용하여빠르게비교검색을할수있는효과 가있다.추후연구로대표프레임을이용하여저작 권보호기술을적용하기위한연구가필요하다.
후속연구
가있다.추후연구로대표프레임을이용하여저작 권보호기술을적용하기위한연구가필요하다.
참고문헌 (11)
J. S. Lee, "Changes in realistic media content distribution environment and production technology in the 5G era," NIPA Issue Report, Vol.22, 2019.
S. W. Son, "5G era, single media copyright issues and trends," VideoPlus, 2019.
M. G. Kim, "Korean 5G-based VR.AR development urgentThere is no "law/policy," EYENEWS 24, 2019.
Y. Kim and D. Sin, "Feature-based filtering technology performance evaluation trend," Korean Institute of Information Technology, Vol.11, No.2, pp.1-7, 2013.
Y. S. Ho, "VR/AR content creation using 360-degree video," The Magazine of the IEEE, Vol.45, No.8, pp. 33-40, 2018.
S. Mun, M. Whang, S. Park, D. W. Lee and H. I. Kim, "Overview of VR Media Technology and Methods to Reduce Cybersickness," Journal of Broadcast Engineering, Vol.23. No.6, pp.800-812, 2018.
G. S. Lee, J. Y. Jeong, H. C. Shin and J. I. Seo, "Standardization Trend of 3DoF+ Video for Immersive Media," Electronics and Telecommunications Trends, Vol.34, No.6, pp.156-163, 2019. DOI: 10.22648/ETRI.2019.J.340614
Y. Kim, B. Park, S. Jang, I. Yoo, J. Lee and S. Y. Kim, "A Study on Fingerprinting Robustness Indicators for Immersive 360-degree Video," Journal of IKEEE, Vol.24, No.3, pp.743-753, 2020. DOI: 10.7471/ikeee.2020.24.3.743
S. Ren, K. He, R. Girshick and J. Sun "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.39, No.6, pp.1137-1149, 2017.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.