[논문]포인트 클라우드 콘텐츠 해상도 향상을 위한 점진적 렌더링 방법

이희제; 윤준영; 김종욱; 김찬희; 박종일

doi:10.5909/jbe.2021.26.3.258

포인트 클라우드 콘텐츠 해상도 향상을 위한 점진적 렌더링 방법
A Progressive Rendering Method to Enhance the Resolution of Point Cloud Contents 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.26 no.3, 2021년, pp.258 - 268

이희제 (한양대학교 컴퓨터소프트웨어학과) , 윤준영 (한양대학교 컴퓨터소프트웨어학과) , 김종욱 (한양대학교 컴퓨터소프트웨어학과) , 김찬희 (한양대학교 컴퓨터소프트웨어학과) , 박종일 (한양대학교 컴퓨터소프트웨어학과)

초록
AI-Helper

포인트 클라우드 콘텐츠는 3차원 포인트로 실제 객체를 나타내는 몰입형 콘텐츠이다. 포인트 클라우드 데이터를 획득하거나 포인트 클라우드 데이터를 인코딩 및 디코딩하는 과정에서 포인트 클라우드 콘텐츠의 해상도가 저하될 수 있다. 본 논문에서는 프레임 간 정합을 통해 순차적으로 포인트 클라우드 콘텐츠의 해상도를 점진적으로 향상시키는 방법을 제안한다. 포인트 클라우드 데이터를 정합하기 위해 ICP(Iterative Closest Point) 알고리즘이 일반적으로 사용된다. 기존 ICP 알고리즘은 강체를 변환할 수 있지만 포인트 클라우드 콘텐츠와 같이 로컬에서 서로 다른 방향으로 모션 벡터를 갖는 비 강체에 대해서는 변환이 불가능하다는 단점이 있다. 현재 프레임의 포인트 클라우드와 이전 프레임 사이의 포인트를 쌍을 만들고 만들어진 쌍의 움직임양을 계산하여 보상해주는 방법으로 기존 ICP 정합에서의 한계를 극복하였다. 이러한 방식으로 프레임 사이에 포인트를 정합하는 과정을 통해 기하학적 움직임이 있는 포인트 클라우드 콘텐츠의 해상도가 향상됨을 보였다.

Abstract ▼ AI-Helper

Point cloud content is immersive content that represents real-world objects with three-dimensional (3D) points. In the process of acquiring point cloud data or encoding and decoding point cloud data, the resolution of point cloud content could be degraded. In this paper, we propose a method of progressively enhancing the resolution of sequential point cloud contents through inter-frame registration. To register a point cloud, the iterative closest point (ICP) algorithm is commonly used. Existing ICP algorithms can transform rigid bodies, but there is a disadvantage that transformation is not possible for non-rigid bodies having motion vectors in different directions locally, such as point cloud content. We overcome the limitations of the existing ICP-based method by registering regions with motion vectors in different directions locally between the point cloud content of the current frame and the previous frame. In this manner, the resolution of the point cloud content with geometric movement is enhanced through the process of registering points between frames. We provide four different point cloud content that has been enhanced with our method in the experiment.

주제어

표/그림 (9)

그림 그림 1. 포인트 클라우드 해상도 향상을 위한 프로세스 Fig. 1. The process of enhancing the resolution of point cloud contents
그림 그림 2. ICP 알고리즘을 사용한 포인트 클라우드 시퀀스 정합 결과 Fig. 2. The results of performing registration with the ICP algorithm for the point cloud data sequences
그림 그림 3. 3D 포인트를 2D 이미지 영상 투영 Fig. 3. Projection 3D point cloud content onto a 2D image plane
그림 그림 4. 실험에 사용될 4개의 포인트 클라우드 콘텐츠. soldier, long dress, red and black, loot Fig. 4. Four point cloud contents. soldier, long dress, red and black, loot
표 표 1. 포인트 간격 조절 알고리즘 Table 1. Adjust the gap of points algorithm
그림 그림 5. 제시한 방법에 의한 렌더링 결과. (a,b,c,d)-1 : 프레임 t, (a,b,c,d)-2 : 프레임 t+1, (a,b,c,d)-3 : 결과 영상 Fig. 5. The result of rendering point cloud content with resolution enhanced by our method. (a, b, c, d)-1: frame t, (a, b, c, d)-2: frame t+1, (a, b, c, d)-3: enhanced contents
표 표 2. 콘텐츠 프레임 별 PSNR 수치 비교 Table 2. Comparison of contents frame PSNR
그림 그림 6. 제안한 방법에 의한 결과와 ICP 알고리즘으로 인한 결과 차이 (a), (c) – ICP , (b),(d) – 제안한 방법 Fig. 6. The results of performing registration with our method and ICP algorithm (a), (c) – ICP , (b),(d) – Our method
표 표 3. 콘텐츠 별 3D 와 2D 포인트 개수 및 실행시간 비교 Table 3. Comparison of the number of 3D and 2D points of each content and the measured runtime

참고문헌 (33)

BHAYANI, Sam B.; ANDRIOLE, Gerald L. Three-dimensional (3D) vision: does it improve laparoscopic skills? An assessment of a 3D head-mounted visualization system. Reviews in urology, 7.4: 211, 2005.

상세보기
D. B. Payne and J. R. Stern, "Wavelength-switched passively coupled single-mode optical network," in Proc. IOOC-ECOC, Boston, MA, USA, pp. 585-590, 1985.
MITRA, Niloy J., et al. Registration of point cloud data from a geometric optimization perspective. In: Proceedings of the 2004 Eurographics/ACM SIGGRAPH symposium on Geometry processing, p. 22-31, 2004.
Arun, Somani; Thomas S. Huang; Steven D. Blostein (1987). "Least-square fitting of two 3-D point sets". IEEE Pattern Analysis and Machine Intelligence, 1987
Besl, Paul J.; N.D. McKay (1992). "A Method for Registration of 3-D Shapes". IEEE Transactions on Pattern Analysis and Machine Intelligence. 14 (2): 239-256. doi:10.1109/34.121791.

상세보기
Chen, Yang; Gerard Medioni (1991). "Object modelling by registration of multiple range images". Image Vision Computing. 10(3): 145-155. doi:10.1016/0262-8856(92)90066-C.

상세보기
Zhang, Zhengyou (1994). "Iterative point matching for registration of free-form curves and surfaces". International Journal of Computer Vision. 13 (12): 119-152.
Rusinkiewicz, Szymon; Marc Levoy (2001). Efficient Variants of the ICP Algorithm. Proceedings Third International Conference on 3-D Digital Imaging and Modeling. Quebec City, Quebec, Canada. pp. 145-152. doi:10.1109/IM.2001.924423.
Pomerleau, Francois; Colas, Francis; Siegwart, Roland (2015). "A Review of Point Cloud Registration Algorithms for Mobile Robotics". Foundations and Trends in Robotics. 4 (1): 1-104. CiteSeerX 10.1.1.709.2212. doi:10.1561/2300000035.

상세보기
LOW, Kok-Lim. Linear least-squares optimization for point-to-plane icp surface registration. Chapel Hill, University of North Carolina, 2004, 4.10: 1-3.
RUSINKIEWICZ, Szymon; LEVOY, Marc. Efficient variants of the ICP algorithm. In: Proceedings third international conference on 3-D digital imaging and modeling. IEEE, p. 145-152, 2001.
SEGAL, Aleksandr; HAEHNEL, Dirk; THRUN, Sebastian. Generalized-icp. In: Robotics: science and systems. p. 435. 2009
Francois Pomerleau, Francis Colas, Roland Siegwart, and Stephane Magnenat. Comparing ICP Variants on Real-World Data Sets. In Autonomous Robots, 34(3), pages 133-148, April 2013.
MEN, Hao; GEBRE, Biruk; POCHIRAJU, Kishore. Color point cloud registration with 4D ICP algorithm. In: 2011 IEEE International Conference on Robotics and Automation. IEEE, p. 1511-1516, 2011.
Holz, Dirk; Ichim, Alexandru E.; Tombari, Federico; Rusu, Radu B.; Behnke, Sven (2015). "Registration with the Point Cloud Library: A Modular Framework for Aligning in 3-D". IEEE Robotics Automation Magazine. 22 (4): 110-124.

상세보기
AOKI, Yasuhiro, et al. Pointnetlk: Robust & efficient point cloud registration using pointnet. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, p. 7163-7172, 2019.
POMERLEAU, Francois, et al. Challenging data sets for point cloud registration algorithms. The International Journal of Robotics Research, 31.14: 1705-1711, 2012.

상세보기
SCHUETZ, Markus; WIMMER, Michael. Progressive real-time rendering of unprocessed point clouds. In: ACM SIGGRAPH 2018 Posters, p. 1-2, 2018.
HE, Jun; YAO, Xin. Drift analysis and average time complexity of evolutionary algorithms. Artificial intelligence, 127.1: 57-85, 2001.

상세보기
ZWICKER, Matthias, et al. EWA splatting. IEEE Transactions on Visualization and Computer Graphics, 8.3: 223-238, 2002.

상세보기
WU, Huikai; ZHANG, Junge; HUANG, Kaiqi. Point cloud super resolution with adversarial residual graph networks. arXiv preprint arXiv:1908.02111, 2019.
YU, Lequan, et al. Pu-net: Point cloud upsampling network. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, p. 2790-2799, 2018.
PUNET, Xavier, et al. Enhanced cell-material interactions through the biofunctionalization of polymeric surfaces with engineered peptides. Biomacromolecules, 14.8: 2690-2702, 2013.

상세보기
ZHANG, Zhiyuan; DAI, Yuchao; SUN, Jiadai. Deep learning based point cloud registration: an overview. Virtual Reality & Intelligent Hardware, 2.3: 222-246, 2020.

상세보기
MIELEKAMP, Pieter Maria; HOMAN, Robert Johannes Frederik. Visualization of 3D images in combination with 2D projection images. U.S. Patent No 7,991,105, 2011.
SARAVANAN, G.; YAMUNA, G.; NANDHINI, S. Real time implementation of RGB to HSV/HSI/HSL and its reverse color space models. In: 2016 International Conference on Communication and Signal Processing (ICCSP). IEEE, p. 0462-0466, 2016.
HOUSHIAR, Hamidreza; NuCHTER, Andreas. 3D point cloud compression using conventional image compression for efficient data transmission. In: 2015 XXV International Conference on Information, Communication and Automation Technologies (ICAT). IEEE, p. 1-8, 2015.
SHI, Shaoshuai; WANG, Xiaogang; LI, Hongsheng. Pointrcnn: 3d object proposal generation and detection from point cloud. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, p. 770-779, 2019.
Call for Proposals for Point Cloud Compression v2, Standard ISO/IECJTC1/SC29/WG11 MPEG2017/N16763, Hobart, AU, Apr. 2017.
RHYU, Sungryeul, et al. Contextual Homogeneity-Based Patch Decomposition Method for Higher Point Cloud Compression. IEEE Access, 8: 207805-207812, 2020.

상세보기
MIAO, Yongwei; PAJAROLA, Renato; FENG, Jieqing. Curvature-aware adaptive re-sampling for point-sampled geometry. Computer-Aided Design, 2009, 41.6: 395-403, 2009.
CARDANI, Darrin. Adventures in hsv space. Laboratorio de Robotica, Instituto Tecnologico Autonomo de Mexico, 2001.
H.Lee, J.Yun, J.Kim, J.Park, "ICP based Point Cloud Contents Quality Improvement Method," The Korean Institute of Broadcast and Media Engineers, p. 200-201, 2020.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증