[논문]Low Level GPU에서 Point Cloud를 이용한 Level of detail 생성에 대한 연구

감정원; 구본우; 진교홍

doi:10.9766/kimst.2020.23.6.542

Low Level GPU에서 Point Cloud를 이용한 Level of detail 생성에 대한 연구
Point Cloud Data Driven Level of detail Generation in Low Level GPU Devices 원문보기

韓國軍事科學技術學會誌 = Journal of the KIMST, v.23 no.6, 2020년, pp.542 - 553

감정원 (창원대학교 전자공학과) , 구본우 ((주)심네트 M&S 1본부) , 진교홍 (창원대학교 전자공학과)

Abstract ▼ AI-Helper

Virtual world and simulation need large scale map rendering. However, rendering too many vertices is a computationally complex and time-consuming process. Some game development companies have developed 3D LOD objects for high-speed rendering based on distance between camera and 3D object. Terrain physics simulation researchers need a way to recognize the original object shape from 3D LOD objects. In this paper, we proposed simply automatic LOD framework using point cloud data (PCD). This PCD was created using a 6-direct orthographic ray. Various experiments are performed to validate the effectiveness of the proposed method. We hope the proposed automatic LOD generation framework can play an important role in game development and terrain physic simulation.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 대규모 크기의 지형과 수많은 3D모델을 렌더링하기 위하여 PCD를 이용한 자동 LOD 생성 FrameWork를 제안하였다. 6방향의 직교 광선 투영을 FBO Texture에 저장하여 LOD의 품질을 제어할 수 있게 하였다.

제안 방법

본 논문에서는 대규모 크기의 지형과 수많은 3D모델을 렌더링하기 위하여 PCD를 이용한 자동 LOD 생성 FrameWork를 제안하였다. 6방향의 직교 광선 투영을 FBO Texture에 저장하여 LOD의 품질을 제어할 수 있게 하였다. 또한, 줄어든 정점을 다시 면(Mesh)으로 변환하면 원본 3D모델 대비 왜곡되는 현상을 막기 위하여 중앙값 필터(Median Filter)를 사용하여 정점과 정점 사이의 구멍을 채웠다.
이 섹션에서는 제안된 LOD 생성 FrameWork의 검증을 위하여 다양한 실험을 진행하였다. FBO Texture 크기에 대한 실험, 슬라이드 개수에 대한 실험, 정점 크기에 대한 실험, Smooth function에 대한 실험, 렌더링 속도에 대한 실험 그리고 Recall and Precision and F-measure을 이용한 지형 모델의 유사도 검증 실험. 모든 실험에 필요한 프로그램은 C/C++, OPENGL 4.
LOD 적용 없이 원본 3D 모델을 1,331개 렌더링한 영상을 정답으로 설정하였고, 본 논문의 LOD 생성 FrameWork로 5단계의 LOD를 생성하여 원본 물체와 거리에 따른 LOD 물체를 1,331개 렌더링한 영상을 예측으로 설정하였다.
3D 오브젝트는 바라보는 방향에 따라 형태가 달라지기 때문에 일반적인 1:1 매칭으로 품질을 비교할 수 없다. 그래서 본 논문에서는 카메라의 움직임을 구면 좌표계로 설정하고 γ는 30~360, θ는 0~360, φ는 0~360만큼 이동하며 렌더링 화면을 저장하였다.
6방향의 직교 광선 투영을 FBO Texture에 저장하여 LOD의 품질을 제어할 수 있게 하였다. 또한, 줄어든 정점을 다시 면(Mesh)으로 변환하면 원본 3D모델 대비 왜곡되는 현상을 막기 위하여 중앙값 필터(Median Filter)를 사용하여 정점과 정점 사이의 구멍을 채웠다. 제안된 LOD 생성 FrameWork는 평균 94.
정답 영상과 예측 영상의 픽셀을 1:1 비교하여, 정답 영상과 예측 영상 둘 다 픽셀이 있으면 TP, 예측 영상에만 픽셀이 있을 경우 FP, 정답 영상에만 픽셀이 있으면 FN으로 설정하였다. 마지막으로 정답 영상과 픽셀 영상 둘 다 픽셀이 없을 경우 TN으로 설정하였다.
본 논문은 Low-Level GPU에서 효율적인 LOD 생성 FrameWork를 제안하므로 Low-Level GPU인 모바일 디바이스에서도 실험을 진행하였다. 모바일 디바이스의 프로그램은 Android NDK, C/C++, OPENGL ES 2.0으로 개발하였고 두 개의 서로 다른 디바이스(LG Q7, ASUS Nexus 7 Tab)을 사용하였다.
모든 FBO texture의 Point data를 하나의 Buffer에 저장하면 PCD가 생성된다. 본 논문에서 PCD는 정밀한 소프트웨어에 의한 직교 광선 투영(Projection)으로 생성되었다. 그렇기 때문에 PCD안에 잡음은 존재하지 않는다.
4는 거리에 따른 LOD Level 변경 결과를 보여준다. 본 논문에서 제안된 LOD 생성 FrameWork는 한 매개변수당 하나의 LOD 3D 모델을 생성한다. 그러므로 사용자의 입력에 따라 거리별로 LOD를 몇 개 생성할 것인지 선택이 가능하다.
Dragon 모델은 Happy Buddha와 정점의 개수는 같지만, Dragon 모델의 외형이 Happy Buddha 모델의 외형보다 단순하여 각 LOD Level 별로 Happy Buddha 보다 더 많은 정점이 줄어든 것을 확인할 수 있다. 본 논문에서 제안한 LOD 생성 FrameWork는 6방향의 직교 광선 투영을 사용하기 때문에 원본 3D 모델의 외형에 따라 생성된 LOD 3D모델의 정점 수가 결정된다.
본 논문에서는 6 방향의 직교 광선 투영을 이용하여 생성한 PCD(Point Cloud Data)를 사용하여 원본 3D 모델과 유사한 자동 LOD 3D 모델 생성 방법을 제안한다.
외는 하향식 계측 구조(Top-down Hierarchical)와 GMM(Gaussian Mixture Model)을 이용하여 Point data를 줄이는 방법을 제안하였다^[24,25]. 본 논문에서는 6 방향의 직교 광선(6-Direct Orthographic Ray)를 사용하여 원본 객체를 PCD로 재구성한다. 본 논문에서 제안된 LOD 시스템은 PCD를 기반으로 하므로 Low-Level GPU 혹은 모바일 디바이스에서도 사용이 가능하다.
수학적 계산 방법으로 정점을 줄이고 다시 면(Mesh)을 만들면 3D 모델의 외형이 왜곡될 수 있기 때문이다. 본 논문에서는 면을 재구성하지 않고 중앙값 필터(Median Filter)를 적용하여 3D 모델의 외형을 최대한 보존하였다. GPU에서는 버텍스 셰이더에서 계산된 정점에 맞추어 해상도에 맞게 Mesh를 생성한다.
0으로 개발하였고 실험 환경은 Intel-i5 CPU, 8GB RAM, 2개의 서로 다른 GPU(Nvidia GTX-1080Ti, Nvidia GTX-750)을 사용하였다. 본 논문은 Low-Level GPU에서 효율적인 LOD 생성 FrameWork를 제안하므로 Low-Level GPU인 모바일 디바이스에서도 실험을 진행하였다. 모바일 디바이스의 프로그램은 Android NDK, C/C++, OPENGL ES 2.
Jabłoński,S.외는 SVO^[15-17]를 사용하여 자동화 LOD 시스템을 제안하였다. 이 LOD 알고리즘은 사용자 뷰 포트와 3D 모델 사이 거리에 따라 GPU의 기하학 셰이더(Geometry Shader)를 사용하여 실시간으로 렌더링 품질을 조정할 수 있다.
Jens.외는 대규모 지형 모델을 렌더링하기 위해 GPU 기반 중첩 메시 계층 구조(Nested Mesh Hierarchy)를 이용한 LOD 시스템을 제안하였다^[1]. 이 알고리즘은 실시간으로 대규모 지형 모델을 렌더링할 수 있다.
Jiang.외는 쿼드 트리(Quad-Tree)를 이용하여 모바일 장치에서 대규모 지형 모델을 렌더링을 시도하였다^[2]. 지형 모델을 여러 타일(Tile)로 분할하고 사용자 뷰 포트에 따라 알맞은 지형 타일 모델을 쿼드 트리로 렌더링하는 방식이다.
Table 2는 6 방향 직교 광선에 대한 수도 코드를 보여준다. 원본 3D 모델을 기준으로 상,하,좌,우,앞,뒤 6방향의 직교 광선을 사용자 입력 변수 ‘T₁’, ‘T₂’, ‘T₃’에 따라 수행 후 FBO Texture에 저장한다. 6방향을 사용하는 이유는 원본 3D 모델의 구조에 따라 빈 공간이 생기는 것을 방지하기 위해서이다.
이 섹션에서는 제안된 LOD 생성 FrameWork의 검증을 위하여 다양한 실험을 진행하였다. FBO Texture 크기에 대한 실험, 슬라이드 개수에 대한 실험, 정점 크기에 대한 실험, Smooth function에 대한 실험, 렌더링 속도에 대한 실험 그리고 Recall and Precision and F-measure을 이용한 지형 모델의 유사도 검증 실험.
정답 영상과 예측 영상의 픽셀을 1:1 비교하여, 정답 영상과 예측 영상 둘 다 픽셀이 있으면 TP, 예측 영상에만 픽셀이 있을 경우 FP, 정답 영상에만 픽셀이 있으면 FN으로 설정하였다. 마지막으로 정답 영상과 픽셀 영상 둘 다 픽셀이 없을 경우 TN으로 설정하였다.
2에 설명되어 있다. 제안된 LOD 생성 FrameWork는 사용자 뷰 포트와 3D 모델 사이의 거리에 따라 LOD Level을 변경한다. LOD Level이 변경될 시, 부드러운 변경을 위하여 페이드 인/아웃(Fad In/Out)을 사용한다.
LOD Level이 변경될 시, 부드러운 변경을 위하여 페이드 인/아웃(Fad In/Out)을 사용한다. 제안된 LOD 생성 FrameWork에서는 3D 원본 모델의 직교 광선 결과를 각 슬라이드마다 FBO(Frame Buffer Objects) Texture에 저장한다. ‘Point Cloud Generation’ 부분에서는 저장된 FBO Texture를 기반으로 PCD를 생성한다.

대상 데이터

FBO Texture 크기에 대한 실험, 슬라이드 개수에 대한 실험, 정점 크기에 대한 실험, Smooth function에 대한 실험, 렌더링 속도에 대한 실험 그리고 Recall and Precision and F-measure을 이용한 지형 모델의 유사도 검증 실험. 모든 실험에 필요한 프로그램은 C/C++, OPENGL 4.0, OPENCV 3.0으로 개발하였고 실험 환경은 Intel-i5 CPU, 8GB RAM, 2개의 서로 다른 GPU(Nvidia GTX-1080Ti, Nvidia GTX-750)을 사용하였다. 본 논문은 Low-Level GPU에서 효율적인 LOD 생성 FrameWork를 제안하므로 Low-Level GPU인 모바일 디바이스에서도 실험을 진행하였다.
11은 모바일 디바이스(ASUS Nexus 7 Tab, LG Q7)에서 제안된 LOD 생성 FrameWork를 적용한 지형 렌더링 결과이다. 실험에 쓰인 지형 3D모델은 하나당 280,488개의 정점을 가지고 5개의 서로 다른 LOD를 가지게 설정하였다. 총 225개의 지형을 실시간으로 렌더링하였으며 24~30 FPS를 유지하였다.
10은 GTX-1080Ti에서 제안된 LOD 생성 FrameWork를 적용한 대규모 지형 렌더링 결과이다. 실험에 쓰인 지형 3D모델은 하나당 5백만 개의 정점을 가지고 5개의 서로 다른 LOD를 가지게 설정하였다.
총 1,681개의 지형을 실시간으로 렌더링하였으며 40 FPS를 유지하였다. F-Measure 값은 0.
실험에 쓰인 지형 3D모델은 하나당 280,488개의 정점을 가지고 5개의 서로 다른 LOD를 가지게 설정하였다. 총 225개의 지형을 실시간으로 렌더링하였으며 24~30 FPS를 유지하였다. 본 실험을 통하여 제안된 LOD 생성 FrameWork는 모바일 디바이스에서도 효율적으로 쓸 수 있음을 확인할 수 있다.

이론/모형

8(d)와 같이 Median Filter는 Gaussian Filter 보다 구멍을 더 정밀하게 채우는 것을 볼 수 있다. 그러므로, 본 논문에서는 정점과 정점 사이를 채우는데 Median Filter를 사용하였다.
직교 광선 결과는 FBO Texture에 정점 데이터를 저장한다. 본 논문에서는 Axially aligned projection 직교 투영을 사용하였다.
본 논문에서는 제안된 LOD 생성 Framework의 품질을 검증하기 위하여 ‘Recall and Precision’^[3]을 사용하였다. 3D 오브젝트는 바라보는 방향에 따라 형태가 달라지기 때문에 일반적인 1:1 매칭으로 품질을 비교할 수 없다.

성능/효과

944이다. F-Measure의 평균 수치는 0.947로, 제안된 LOD 생성 FrameWork는 평균 94.7 %의 유사도를 가진다.
Table 7은 LOD 적용 후 Nvidia GTX-1080Ti에서 실험한 렌더링 속도 결과이다. 모든 모델의 FPS는 Table 6에 비해 증가하지만 6561개에서는 대부분(Happy Buddha, Dragon, Stanford Lucy, Armadillo) 모델이 28~18 FPS를 유지하는 것을 볼 수 있다. Stanford Bunny는 6561개에서도 120 FPS를 유지한다.
본 논문에서는 6 방향의 직교 광선(6-Direct Orthographic Ray)를 사용하여 원본 객체를 PCD로 재구성한다. 본 논문에서 제안된 LOD 시스템은 PCD를 기반으로 하므로 Low-Level GPU 혹은 모바일 디바이스에서도 사용이 가능하다. 직교 광선의 이미지 크기에 따라 Point data 수를 제어할 수 있다.
이때, 생성된 Mesh의 픽셀에 따라 프래그먼트 셰이더의 연산량이 정해진다. 본 논문에서는 Mesh를 만들지 않기 때문에 버텍스 셰이더에서 생성된 정점의 양과 프래그먼트 셰이더의 픽셀이 양이 동일하여 Mesh 생성에 들어가는 연산 부하를 줄였다. 또한, Median Filter를 통하여 외형을 보존하며 정점 사이를 채웠기 때문에 Low Level GPU에서도 빠른 렌더링 속도와 품질을 제공할 수 있다.
총 225개의 지형을 실시간으로 렌더링하였으며 24~30 FPS를 유지하였다. 본 실험을 통하여 제안된 LOD 생성 FrameWork는 모바일 디바이스에서도 효율적으로 쓸 수 있음을 확인할 수 있다.
또한, 줄어든 정점을 다시 면(Mesh)으로 변환하면 원본 3D모델 대비 왜곡되는 현상을 막기 위하여 중앙값 필터(Median Filter)를 사용하여 정점과 정점 사이의 구멍을 채웠다. 제안된 LOD 생성 FrameWork는 평균 94.7 %의 유사도를 보인다. 본 논문이 대규모 훈련환경에서 지형 및 모델을 표현함에 더욱더 빠른 렌더링 속도 및 원거리 모델의 사실감 표현에 적극적으로 활용되길 기대한다.

후속연구

본 논문에서 제안한 LOD는 멀리 있는 오브젝트를 렌더링하기 위한 것이기 때문에 약간의 뭉개지는 현상은 큰 문제가 되지 않는다. 본 논문에서 제안한 방법을 통하여, 무인차량 시뮬레이터 및 대규모 전투 시뮬레이터 분야에서 적극 사용될 수 있길 희망한다.
7 %의 유사도를 보인다. 본 논문이 대규모 훈련환경에서 지형 및 모델을 표현함에 더욱더 빠른 렌더링 속도 및 원거리 모델의 사실감 표현에 적극적으로 활용되길 기대한다.

참고문헌 (28)

Schneider et al., "GPU-Friendly High-Quality Terrain Rendering," 2006.
WEN, et al., Real-Time Rendering of Large Terrain on Mobile Device, The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, p. 37, 2008.
Zhou et al., A Hybrid Level-of-Detail Representation for Large-Scale Urban Scenes Rendering, Computer Animation and Virtual Worlds, 25(3-4), pp. 243-253, 2014.

상세보기
Zienkiewicz et al., Monocular, Real-Time Surface Reconstruction using Dynamic Level of Detail, In 2016 Fourth International Conference on 3D Vision (3DV), IEEE, pp. 37-46, 2016.
Burt and Adelson, The Laplacian PYRAMID as a Compact Image Code, IEEE Transactions on Communications, 31(4), pp. 532-540, 1983.

상세보기
Ghiasi and Fowlkes, Laplacian Pyramid Reconstruction and Refinement for Semantic Segmentation, In European Conference on Computer Vision, pp. 519-534, 2016.
He et al. A System for Rapid, Automatic Shader Level-of-Detail, ACM Transactions on Graphics (TOG), 34(6), p. 187, 2015.
Shreiner et al., OpenGL Programming Guide: The Official Guide to Learning OpenGL, Versions 3.0 and 3.1. Pearson Education, 2009.
Rost et al., OpenGL Shading Language, Pearson Education, 2009.
Sanz-Pastor et al., Volumetric Three-Dimensional Fog Rendering Technique, U.S. Patent 6,268,861, 2001.
Decaudin and Neyret, Volumetric Billboards, In Computer Graphics Forum, Oxford, UK: Blackwell Publishing Ltd., Vol. 28, No. 8, pp. 2079-2089, December 2009.
Mantler et al., Displacement Mapped Billboard Clouds, In Proceedings of Symposium on Interactive 3D Graphics and Games, Citeseer, January 2007.
Vichitvejpaisal and Kanongchaiyos, Enhanced Billboards for Model Simplification, 2006.
Lorensen et al., Marching Cubes: A High Resolution 3D Surface Construction Algorithm, In ACM Siggraph Computer Graphics, ACM, Vol. 21, No. 4, pp. 163-169, August 1987.

상세보기
Jablonski, S. and Martyn, Real-Time Voxel Rendering Algorithm based on Screen Space Billboard Voxel Buffer with Sparse Lookup Textures, 2016.
Baert et al., Out-of-Core Construction of Sparse Voxel Octrees, In Proceedings of the 5th High-Performance Graphics Conference, ACM, pp. 27-32, July 2013.
Laine and Karras, Efficient Sparse Voxel Octrees, IEEE Transactions on Visualization and Computer Graphics, 17(8), pp. 1048-1059, 2011.

상세보기
Ginsburg et al., OpenGL ES 3.0 Programming Guide, Addison-Wesley Professional, 2014.
Brothaler, OpenGL ES 2 for Android: A Quick-Start Guide, Pragmatic Bookshelf, 2013.
Linsen, Point Cloud Representation, Technical Report, Faculty of Computer Science, University of Karlsruhe: Univ., Fak. fur Informatik, Bibliothek, 2001.
Zhao and Zhu, Image Parsing with Stochastic Scene Grammar, In Advances in Neural Information Processing Systems, pp. 73-81, 2011.
Zheng et al., Beyond Point Clouds: Scene Understanding by Reasoning Geometry and Physics, In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 3127-3134, 2013.
Yan et al., 3D Point Cloud Map Construction based on Line Segments with Two Mutually Perpendicular Laser Sensors, In 2013 13th International Conference on Control, Automation and Systems(ICCAS 2013), IEEE, pp. 1114-1116, October 2013.
Eckart et al., Accelerated Generative Models for 3D Point Cloud Data, In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 5497-5505, 2016.
Belton et al., Processing Tree Point Clouds using Gaussian Mixture Models, Proceedings of the ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Antalya, Turkey, pp. 11-13, 2013.
Arce and Gonzalo, Nonlinear Signal Processing: A Statistical Approach, John Wiley & Sons, 2005.
Camplani and Salgado, Efficient Spatio-Temporal Hole Filling Strategy for Kinect Depth Maps, In Three-Dimensional Image Processing(3DIP) and Applications Ii(Vol. 8290, p. 82900E), International Society for Optics and Photonics, January 2012.
Touma et al., 3D Mouse and Game Controller based on Spherical Coordinates System and System for use, U.S. Patent 7,683,883, 2010.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증