[논문]3D 볼류메트릭 모델의 동적 복원 알고리즘

박병서; 김동욱; 서영호

doi:10.5909/jbe.2022.27.2.207

3D 볼류메트릭 모델의 동적 복원 알고리즘
Dynamic Reconstruction Algorithm of 3D Volumetric Models 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.27 no.2, 2022년, pp.207 - 215

박병서 (광운대학교 전자재료공학과) , 김동욱 (광운대학교 전자재료공학과) , 서영호 (광운대학교 전자재료공학과)

초록
AI-Helper

최신 볼류메트릭 기술이 제공하는 높은 기하학적 정확도와 사실성은 실제 객체와 캡춰된 3D 모델 간 높은 일치도를 보장한다. 그럼에도 불구하고 이렇게 획득된 3D 모델은 프레임 간 완전히 독립적인 3D모델로 시퀀스를 구성하고 있다는 측면에서, 매 프레임 모델 표면 구조(Geometry)의 일관성이 보장 되지 않으며, 정점(Vertex)의 밀도가 매우 높고 정점 간 연결 노드(Edge)가 매우 복잡해지는 특징을 확인 할 수 있다. 이 기술을 통해 생성된 3D 모델은 영화나 비디오 게임 제작 파이프라인에서 제작된 모델과는 본질적으로 다르며, 실시간 렌더링, 애니메이션 및 시뮬레이션, 압축과 같은 응용 분야에서 직접 사용하기에 적합하지 않다. 이와는 대조적으로 우리의 방법은 프레임 간 3D 모델 표면 구조의 높은 일관성을 확보하는 리메싱(Remeshing)과 비강체 표면(Non-rigid Shape)의 대응(Correspondences) 및 매칭(Matching)을 통한 점진적 변형(Deformation) 과정 및 텍스쳐 전달(Texture Transfer) 과정을 연결함으로서 볼류메트릭 3D 모델 시퀀스 품질의 일관성을 유지하며, 후 처리 과정의 자동화를 제공한다.

Abstract ▼ AI-Helper

The latest volumetric technology's high geometrical accuracy and realism ensure a high degree of correspondence between the real object and the captured 3D model. Nevertheless, since the 3D model obtained in this way constitutes a sequence as a completely independent 3D model between frames, the consistency of the model surface structure (geometry) is not guaranteed for every frame, and the density of vertices is very high. It can be seen that the interconnection node (Edge) becomes very complicated. 3D models created using this technology are inherently different from models created in movie or video game production pipelines and are not suitable for direct use in applications such as real-time rendering, animation and simulation, and compression. In contrast, our method achieves consistency in the quality of the volumetric 3D model sequence by linking re-meshing, which ensures high consistency of the 3D model surface structure between frames and the gradual deformation and texture transfer through correspondence and matching of non-rigid surfaces. And It maintains the consistency of volumetric 3D model sequence quality and provides post-processing automation.

주제어

표/그림 (11)

그림 그림 2. 리메싱 알고리즘 적용 예 Fig. 2. Example of application of remeshing algorithm
그림 그림 1. 3D 볼류메트릭 모델의 동적 복원 알고리즘 Fig. 1. Dynamic Reconstruction Algorithm of 3D Volumetric Models
그림 그림 3. 대응점 검색 및 키프레임 변형 절차 Fig. 3. Correspondence point search and keyframe deformation procedure
그림 그림 4. 데이터셋 1의 키 프레임(15프레임)과 중간프레임(30프레임) 리메싱 적용 후 메시 구조 (a)적용 전, (b)적용 후 Fig. 4. After applying remeshing to the key frame (15 frames) and intermediate frames (30 frames) of dataset 1, the mesh structure (a) before and (b) after application
그림 그림 5. 데이터셋 2의 키 프레임(1프레임)과 중간프레임(15프레임)의 초기 대응 구조 (a)키 프레임(1프레임), (b)중간프레임(15프레임) Fig. 5. Initial correspondence structure of key frame (1 frame) and intermediate frame (15 frames) of dataset 2 (a) key frame (1 frame), (b) intermediate frame (15 frames)
그림 그림 6. 데이터셋 2의 키 프레임과 중간 프레임의 대응점 계산을 통한 변형 전 후 (a)적용 전, (b)적용 후 Fig. 6. Before and after (a) before and after (b) after deformation through the calculation of the correspondence point between the key frame and the middle frame of Dataset 2
그림 그림 7. 데이터셋 2의 키 프레임과 중간 프레임의 대응점 계산을 통한 변형 적용 결과 (a)표면 구조, (b)에러맵 Fig. 7. Deformation application result by calculating the corresponding point between the key frame and the middle frame of Dataset 2 (a) Surface structure, (b) Error map
그림 그림 8. TOSCA - Cat 키 프레임 변형 적용 결과 (a)Cat 키 프레임 데이터 (b)동작 1, (c)동작 2, (d)키 프레임을 동작1에 맞추어 변형한 결과 영상, (e)키 프레임을 동작2에 맞추어 변형한 결과 영상 Fig. 8. Result of applying Tosca - Cat key frame Deformation (a) key frame data (b) Pose 1, (c) Pose 2, (d) Deformation result according to Pose 1, (d) Deformation result according to pose 2
그림 그림 9. TOSCA - Cat 키 프레임 변형 적용 결과 히스토그램 (a)동작1 에러 히스토그램, (b)동작2 에러 히스토그램 Fig. 9. Deformation application result by calculating the corresponding point between the key frame and the middle frame of Dataset 2 (a) Surface structure, (b) Error map
그림 그림 10. 데이터셋 2의 중간 프레임 원본과 리메싱 후 변형 된 메시 비교 (a)중간 프레임 텍스쳐 원본 (b)중간 프레임 메시 원본 (c)텍스쳐 전송 결과 (d)변형된 키 프레임 메시 구조 Fig. 10. Comparison of original intermediate frame from dataset 2 and deformed mesh after remeshing (a) original intermediate frame texture (b) original intermediate frame mesh (c) texture transfer result (d) deformed keyframe mesh
표 표 1. CloudCompare를 사용한 TOSCA Cat의 정확도 수치 비교 Table 1. Numerical comparison for accuracy of the TOSCA Cat by using the CloudCompare

참고문헌 (21)

R. Newcombe et al., "KinectFusion: Real-Time Dense Surface Mapping and Tracking," in IEEE International Symposium on Mixed and Augmented Reality(ISMAR), pp.127-136. 2014. doi: https://doi.org/10.1109/ISMAR.2011.6092378.
K. Guo, F. Xu, T. Yu, X. Liu, Q. Dai and Y. Liu, "Real-Time Geometry, Albedo, and Motion Reconstrution using a Single RGB-D Camera," in ACM Trans. on Graphics(ToG), Vol.36, No.4, Article 44a (August 2017). doi: https://doi.org/10.1145/3072959.3083722

상세보기
R. Newcombe et al., "DynamicFusion: Reconstruction and tracking of non-rigid scenes in real-time," in IEEE Computer Vision and Pattern Recognition (CVPR), pp.343-352, 2015. doi: https://doi.org/10.1109/cvpr.2015.7298631
P. Alliez et al., "Recent advances in remeshing of surfaces," in Springer ,Berlin, Heidelberg, pp. 53-82, 2008. doi: https://doi.org/10.1007/978-3- 540-33265-7_2
P. Alliez et al., "Isotropic surface remeshing," in Proc. Shape Model. Int., pp. 49-58, 2003. doi: https://doi.org/10.1109/SMI.2003.1199601.
J. Shewchuk, "What is a good linear element? interpolation, onditioning, and quality measures," in Proc. 11th Int. Meshing Roundtable, pp. 115-126, 2002. http://citeseerx.ist.psu.edu/viewdoc/summary?doi10.1.1.19.2164
Y. Wang et al., "Isotropic Surface Remeshing without Large and Small Angles," in IEEE Transactions on Visualization and Computer Graphics, vol. 25, no. 7, pp. 2430-2442. doi: https://doi.org/10.1109/ TVCG.2018.2837115.

상세보기
S. Melzi et al.,"Intrinsic/extrinsic embedding for functional remeshing of 3D shapes", Computers & Graphics, Vol 88, pp. 1-12, 2020. doi: https://doi.org/10.1016/j.cag.2020.02.002.

상세보기
Y. Sahillioglu and Y. Yemez. "Coarse-to-fine combinatorial matching for dense isometric shape correspondence", Computer Graphics Forum. Vol. 30, No. 5, pp. 1461-1470, 2011. doi: https://doi.org/10.1111/ j.1467-8659.2011.02020.x

상세보기
Y. Lipman and T. Funkhouser. "Mobius voting for surface correspondence." ACM Trans. Graph. Vol. 28, No.3, 2009. doi: https:// doi.org/10.1145/1531326.1531378.

상세보기
M. Ovsjanikov, M. Ben-Chen, J. Solomon, A. Butscher, and L. Guibas. "Functional maps: A flexible representation of maps between shapes." ACM Transactions on Graphics, Vol.31, No.4, pp. 1-11, 2012. doi: https://doi.org/10.1145/2185520.2185526

상세보기
R. Kimmel and J. Sethian, "Minimal discrete curves and surfaces," in Proc. Nat. Academy Sci, vol. 95, pp. 8431-8435, 1998. doi: https://dl.acm.org/doi/10.5555/1086970
X. Ying, X. Wang, and Y. He, "Saddle vertex graph (SVG): A novel solution to the discrete geodesic problem," ACM Trans. Graph., Vol. 32, No. 6, pp. 170:1-170:12, 2013. doi: https://doi.org/10.1145/2508363.2508379

상세보기
K. Crane, F. de Goes, M. Desbrun, and P. Schroder, "Digital geometry processing with discrete exterior calculus," in Proc. ACM SIGGRAPH 2013 Courses, pp. 7:1-7:126, 2013. doi: https://doi.org/10.1145/2504435. 2504442.
Sahillioglu, Yusuf. "A genetic isometric shape correspondence algorithm with adaptive sampling." ACM Transactions on Graphics (TOG), Vol. 37. No.5, pp. 1-14, 2018. doi: https://doi.org/10.1145/ 3243593

상세보기
Sumner, Robert W., and Jovan Popovic. "Deformation transfer for triangle meshes." ACM Transactions on graphics (TOG), Vol. 23, No.3, pp.399-405. 2004. doi: https://doi.org/10.1145/1015706.1015736

상세보기
http://www.cloudcompare.org/, Dec. 2016.
http://tosca.cs.technion.ac.il/book/resources_data.html, November. 2010.
X. Ge, "Non-rigid registration of 3D point clouds under isometric deformation", ISPRS Journal of Photogrammetry and Remote Sensing, vol. 121, pp. 192-202, 2016. doi: https://doi.org/10.1016/j.isprsjprs.2016. 09.009

상세보기
M. Marinov, L. Kobbelt, "Optimization methods for scattered data approximation with subdivision surfaces", Graphical Models, vol. 67, pp. 452-473, 2015. doi: https://doi.org/10.1016/j.gmod.2005.01.003

상세보기
V. Estellers, F. Schmidt and D. Cremers, "Robust Fitting of Subdivision Surfaces for Smooth Shape Analysis," 2018 International Conference on 3D Vision (3DV), 2018, pp. 277-285. doi: 10.1109/3DV.2018.00040

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증