[논문]사진측량과 컴퓨터 그래픽의 결합을 통한 실제 물체의 사실적인 3D 에셋 재건

안용

doi:10.5392/jkca.2021.21.01.147

사진측량과 컴퓨터 그래픽의 결합을 통한 실제 물체의 사실적인 3D 에셋 재건
Reconstruction Of Photo-Realistic 3D Assets For Actual Objects Combining Photogrammetry And Computer Graphics 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.21 no.1, 2021년, pp.147 - 161

안용 (중앙대학교 첨단영상대학원)

초록
AI-Helper

기존 연구는 대부분 사진측량(Photogrammetry)기술을 이용해 물체의 투박한 3D메시와 컬러 맵을 획득하였을 뿐, 실제로 사용 가능한 사실적인 3D 에셋을 제작하는 방법은 제시하지 못했다. 본 연구의 목적은 새로운 방법을 제시하여 가시화 애플리케이션 분야에 사용 가능한 사실적인 3D 에셋(Asset)을 구축 가능하게 하는 데 있다. 여기에서 언급한 새로운 방법이란 사진 측량과 컴퓨터 그래픽(Computer Graphics)의 모델링 과정을 결합하는 것이다. 현실 세계의 세 물체 '탄알상자', '총', '금속 음료수병'을 가상 세계에서 사실적인 3D에셋으로 제작하는 과정을 통해 오브젝트 촬영, 화이트 밸런스, 재건, 정리 재건, 리토폴로지, UV 언래핑, 프로젝션 및 텍스처 베이킹, 디라이팅, 재질 맵 제작 등 절차의 정의, 역할, 조작방법과 사용된 소프트웨어 패키지(Software Package)를 상세히 소개하였다. 제작 방법의 유연성을 높이기 위해 각 단계별로 소개된 소프트웨어 패키지외의 대안도 제시하였다. 본 연구는 형태와 색상이 정확하고, 텍스처가 동적광원(Dynamic Lighting)과 물리적 인터랙션이 가능하며, 렌더링이 용이한 3D 에셋을 획득함으로써 새로운 방법을 통해 더 빠른 속도로 더 실감나는 시각효과를 실현할 수 있다는 것을 보여주고 있다. 대규모 팀, 값비싼 설비와 소프트웨어 패키지가 필요 없기 때문에 소형스튜디오에서 독립적 아티스트의 창작과 교육으로 구성된 수업에 적용하기 적합하다.

Abstract ▼ AI-Helper

Through photogrammetry techniques, what current researches can achieve at present is rough 3D mesh and color map of objects, rather than usable photo-realistic 3D assets. This research aims to propose a new method to create photo-realistic 3D assets that can be used in the field of visualization applications. The new method combines photogrammetry with computer graphics modeling. Through the description of the production process of three objects in the real world - "Bullet Box", "Gun" and "Metal Beverage Bottle," it introduces in details the concept, functions, operating skills and software packages used in the steps including the photograph object, white balance, reconstruction, cleanup reconstruction, retopology, UV unwrapping, projection, texture baking, De-Lighting and Create Material Maps. In order to increase the flexibility of the method, alternatives to the software packages are also recommended for each step. In this research, 3D assets are produced that are accurate in shape, correct in color, easy to render and can be physically interacted with dynamic lighting in texture. The new method can obtain more realistic visual effects at a faster speed. It does not require large-scale teams, expensive equipment and software packages, therefore it is suitable for small studios and independent artists and educational institutions.

주제어

표/그림 (15)

그림 그림 1. 제작된 사실적인 3D 에셋 (A)참고이미지, (B)Maya 최종 렌더링 결과
그림 그림 2. 완전한 공정흐름도
그림 그림 3. 각 카메라가 오브젝트 중심으로 회전하며 촬영
그림 그림 4. 'Datacolor Spyder Checkr 24' 컬러 체커
그림 그림 5. 재건된 메시와 텍스처에 나타나는 문제
그림 그림 6. (a)비구조적 고해상도 메시, (b)구조화된 저해상도 메시
그림 그림 7. 정육면체 UV 언래핑
그림 그림 8. UV 텍스처 공간 완전한 컬러 맵
그림 그림 9. 저,고해상도 메시의 위치, 방향과 비율이 서로 매칭
그림 그림 10. (A)라이팅 정보가 있는 컬러 맵, (B)디라이팅한 컬러 맵
그림 그림 11. Maya V-Ray 렌더링에 사용되는 맵
그림 그림 12. 제작된 사실적인 총(A)참고도,(B)렌더링 결과
그림 그림 13. Maya 최종 렌더링된 캔
그림 그림 14. 기존 연구의 결과
그림 그림 15. 기존 공정(BF4)과 사진측량법을 이용한 공정(SW:BF)의 게임 에셋 생성 시간 차이

AI 본문요약
AI-Helper

문제 정의

기존 연구에 비해 본 연구는 실제 오브젝트를 3D 가시화 애플리케이션에 사용 가능한 사실적인 에셋으로 구축하는 과정을 기존 연구에 비해 더욱 보완적인 방법으로 제시하고자 한다. 새로운 방법은 사진측량과 컴퓨터 그래픽 작업공정이 포함하는 모델링(Modeling)의 전처리와 후처리 기술(Pre-and Post-Processing Techniques)을 결합함으로써 지오메트리 메시가 생성되는 과정에서 발생하는 노이즈, 구조결함 및 텍스처맵핑 과정에서 나타나는 색상편차, 연관성 결여의 문제를 해결하는 것이다.
본문은 실제 세계의 오브젝트를 근거로 사진측량과 컴퓨터 그래픽 작업공정을 결합하여 3D 가시화 애플리케이션에 사용할 수 있는 사실적인 에셋을 생성하는 새로운 방법을 제시하였다. 또한 연구결과를 보여주고, 결과를 얻는데 사용한 사진측량, 화이트 밸런스, 컴퓨터그래픽 모델링 처리, 디라이팅, PBR재질 구축 등 기술및 관련 소프트웨어 패키지를 상세히 설명하였다.

제안 방법

본 연구가 제시한 방법은 사진측량과 컴퓨터 그래픽 작업공정을 결합함으로써 사실적인 3D 에셋을 구축하는 것이다. [그림 1]과 [그림 12]는 본고가 제시한 방법을 사용해 미래지향적 디자인 요소들이 보여지는 ‘탄알상자’와 ‘총’의 에셋들을 보여준다.
기존 연구에 비해 본 연구는 실제 오브젝트를 3D 가시화 애플리케이션에 사용 가능한 사실적인 에셋으로 구축하는 과정을 기존 연구에 비해 더욱 보완적인 방법으로 제시하고자 한다. 새로운 방법은 사진측량과 컴퓨터 그래픽 작업공정이 포함하는 모델링(Modeling)의 전처리와 후처리 기술(Pre-and Post-Processing Techniques)을 결합함으로써 지오메트리 메시가 생성되는 과정에서 발생하는 노이즈, 구조결함 및 텍스처맵핑 과정에서 나타나는 색상편차, 연관성 결여의 문제를 해결하는 것이다. 이로써 지오메트리 메시와 텍스처맵핑을 정확하게 재건하여, 최종적으로 고충실도의 3D 에셋을 제작한다.
새로운 방법은 사진측량과 컴퓨터 그래픽 작업공정이 포함하는 모델링(Modeling)의 전처리와 후처리 기술(Pre-and Post-Processing Techniques)을 결합함으로써 지오메트리 메시가 생성되는 과정에서 발생하는 노이즈, 구조결함 및 텍스처맵핑 과정에서 나타나는 색상편차, 연관성 결여의 문제를 해결하는 것이다. 이로써 지오메트리 메시와 텍스처맵핑을 정확하게 재건하여, 최종적으로 고충실도의 3D 에셋을 제작한다. [그림 1]은 본 연구가 제시한 방법을 이용해 구축한 3D 에셋으로, 어느 것이 실제 물체이고, 어느 것이 CG 모델링인지 거의 구분하기 어렵다.
통상적으로 촬영자는 한 오브젝트를 중심으로 위에서 아래를 향하는 각도, 수평한 각도, 아래에서 위를 향하는 각도 등 세 각도에서 사진을 촬영하며, 카메라를 15도 회전할 때마다 1회 촬영한다[그림 3]. 각 각도에서 오브젝트를 촬영해야 하는데, 이는 재건 소프트웨어 패키지로 포인트 클라우드(Point Cloud)를 생성하기 위해 비슷한 픽셀을 지닌 포토 세트가 필요하기 때문이다.

성능/효과

그밖에도 새로운 방법의 장점과 보급전망을 논하였다. 고해상도 디지털 스컬프트를 통해 에셋을 구축하는 방법에 비해 새로운 방법은 더 자연스럽고 사실적인 3D 에셋을 구축하며, 제작 기간을 단축할 수 있다. 새로운 방법은 유연성이 높아 기존의 어떠한 혼합 소프트웨어 공정에서도 실현이 가능하다.
본 연구가 제시한 새로운 방법에 따라 기타 오브젝트의 구축으로까지 수월하게 확장할 수 있지만, 수중이나 고지대에 있는 오브젝트에 대해서는 수중 원격 항법기구(Remotely Operated Vehicles)나 공중 드론 (Aerial Drones)이 촬영한 고화질 영상의 스테틱 프레임 사진을 사용하여 사진측량의 모델링을 제작할 필요가 있다. 그밖에 사진측량보다 더 정확한 지오메트리데이터(Geometric Data)를 얻는 방법을 사용할 수 있다. 예를 들어 레이저 스캐닝(Laser Scanning), 레이저레이더(LIDAR), 멀티빔 소나(Multibeam Sonar)는 기본적인 포인트 데이터(Underlying Point Data)로서 메시를 구축할 수 있다.
본문은 실제 세계의 오브젝트를 근거로 사진측량과 컴퓨터 그래픽 작업공정을 결합하여 3D 가시화 애플리케이션에 사용할 수 있는 사실적인 에셋을 생성하는 새로운 방법을 제시하였다. 또한 연구결과를 보여주고, 결과를 얻는데 사용한 사진측량, 화이트 밸런스, 컴퓨터그래픽 모델링 처리, 디라이팅, PBR재질 구축 등 기술및 관련 소프트웨어 패키지를 상세히 설명하였다. 특히 화이트 밸런스와 디라이팅의 단계는 대단히 중요하지만, 아티스트나 연구자는 이들과 이를 공정에 포함하는것을 인식하지 못하기 때문에, 정확한 컬러와 동적 조명효과를 얻지 못한다.
고해상도 디지털 스컬프트를 통해 에셋을 구축하는 방법에 비해 새로운 방법은 더 자연스럽고 사실적인 3D 에셋을 구축하며, 제작 기간을 단축할 수 있다. 새로운 방법은 유연성이 높아 기존의 어떠한 혼합 소프트웨어 공정에서도 실현이 가능하다. 대규모 팁이나 값비싼 설비와 소프트웨어 패키지를 필요로 하지도 않는다.

후속연구

예를 들어 레이저 스캐닝(Laser Scanning), 레이저레이더(LIDAR), 멀티빔 소나(Multibeam Sonar)는 기본적인 포인트 데이터(Underlying Point Data)로서 메시를 구축할 수 있다. 그런 다음, 사진측량으로 생성된 사진 텍스처를 위에서 상술한 방법을 통해 획득한 지오메트리 데이터에 응용하여, 더욱 사실적인 3D 에셋을 획득한다. 앞으로 본 연구의 방법을 확장하여, 이들 툴 혹은 기술을 이용함으로써 3D 에셋을 구축하는일은 매우 의미 있는 연구과제가 될 것이다.
대규모 팁이나 값비싼 설비와 소프트웨어 패키지를 필요로 하지도 않는다. 따라서 소형 스튜디오, 독립 아티스트의 창작과 교육기관의 수업에 훌륭하게 응용될 수 있다.
전자게임, 가상현실, 문화유산보호 등 각 분야의 실감나는 CG 시각효과 요구를 충족하기 위해서는, 현실세계의 오브젝트를 모델링하는 작업이 반드시 필요하다. 본 연구가 제시한 방법은 최종적으로 실감나는 시각효과를 갖춘 3D 콘텐츠를 제작하는 데 기술적인 도움을 제공할 것이다. 그밖에 다른 연구자가 본 공정을 사용할 경우 유연성을 최대화할 수 있도록, 공정의 각 단계에 사용하는 전문 소프트웨어 패키지에는 다양한 예비방안을 도입하였다.
본 연구가 제시한 새로운 방법에 따라 기타 오브젝트의 구축으로까지 수월하게 확장할 수 있지만, 수중이나 고지대에 있는 오브젝트에 대해서는 수중 원격 항법기구(Remotely Operated Vehicles)나 공중 드론 (Aerial Drones)이 촬영한 고화질 영상의 스테틱 프레임 사진을 사용하여 사진측량의 모델링을 제작할 필요가 있다. 그밖에 사진측량보다 더 정확한 지오메트리데이터(Geometric Data)를 얻는 방법을 사용할 수 있다.
그런 다음, 사진측량으로 생성된 사진 텍스처를 위에서 상술한 방법을 통해 획득한 지오메트리 데이터에 응용하여, 더욱 사실적인 3D 에셋을 획득한다. 앞으로 본 연구의 방법을 확장하여, 이들 툴 혹은 기술을 이용함으로써 3D 에셋을 구축하는일은 매우 의미 있는 연구과제가 될 것이다.

참고문헌 (26)

Stephen Se and Piotr Jasiobedzki, "Photo-Realistic 3D Model Reconstruction," Proceedings 2006 IEEE International Conference on Robotics and Automation, pp.3076-3082, 2006.
Dirk Hahnel, Wolfram Burgard, and Sebastian Thrun, "Learning Compact 3D Models of Indoor and Outdoor Environments with a Mobile Robot," Robotics and Autonomous Systems, Vol.44, No.1, pp.15-27, 2003.

상세보기
Diego Ortin and Fabio Remondino, "Occlusion-Free Image Generation for Realistic Texture Mapping," International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol.XXXVI(5/W17), 2005.
박재민, "포토그래메트리 기술을 이용한 정원 3D 모델링 구현," 청주대학교산업과학연구소, 제37권, 제2호, pp.1-9, 2020.
이준상, 이임건, "드론 촬영 기반 사진 스캐닝 기술을 활용한 3D 모델링데이터 생성방법에 관한 연구," 한국정보통신학회, 제22권, 제6호, pp.874-880, 2018.

원문보기 상세보기
전지혜, 임현규, 김찬우, "객체관찰 시점을 위한 사진 측량 기술 기반의 동적 3D 모델링 연구," 한국통신학회, 제36권, 제12호, pp.38-44, 2019.
Joel Ryan, "Photogrammetry for 3D Content Development in Serious Games and Simulations," MODSIM: San Francisco, CA, USA, No.13, pp.1-9, 2019.
Brian L. Murph and Robert D. Morrison, Introduction to Environmental Forensics, Academic Press, 2014.
Ami Chopine, 3D Art Essentials: The Fundamentals of 3D Modeling, Texturing, and Animation, Focal Press, 2011.
James S. Aber, Irene Marzolff, and Johannes Ries, Small-Format Aerial Photography: Principles, Techniques and Geoscience Applications, Elsevier Science, 2010.
Statham Nataska, "Use of Photogrammetry in Video Games:A Historical Overview," Games and Culture, Vol.15, No.3, pp.289-307, 2020.

상세보기
Roger Grosse, M. K. Johnson, Edward H. Adelson, and William T. Freeman, "Ground Truth Dataset and Baseline Evaluations for Intrinsic Image Algorithms," 2009 IEEE 12th International Conference on Computer Vision, pp.2335-2342, 2009.
P. Jasmine Katatikarn and Michael Tanzillo, Lighting for Animation A The Art of Visual Storytelling, Focal Press, 2016.
Eugene Hsu, Tom Mertens, Sylvain Paris, Shai Avidan, and Fredo Durand, "Light Mixture Estimation for Spatially Varying White Balance," ACM SIGGRAPH 2008 Papers, No.70, pp.1-7, 2008.
A Digital Workflow for Raw Processing Part Three: White Balance, https://www.adobe.com/digitalimag/pdfs/ps_workflow_sec3.pdf, 2020.8.4.
Martin Evening, Adobe Photoshop CC for Photographers, Focal Press, 2013.
Unity Photogrammetry Workflow, https://unity3d.com/files/solutions/photogrammetry/Unity-Photogrammetry-Workflow_2017-07_v2.pdf, 020.7.20.
Shaun Foster, David Halbstein, Integrating 3D Modeling, Photogrammetry and Design, Springer-Verlag London, 2014.
Yamafune Kotaro, Using Computer Vision Photogrammetry (Agisoft PhotoScan) to Record and Analyze Underwater Shipwreck Sites, PhD Thesis, Texas A&M University, 2016.
Timothy J. Orr, Jennica L. Bellanca, Jason Navoyski, Brendan Macdonald, William Helfrich, and Brendan Demich, "Development of Visual Elements for Accurate Simulation," International Conference on Applied Human Factors and Ergonomics, pp.287-299, 2019.
Geert J. Verhoeven, "Computer Graphics Meets Image Fusion : The Power of Texture Baking to Simultaneously Visualise 3D Surface Features and Colour," ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol.IV-2/W2, pp.295-302, 2017.

상세보기
Eric Patterson, Jessica Baron, and Devin Simpson, "Landmark-Based Re-topology of Stereo-Pair Acquired Face Meshes," ICCVG 2018, LNCS, Vol.11114, pp.425-437, 2018.
Christopher Dostal and Kotaro Yamafune, "Photogrammetric Texture Mapping: A Method for Increasing the Fidelity of 3D Models of Cultural Heritage Materials," Journal of Archaeological Science: Reports, Vol.18, pp.430-436, 2018.

상세보기
Elena Ippoliti and Michele Calvano, "Enhancing the Cultural Heritage Between Visual Technologies and Virtual Restoration: Case Studies to Models for Visual Communication," Digital Curation: Breakthroughs in Research and Practice, pp.309-348, 2019.
De-Lighting in Unity, https://github.com/Unity-Technologies/DeLightingTool/blob/master/Assets/DeLightingTool/Documentation/De-LightingTool.pdf, 2020.8.1.
Matt Pharr, Wenzel Jakob, and Greg Humphreys, Physically Based Rendering, From Theory to Implementation, Morgan Kaufmann, 2016.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증