[논문]동작인식기반의 3D 암각화 VR 콘텐츠 구현

정영기

doi:10.13067/jkiecs.2014.9.1.25

[국내논문] 동작인식기반의 3D 암각화 VR 콘텐츠 구현
Development of 3D Petroglyph VR Contents based on Gesture Recognition 원문보기

한국전자통신학회 논문지 = The Journal of the Korea Institute of Electronic Communication Sciences, v.9 no.1, 2014년, pp.25 - 32

초록
AI-Helper

암각화는 문자가 있기전에 선사시대의 공동체를 이해하는데 핵심적인 역할을 하기 때문에 전 세계적으로 매우 중요한 문화유산이다. 요즘 3D 데이터는 미래세대에게 물려줄 수 있는 중요한 문화유산의 모양을 영구 기록하는데 필수적인 요소이다. 최근의 3D스캐닝 기술은 매우 사실적인 3D 모델생성이 가능하기 때문에 체험자를 3D세계로 끌어드릴수 있는 가상현실 박물관 전시에 활용될 수 있다. 본 연구에서는 새로운 동작인식 방법에 기반한 3D암각화 VR(Virtual Reality) 콘텐츠를 구현하였다. 제안된 동작인식방법은 3차원 깊이센서를 이용하여 얻어진 체험자의 움직임을 정의된 동작과 비교함으로써 동작을 인식한다. 또한 정밀하고 비파괴적인 수단으로서 3D스캐닝 기술을 이용하여 3D 암각화 데이터를 기록하기 위한 새로운 접근방법을 제안한다.

Abstract ▼ AI-Helper

Petroglyphs is an essential part of the worldwide cultural heritage since it plays a key role for the comprehension of prehistoric communities previous to writing. nowadays 3D data are a critical component to permanently record the form of important cultural heritage so that they might be passed down to future generations. Recent 3D scanning technologies allow the generation of very realistic 3D model that can be used for multimedia museum exhibitions to attract the users into the 3D world. In this paper, we develop the 3D petroglyph VR contents based on a novel gesture recognition method. The proposed gesture recognition method can recognizes the movements of the user using 3D depth sensor by comparing with the pre-defined movements. Also this paper presents new approaches for 3D petroglyphs data recording using 3D scanning technology as accurate and non-destructive tools.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

3D 암각화 데이터 생성모듈의 목적은 정밀하고 안정된 형상을 채록하기 위한 실감데이터를 확보하는데 있다. 이 데이터는 채록 대상 유물에 대해 현실적으로 재현이 가능한 수준이어야 한다.
암각화는 제작 당시의 사람들의 생각을 기록한 기록문화이고 사람들이 향유한 역사, 종교, 문화, 사상 등 모든 문화적 양상을 내포하고 있다. 그런 점에서 암각화는 문자가 없던 과거의 역사를 재구성할 수 있는 근원적 자료를 제시한다.
본 연구에서는 3차원 깊이센서를 이용하여 체험자의 동작을 입력받아 동작인식 방법에 기반한 3D암각화 체험형 전시콘텐츠 제작기법을 제안하였다. 특히 실감 3D 암각화 데이터를 취득하기 위해 정밀하고 비파괴적인 수단으로서 새로운 3D 스캐닝기법을 활용하였다.
기존의 3D 깊이센서 기반 인식방법은 주로 신체의 한부분을 중심으로 이동 및 선택 등의 간단한 인식방법이 제안되었다[8]. 본 연구에서는 그림 1과 같이 양손을 활용하여 대상물체의 확대/축소, 회전등의 보다 다양한 양손동작인식방법을 제안하고자 한다.

제안 방법

동작 인식은 그림 12와 같이 동작을 입력받아 결과를 출력하는 동작인식모듈을 설계하였다. 동작인식알고리즘은 입력값으로써 키넥트의 깊이영상, 컬러영상, 골격인식영상이 주어지고 인식상태, 마우스 위치, 손의 이동값을 출력 값으로 얻도록 하였다.
특히 실감 3D 암각화 데이터를 취득하기 위해 정밀하고 비파괴적인 수단으로서 새로운 3D 스캐닝기법을 활용하였다. 또한 암각화의 음각된 모양을 3D를 이용하여 효과적으로 볼 수 있게 3차원 인터렉티브 기술을 이용하여 관람객들이 쉽게 사용할 수 있는 VR 콘텐츠를 제작하였다.
본 연구에서는 3차원 스캐닝 작업을 통해 얻어진 3D 데이터를 사진 데이터와 합성하여 실감 원천소스를 생성하고 이를 활용하여 3D 암각화 데이터를 제작한 다음 3차원 인터렉티브 기술을 이용하여 관람객들이 쉽게 사용할 수 있는 VR 콘텐츠 제작기법을 제안한다. 체험자의 양손동작을 인식하기 위해서 3D 깊이센서를 이용하여 체험자의 상호작용을 구현하였다.
암각화 3D뷰어 모듈은 3D 스캔된 데이터를 3차원 공간에서 실시간 3D 렌더링하여 이동, 사이즈, 회전을 시켜보고 섬세한 암각화의 사이즈 변경, 회전 효과를 화면에 보여주는 기능을 그림 18과 같이 UNITY 3D 프로그래밍을 통해 구현하였다.
암각화 3D뷰어 모듈은 동작인식모듈로부터 이동, 사이즈, 회전등의 동작명령을 받아 3D 스캔된 데이터의 사이즈 변경, 회전효과를 실시간 3D렌더링을 통해 화면에 보여주는 기능을 가지고 있으며 UNITY3D 프로그래밍을 통해 구현하였다.
암각화 VR콘텐츠는 그림 16과 같이 암각화의 위치를 보여주기 위해 위성영상(구글지도 등)을 활용하여 스캔지점의 GPS 좌표 기록후 지도에 합성하였다.
획득된 포인트 데이터는 포인트 필터링을 거쳐 삼각메쉬화작업을 하게 된다. 암각화 스캔은 포인트 간격이 1～4mm범위를 벗어나지 않도록 고려하여 스캔하였고, 정밀스캐너의 특성상 야간작업이 필요하나, 상황에 따라서는 그림 5와 같이 차양 막설치 및 차광막을 씌운 후 스캔하였다.
제안된 암각화 VR 콘텐츠는 관람객이 전시와 적극적으로 상호작용하며 자기 스스로 자신의 행동결과를 인식하면서 자발적인 학습이 일어나도록 공감각적 체험 요소를 유도하여 직접체험 전시콘텐츠로 구현하고자 한다.
제안된 알고리즘은 크게 세 부분으로 구성된다. 첫째, 체험콘텐츠에서 적용 가능한 동작유형을 정의하고, 둘째, 체험자의 동작을 통한 3D 깊이영상 획득 및 분석, 셋째, 정의된 패턴들과의 비교를 통한 체험자의 동작 인식으로 구성된다.
양손동작인식 인터페이스모듈은 체험자가 3D 스캔된 데이터를 이동(Move), 사이즈(Zoom), 회전(Rotation) 등의 동작을 인식하여 암각화 3D뷰어 모듈로 동작명령을 전달하게 된다. 체험자와 동작인식을 위한 비접촉인터페이스로서 마이크로소프트社에서 제공하는 적외선센서와 컬러 영상카메라를 이용한 인식시스템인 키넥트 시스템을 채택하였다.
체험자의 동작을 입력받아 3D 깊이영상을 획득하기 위한 모션센서 H/W 인터페이스로서 마이크로소트사의 키넥트센서를 채택하였다. 키넥트는 그림 10에서 보는 바와 같이 기본적으로 3개의 렌즈로 구성되어있다.
본 연구에서는 3차원 스캐닝 작업을 통해 얻어진 3D 데이터를 사진 데이터와 합성하여 실감 원천소스를 생성하고 이를 활용하여 3D 암각화 데이터를 제작한 다음 3차원 인터렉티브 기술을 이용하여 관람객들이 쉽게 사용할 수 있는 VR 콘텐츠 제작기법을 제안한다. 체험자의 양손동작을 인식하기 위해서 3D 깊이센서를 이용하여 체험자의 상호작용을 구현하였다.
본 연구에서는 3차원 깊이센서를 이용하여 체험자의 동작을 입력받아 동작인식 방법에 기반한 3D암각화 체험형 전시콘텐츠 제작기법을 제안하였다. 특히 실감 3D 암각화 데이터를 취득하기 위해 정밀하고 비파괴적인 수단으로서 새로운 3D 스캐닝기법을 활용하였다. 또한 암각화의 음각된 모양을 3D를 이용하여 효과적으로 볼 수 있게 3차원 인터렉티브 기술을 이용하여 관람객들이 쉽게 사용할 수 있는 VR 콘텐츠를 제작하였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	암각화란 무엇인가?	암각화는 인류가 자신의 삶과 관련한 세계를 바위 위에 새겨 남긴 그림을 일컫는다. 이런 점에서 암각화는 문자 이전의 역사를 담고 있어 매우 중요한 의미를 지닌다.
	3D 깊이센서 기반의 인식은 어떠한 방법인가?	이러한 문제점들을 해결하기 위해 가속도 센서, 자이로 센서 및 3차원 깊이센서 등을 콘텐츠에 응용하는 방법이 모색되고 있다[7]. 3D 깊이센서 기반의 인식은 2개 이상의 카메라를 이용하여 3D동작 영상을 획득한 다음 몸 또는 손의 움직임영역을 추출하여 인식하는 방법이다. 기존의 3D 깊이센서 기반 인식방법은 주로 신체의 한부분을 중심으로 이동 및 선택 등의 간단한 인식방법이 제안되었다[8].
	최근 개발되고 있는 체험류의 콘텐츠의 한계점은 무엇인가?	최근 개발되고 있는 체험류의 콘텐츠들은 기존 키보드나 마우스 조작에서 탈피하여 별도의 컨트롤러나 영상 등을 이용하여 사용자의 직접 체험을 유도하고 있다. 그러나 아직까지 버튼에 의존한 컨트롤러들이 대부분이며 영상을 입력으로 하는 콘텐츠는 2D영상에서 체험에 필요한 자세인식 등을 높은 수준의 정밀도로 얻기 힘들다[5-6].

참고문헌 (8)

J. Reznicek and K. Pavelka, "New low cost 3D scanning Techniques for cultural heritage documentation", The Int. Archives of the Photogrammetry, Remote and Spatial Information Sciences Beijing, 2008, pp. 237-240.
F.Remondino, "Heritage Recording asnd 3D Modeling with Photogrammetry and 3D Scanning", Remote Sensing, vol. 3, 2011, pp. 1104-1138.

상세보기
G. Landon, and W. Seales, "Petroglyph digitization: enabling cultural heritage scholarship", Machine vision and Application, vol. 17 no. 6, 2006, pp. 361-371.

상세보기
Y.-K. Jeong, "A study on Health healing method for incite to the brain of the part of the visual nerve and auditor", J. of the Korea Institute of Electronic Communication Sciences, vol. 3 no. 4, 2008, pp. 233-239.
J.C. Kim, S.I. Cho, and E.K. Kim, "Fish Schooling Behavior Simulator for the Contents Production of Cyber Underwater Environment", J. of the Korea Institute of Electronic Communication Sciences, vol. 2 no. 1, 2007, pp. 25-33.
K.-Y. Sung, and H.-K. Yang, "A study on the Contents for the Stable Motion Chasing according to the Change of Light using Retinex", J. of the Korea Institute of Electronic Communication Sciences, vol. 6 no. 2, 2011, pp. 225-230.
E.-S. Choi, W.-C. Bang, S.-J. Cho, J. Yang, D.-Y. Kim, and S.-R. Kim, "Beatbox Music Phone: Gesture-based Interactive Mobile Phone using a Tri-axis Accelerometer", In Proc. of IEEE International Conference on Industrial Technology, Hong Kong, December 14-16, 2005, pp. 97-102.
J. Triesch and C. Malsburg, "A System for Person-Independent Hand Posture Recognition against Complex Backgrounds", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 23 no. 12, December 2011, pp. 1449-1453.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증