[논문]동적 프로젝션 맵핑과 제스처 인식 기반의 실감 미디어 시스템 설계 및 구현

김상준; 고유진; 최유주

doi:10.3745/ktsde.2020.9.3.109

동적 프로젝션 맵핑과 제스처 인식 기반의 실감 미디어 시스템 설계 및 구현
Design and Implementation of Immersive Media System Based on Dynamic Projection Mapping and Gesture Recognition 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.9 no.3, 2020년, pp.109 - 122

김상준 (서울과학기술대학교 정보통신미디어공학) , 고유진 (서울미디어대학원대학교 뉴미디어학부 미디어공학전공) , 최유주 (서울미디어대학원대학교 뉴미디어학부)

초록
AI-Helper

최근 실감 미디어 콘텐츠에서 높은 관심을 모으고 있는 프로젝션 맵핑은 사용자의 몰입감을 높이는 기술로 손꼽히고 있다. 최근 관객의 참여를 유도하기 위하여 제스처 인식 기술과 결합된 프로젝션 맵핑 콘텐츠들이 선보이고 있다. 그러나 대부분의 기존 방법들은 정적인 물체를 대상으로 프로젝션 맵핑을 수행하고 있다. 이에 본 논문에서는 사용자의 움직임을 추적하여 사용자의 신체상에 미디어 콘텐츠를 동적으로 프로젝션 맵핑시키는 기술을 개발하였다. 프로젝션 되는 미디어 콘텐츠는 미리 정의된 사용자의 제스처를 인식하여 사용자가 맨손으로 제작할 수 있도록 하였다. 이러한 동적 프로젝션 맵핑 기술과 제스처 기반 드로잉 기술을 통합하여 인터랙티브한 실감미디어 시스템을 구현하였다. 제안된 실감 미디어 시스템에서는 사용자의 양손의 움직임과 개폐 상태를 인식하여 그림을 그리는데 필요한 기능을 선택하고, 임의의 물체 색상을 붓의 색으로 설정하는 등의 기능을 통해 자유롭게 그림을 그릴 수 있게 해준다. 또한 사용자가 그린 그림을 사용자의 몸에 동적으로 투사해 사용자가 실시간으로 자신의 티셔츠를 디자인하고 이를 착용해 보는 효과를 가질 수 있도록 하였다.

Abstract ▼ AI-Helper

In recent, projection mapping, which has attracted high attention in the field of realistic media, is regarded as a technology to increase the users' immersion. However, most existing methods perform projection mapping on static objects. In this paper, we developed a technology to track the movements of users and dynamically map the media contents to the users' bodies. The projected media content is built by predefined gestures just using the user's bare hands without the special devices. An interactive immersive media system has been implemented by integrating these dynamic projection mapping technologies and gesture-based drawing technologies. The proposed realistic media system recognizes the movements and open / closed states of the user 's hands, selects the functions necessary to draw a picture. The users can freely draw the picture by changing the color of the brush using the colors of any real objects. In addition, the user's drawing is dynamically projected on the user's body, allowing the user to design and wear his t-shirt in real-time.

주제어

표/그림 (31)

그림 Fig. 1. Static Projection Mapping
그림 Fig. 2. Dynamic Projection Mapping[12]
그림 Fig. 3. Depth Sensor of Kinect V1 an Kinect V2[15]
그림 Fig. 4. Joint Information Recognizable in Kinect
그림 Fig. 5. The Misalignment and Alignment of Color Images and Joint Coordinates[17]
표 Table 1. Comparison of Kinect V1 and V2 Specifications[14]
표 Table 2. Comparison of Kinect V1 and V2 Specifications[16]
그림 Fig. 6. The Conversion Relationship Between Points of 3D Space Coordinates and 2D Image Coordinate
그림 Fig. 7. The Location of the Calibration Board, Camera, and Projector
그림 Fig. 8. The Main Modules of the Proposed System
그림 Fig. 9. Drawing System Interface
그림 Fig. 10. The use of the Interface with Gestures
그림 Fig. 11. The Drawing Area to be Passed on to the Communication Module
그림 Fig. 12. Controlling the Size of a Template with Gestures
그림 Fig. 13. Controlling the Location of a Template with Gestures
그림 Fig. 14. Drawing in the Template Mode
그림 Fig. 15. Multiple Layers of the Gesture Drawing Module
그림 Fig. 16. Homography Between a Camera Image and a Projected screen Image
표 Table 3. Attributes in the Configuration File[13]
표 Table 4. An Example of Configuration File
그림 Fig. 17. The Projection of a Chessboard on the Screen.
그림 Fig. 18. Screen Coordinates of fifty-four Corner Points(yellow) and Four Vertices(green) of the 9x6 Chessboard
그림 Fig. 19. Corner Points Extracted using the OpenCv Function
그림 Fig. 20. Homography According to the Depth of the Moving Board in 3D Space
그림 Fig. 21. Homography Selection by Estimating the Depth Level Corresponding to Joint Depth
그림 Fig. 22. The Mapping between Each Corner Point of the Drawing Area and the Body Joint
그림 Fig. 23. Realistic Media System Layout Map
그림 Fig. 24. Homography Calculation for Each Depth Level by Moving the Projection Screen
그림 Fig. 25. Function Control using Gestures
그림 Fig. 26. Drawing with Gestures
그림 Fig. 27. A Picture to be Drawn by a user and to be Dynamically Projected

질의응답

핵심어	질문	논문에서 추출한 답변
	실감 미디어란?	네트워크 기술과 디스플레이 기술의 발전으로 실감 미디어 시장의 폭이 급속도로 넓어지면서 다양한 실감 미디어 콘텐츠 기술이 연구되고 있다[1-3]. 실감 미디어(Realistic Media)란 몰입감과 현장감을 극대화해 사용자가 실제로 체험하는 느낌을 제공하는 미디어로 다양한 종류의 기술로 만들어진다. 이 기술은 크게 3D 입체영상, 가상현실, 증강현실, 홀로그램 4가지로 분류된다[4].
	실감 미디어을 분류하면?	실감 미디어(Realistic Media)란 몰입감과 현장감을 극대화해 사용자가 실제로 체험하는 느낌을 제공하는 미디어로 다양한 종류의 기술로 만들어진다. 이 기술은 크게 3D 입체영상, 가상현실, 증강현실, 홀로그램 4가지로 분류된다[4]. 그중 가상의 물체가 실제 환경에 존재하는 사물처럼 보이도록 하는 증강현실(Augmented reality.
	증강현실은 어떤 기술인가?	증강현실은 다양한 형태로 분류되는데 공연이나 전시등 문화예술 분야에서 많이 사용되는 형태는 실제 존재하는 공간에 설치된 물체에 가상의 이미지 혹은 영상을 투영하는 공간 증강현실, 다른 용어로 프로젝션 맵핑(Projection Mapping) 기술이다. 프로젝션 맵핑은 실제의 공간을 다양한 형태의 가상 공간으로 표현할 수 있고, 다수의 관객이 별도의 장비 착용의 부담 없이 가상의 콘텐츠를 동시에 경험할 수 있다는 장점을 제공한다.

참고문헌 (26)

Yo-sung Ho and Eun-kyung Lee, "Multi-view Content Creation and Reproduction Technology for 3D Realistic Broadcasting Service," Broadcasting and Media Magazine, Vol.16, No.3, pp.51-67, 2011.
Hee-Jun Ahn, "Image Matching Technology for Panorama Realistic Image Production," The Journal of the Korean Institute of Communication Sciences, Vol.35, No.9, pp.12-18, 2018.
Hyun-cheol Lee, Ki-Chang Park, Eun-seok Kim, and Ji-Taek Heo, "A Study on the Development of Multi-Sensory Virtual Experience System based on Realistic Media," Journal of Korea Multimedia Society, Vol.20, No.9, pp.1574-1583, 2017.

원문보기 상세보기
Realistic Media Type [Internet] http://realmc.real4dhub.or.kr /introduce/media
Room-Alive [Internet] https://github.com/Microsoft/RoomAliveToolkit
Su-ran Park, Han-gkee Kim, Daeh-wan Kim, Hea-mi Kim, Ki-suk Lee, and Kee-hong Kim, "Projection-based Virtual Experience System Using Punching Gestures," The HCI Society of Korea, pp.847-849, 2017.
Jun-ho Choi, Yong-Yi Lee, Kyu-Je Lim, Ahmed Bilal, and Kwan -H. Lee, "Chameleon: Participant Display System Using Space Augmented Reality," The HCI Society of Korea, pp.67-69, 2014.
Kinect Driven Projection Mapping [Internet] https://www.youtube.com/watch?vuQi9ZwOTGf0
Interactive Projection Mapping [Internet] https://www.youtube.com/watch?voCwE5ayHgjM
Ronald T. Azuma, "A Survey of augmented Reality," Presence: Teleoperators and Virtual Environments, Vol.6. Iss.4, pp.355-385, 1997.

상세보기
R. Raskar, G. Welch, K.-L. Low, and D. Bandyopadhyay, "Shader lamps:Animating real objects with image-based illumination," in Rendering Techniques (Eurographics Series), S. Gortler and K. Myszkowski, Eds. Berlin, Germany: Springer, pp.89-102, 2001.
Box [Internet] https://www.youtube.com/watch?vlX6JcybgDFo
Sang-Joon Kim, "Design and Implementation of Authoring Tool for Dynamic Projection Mapping Content," Degree thesis (Bachelor's degree), Seoul Media Graduate School: New Media Studies Department 2019.2
Kint v1 vs. Kint v2 Thoroughly Comparable [Internet] https://www.buildinsider.net/small/kinectv2cpp/01
Kienct Learning Record [Internet] https://www.twblogs.net/a/5b7f8ade2b717767c6b00d19/zh-cn/
Understanding the Kint V2 Joint and Coordinate System [Internet] https://medium.com/@lisajamhoury/understanding-kinect-v2-joints-and-coordinate-system-4f4b90b9df16
Understanding Kint v2 Coordinate Mapping [Internet] https://pterneas.com/2014/05/06/understanding-kinect-coordinate-mapping/
Jae-young Lee, "Camera Calibration and Distortion Calibration," Korea Robotics Society Review, Vol.10, No.1, pp.23-29, 2013.
Camera Calibration [Internet] http://darkpgmr.tistory.com/32.
Ui-Tae Jeong and In-Soo Lee, "Simplified 3D Camera Calib ration Algorithm for 3D Vision Inspection System," The Journal of Korean Institute of Information Technology, Vol.16, No.7, pp.43-50, 2018.

상세보기
Camera Parameters [Internet] http://physbam.s tanford.edu/cs448x/old/CameraParameters.html
Z. Zhang, "A flexible new technique for camera calibration," IEEE Transactionson Pattern Analysis and Machine Intelligence, Vol.22, No.11, pp.1330-1334, 2000.

상세보기
Wekipedia Camera Resectioning [Internet] https://en.wikipedia.org/wiki/Camera_resectioning
Understanding Augmented Reality 1 [Internet] http://secmem.tistory.com/101
Projector Calibration [Internet] http://www.sanko-shoko.net/note.php?idt1bk
OpenFrameworks Introduction [Internet] https://openframeworks.cc/ko/about/

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증