플로팅 홀로그램은 광고나 콘서트와 같이 넓은 공간에서 현장감과 실존감이 뛰어난 3D 입체영상을 제공하면서, 3D 안경의 불편함, 시각적 피로, 공간 왜곡 현상 발생을 감소할 수 있는 기술이다. 따라서 본 논문은 좁은 공간에서도 사용가능한 플로팅 홀로그램 환경에서 캐릭터 조작을 위한 사용자 제스처 인식 시스템을 구현한다. 제안된 방법은 하르 특징기반의 캐시케이드((Harr feature-based cascade classifier) 분류기를 이용하여 얼굴 영역을 검출하고, 검출된 얼굴 영역을 기준으로 실시간으로 체스쳐 차영상으로부터 사용자 제스쳐의 발생 위치 정보를 이용하여 사용자 제스쳐를 인식한다. 그리고 각각 인식된 제스쳐 정보는 플로팅 홀로그램 환경에서 생성된 캐릭터 움직임을 조작하기 위하여 상응하는 행위에 맵핑된다. 제안된 플로팅 홀로그램 캐릭터 조작을 위한 사용자 제스처 인식 시스템의 성능평가를 위해서는 플로팅 홀로그램 디스플레이 장치를 제작하고, 몸 흔들기, 걷기, 손 흔들기, 점프 등의 각 제스처에 따른 인식률을 반복 측정한 결과 평균 88%의 인식률을 보였다.
플로팅 홀로그램은 광고나 콘서트와 같이 넓은 공간에서 현장감과 실존감이 뛰어난 3D 입체영상을 제공하면서, 3D 안경의 불편함, 시각적 피로, 공간 왜곡 현상 발생을 감소할 수 있는 기술이다. 따라서 본 논문은 좁은 공간에서도 사용가능한 플로팅 홀로그램 환경에서 캐릭터 조작을 위한 사용자 제스처 인식 시스템을 구현한다. 제안된 방법은 하르 특징기반의 캐시케이드((Harr feature-based cascade classifier) 분류기를 이용하여 얼굴 영역을 검출하고, 검출된 얼굴 영역을 기준으로 실시간으로 체스쳐 차영상으로부터 사용자 제스쳐의 발생 위치 정보를 이용하여 사용자 제스쳐를 인식한다. 그리고 각각 인식된 제스쳐 정보는 플로팅 홀로그램 환경에서 생성된 캐릭터 움직임을 조작하기 위하여 상응하는 행위에 맵핑된다. 제안된 플로팅 홀로그램 캐릭터 조작을 위한 사용자 제스처 인식 시스템의 성능평가를 위해서는 플로팅 홀로그램 디스플레이 장치를 제작하고, 몸 흔들기, 걷기, 손 흔들기, 점프 등의 각 제스처에 따른 인식률을 반복 측정한 결과 평균 88%의 인식률을 보였다.
Floating holograms are technologies that provide rich 3D stereoscopic images in a wide space such as advertisement, concert. In addition, It is possible to reduce the 3D glasses inconvenience, eye strain, and space distortion, and to enjoy 3D images with excellent realism and existence. Therefore, t...
Floating holograms are technologies that provide rich 3D stereoscopic images in a wide space such as advertisement, concert. In addition, It is possible to reduce the 3D glasses inconvenience, eye strain, and space distortion, and to enjoy 3D images with excellent realism and existence. Therefore, this paper implements a user gesture recognition system for manipulating a floating hologram characters that can be used in a small space devices. The proposed method detects face region using haar feature-based cascade classifier, and recognizes the user gestures using a user gesture-occurred position information that is acquired from the gesture difference image in real time. And Each classified gesture information is mapped to the character motion in floating hologram for manipulating a character action. In order to evaluate the performance of the proposed user gesture recognition system for manipulating a floating hologram character, we make the floating hologram display devise, and measures the recognition rate of each gesture repeatedly that includes body shaking, walking, hand shaking, and jumping. As a results, the average recognition rate was 88%.
Floating holograms are technologies that provide rich 3D stereoscopic images in a wide space such as advertisement, concert. In addition, It is possible to reduce the 3D glasses inconvenience, eye strain, and space distortion, and to enjoy 3D images with excellent realism and existence. Therefore, this paper implements a user gesture recognition system for manipulating a floating hologram characters that can be used in a small space devices. The proposed method detects face region using haar feature-based cascade classifier, and recognizes the user gestures using a user gesture-occurred position information that is acquired from the gesture difference image in real time. And Each classified gesture information is mapped to the character motion in floating hologram for manipulating a character action. In order to evaluate the performance of the proposed user gesture recognition system for manipulating a floating hologram character, we make the floating hologram display devise, and measures the recognition rate of each gesture repeatedly that includes body shaking, walking, hand shaking, and jumping. As a results, the average recognition rate was 88%.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 제스쳐 인식의 기준점으로 이용하기 위하여 오픈 컴퓨터 비전 소스인 OpenCV 라이브러리에서 제공하는 하르 특징 기반의 캐시케이스 분류기[3]를 이용하여 입력되는 사용자 실영상으로부터 얼굴 영역을 검출한다. 하르 특징 기반의 케시케이드 분류기는 P.
본 논문에서는 플로팅 홀로그램과 영상처리 기술을 융합하여 플로팅 홀로그램 환경에서 홀로그램으로 디스플레이 되는 캐릭터 조작을 위한 사용자 제스처 인식 시스템을 구현한다. 제안하는 방법은 그림 2와 같이 실시간으로 디스플레이 되는 홀로그램 상의 캐릭터를 조작하기 위하여 사용자 제스쳐 영상을 그레이 영상으로 변환한 제스쳐 영상에 하르특징(harr feature)을 이용하여 얼굴 영역을 검출한다.
본 논문은 플로팅 홀로그램 환경을 구축하고, 홀로그램으로 디스플레이 되는 캐릭터에 대하여 사용자와 동일한 행위를 맵핑하는 사용자 제스처 인식 시스템을 구현 하였다. 기존의 상용화된 플로팅 홀로그램보다 저렴하고 접하기 쉬운 플로팅 홀로그램을 구현하였으며, 입체감과 몰입감이 뛰어나 사용자의 흥미를 유발하고 집중력을 향상시킬 수 있었다.
제안 방법
제안하는 방법은 그림 2와 같이 실시간으로 디스플레이 되는 홀로그램 상의 캐릭터를 조작하기 위하여 사용자 제스쳐 영상을 그레이 영상으로 변환한 제스쳐 영상에 하르특징(harr feature)을 이용하여 얼굴 영역을 검출한다. 그리고 검출된 영역을 기준으로 차영상(subtracted image) 정보를 이용하여 사용자의 제스처 변화 영역을 검출한다.
본 논문에서 구현한 플로팅 홀로그램 캐릭터 조작을 위한 사용자 제스처 인식 시스템의 성능평가를 위해서 사용자 제스처 인식 및 분류는 오픈 소스 컴퓨터비전 라이브러리 OpenCV를 기반으로 Windows 10 환경 하에서 C++ 언어를 사용하여 각 처리 단계를 구현하였다. 또한 플로팅 홀로그램 상에서의 캐릭터는 AUTODESK 社의 3DS MAX 2017에서 제작하였다.
본 논문에서는 사용자 제스처 검출을 위하여 연속적으로 입력되는 실영상으로부터 프레임간의 영상 차이를 계산하는 차영상 방법을 사용한다. 차영상 방법은 움직이는 사람이나 객체를 검출하기 위한 방법으로서 연속되는 영상에서 검출하고자 하는 영상과 이전 시간의 영상 을 화소 단위 빼기 연산하는 고전적 방법으로 두 영상간 의 차이, 즉 변화량을 측정하는 방법이다[5][6].
제안하는 방법은 그림 2와 같이 실시간으로 디스플레이 되는 홀로그램 상의 캐릭터를 조작하기 위하여 사용자 제스쳐 영상을 그레이 영상으로 변환한 제스쳐 영상에 하르특징(harr feature)을 이용하여 얼굴 영역을 검출한다.
그리고 S3는 손을 흔들며 인사를 하는 상태를 나타내며, S4는 제자리에서 점프하는 상태를 나타낸다. 특히 걷는 상태를 나타내는 S2의 경우 실내에서 하는 사용자 제스처임을 고려하여 다리의 움직임을 제외한 팔의 움직임만사용자의 걷는 제스처로 분류하였다.
대상 데이터
또한 플로팅 홀로그램 상에서의 캐릭터는 AUTODESK 社의 3DS MAX 2017에서 제작하였다. 그리고 캐릭터 홀로그 램을 위한 홀로그램 박스는 하드보드지, 우드락, 아크릴 판, 7인치 스크린을 이용하여 직접 제작하였다.
이론/모형
를 이용하여 입력되는 사용자 실영상으로부터 얼굴 영역을 검출한다. 하르 특징 기반의 케시케이드 분류기는 P. Viola 와 M. Jones에 의해서 제안된 방법[4]으로서 얼굴 영역 판별을 위하여 많은 수의 참얼굴과 거짓얼굴을 분류기 훈련을 위해서 사용한다. 그리고 얼굴 영상으로부터 특징을 추출하기 위해서는 그림 3과 같은 다양한 특징 커널을 이용하여 각 커널의 검은 영역의 화소 합으로부터 흰 영역의 화소 합과의 차를 특징으로 정의한다[3][4].
성능/효과
본 논문은 플로팅 홀로그램 환경을 구축하고, 홀로그램으로 디스플레이 되는 캐릭터에 대하여 사용자와 동일한 행위를 맵핑하는 사용자 제스처 인식 시스템을 구현 하였다. 기존의 상용화된 플로팅 홀로그램보다 저렴하고 접하기 쉬운 플로팅 홀로그램을 구현하였으며, 입체감과 몰입감이 뛰어나 사용자의 흥미를 유발하고 집중력을 향상시킬 수 있었다. 실험 결과, 상태에 따른 사용자 제스처 의 인식률에서 일부 제스쳐를 제외하고는 평균적으로 높은 인식률을 보였다.
기존의 상용화된 플로팅 홀로그램보다 저렴하고 접하기 쉬운 플로팅 홀로그램을 구현하였으며, 입체감과 몰입감이 뛰어나 사용자의 흥미를 유발하고 집중력을 향상시킬 수 있었다. 실험 결과, 상태에 따른 사용자 제스처 의 인식률에서 일부 제스쳐를 제외하고는 평균적으로 높은 인식률을 보였다. 특히, 구현한 시스템은 비교적 단순한 제스쳐 인식이지만, 유아용 어플리케이션에 최적화 시스템으로서 그 가치가 있다.
후속연구
향후 사용자 제스쳐 인식률 향상과 다양한 콘텐츠 활용에 대한 최적화 연구가 진행된다면, 본 논문에서 연구된 내용은 스마트 폰을 기반으로 하는 다양한 홀로그램 디바이스 개발을 위한 사용자의 편의성 및 보편화에 큰 효과를 기대할 수 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
플로팅 홀로그램의 특징은?
플로팅 홀로그램은 광고나 콘서트와 같이 넓은 공간에서 현장감과 실존감이 뛰어난 3D 입체영상을 제공하면서, 3D 안경의 불편함, 시각적 피로, 공간 왜곡 현상 발생을 감소할 수 있는 기술이다. 따라서 본 논문은 좁은 공간에서도 사용가능한 플로팅 홀로그램 환경에서 캐릭터 조작을 위한 사용자 제스처 인식 시스템을 구현한다.
향후 사용자 제스처 인식 시스템 연구의 기대 효과는?
향후 사용자 제스쳐 인식률 향상과 다양한 콘텐츠 활용에 대한 최적화 연구가 진행된다면, 본 논문에서 연구된 내용은 스마트 폰을 기반으로 하는 다양한 홀로그램 디바이스 개발을 위한 사용자의 편의성 및 보편화에 큰 효과를 기대할 수 있다.
하르 특징 유사도 방법의 장점은?
본 논문에서는 사용하는 하르 특징 유사도 방법은 사용 데이터 크기가 작고, 속도가 빠르다는 점에서 실시간으로 얼굴 검출에 용이하다[4]. 또한 오픈 소스 코드인 OpneCV 라이브러리는 사용자가 원하는 특정 객체를 인식시키기 위한 학습 라이브러리를 제공하고 있으며, 얼 굴, 눈, 스마일 등의 미리 학습된 데이터베이스 파일도 제공하고 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.