선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 데스크탑 PC에서 웹캠으로부터 의 비 디오 입력을 사용하여 가상환경과 실세계 환경이 상호 작용호) 는대화형 게임을 제안한다. 단일 카메라를 통하여 획득한 영상에서 움직이는 객체에 대한 특징점(屈ture point)들을 검출한다.
- 본 논문에서는 카메라로부터 의 실시간 영상을 입 력으로하는 시각기반의 사용자 대화형 게임의 인터페이스 구성기법을 제안하였다. 자동식 특징점 설정과 고정식 특징점설정 방법을 통한 움직임 인식 방법을 제안하였고, 각 방법에 대응되는 두 개의 응용 프로그램을 개발하였다.
제안 방법
- 3명의 서로 다른 사용자에게 메뉴 인식 성공률에 대한 실험을 해보았다. 일반적인 움직임을 한 사용자 A와 B의 경우에는 90%가 넘는 성공률을 보였으나 격 렬한 움직임을 한 사용자 C의 경우는 84%의 성공률을 보였다.
- 사용자의 손의 움직이는 방향과 속도를 고려하여 가상의 공에 물리적 힘을 적용 시킬 수 있도록 설계하였다. 게임의 흥미를 위하여 골대를 두고 점수를 득점하도록 하였다. 전체적인 시스템의 흐름도가그림 8]에 있다.
- 궤적의 모양과 특징점과 가상 객체의 위치관계로부터 의도된 사용자의 손동작인지를 분별한다. 특징점 추출 및 추적은 optical flow 방법과 피라미드식 특징점 추적 방법을 기반으로 한다 B2].
- 보관한다. 네 개의 프레임에 대한 움직임을 확인함으로써 의도된 움직 임 인지의 여부를 판별하도록 하였다.
- 뮤직플레이어는 시각기반 사용자 인터페이스를 제공하며 음악 재생, 이전 곡 선택, 음악 타이틀 표시 등의 메뉴를제공한다. 두 번째 응용으로 웹캠을 통해 실세계 환경의 영상을 입력받고 이에 컴퓨터 그래픽을 합성함으로써 사용자와 컴퓨터가 상호 대화할 수 있는 가상농구게임을 개발하였다. 가상농구게임은 가상의 큐브 내에서 움직이는 가상의 공이 있으며 사용자의 손동작으로 가상의 공을 쳐서 골대에 넣음으로써 점수를 획득하는 방식의 게임이다.
- 메뉴가 배치된 화면상 위치에 따라 손동작인식에 의한 메뉴선택의 정확도에 대해 실험하였다. 메뉴의 위치를 화면의 상, 흥h 좌, 우, 중간의 5가지 위치에 대해 실험한 결과가 [그림 12] 와같다.
- 자동식 특징점 설정과 고정식 특징점설정 방법을 통한 움직임 인식 방법을 제안하였고, 각 방법에 대응되는 두 개의 응용 프로그램을 개발하였다. 뮤직플레이어는 손동작으로 음악파일을 재생하고 특징점과 특징점의 움직임의 궤적을 표시하는 기능을 할 수 있게 개발하였으며, 농구 게임은 실시간으로 입력되는 영상을 통한 사용자의 실제 손동작으로 가상의 공을 쳐서 움직임에 영향을 줄 수 있도록 개발하였다. 이번 연구에서 개발한 게임은부가적인 장치를 필요로 하지 않고 사용자의 손동작만으로작동하는 게임으로서 게임에 현실성을 증가시키고 사용자에게 흥미를 유발 시킬 수 있는 충분한 발전 가능성을 가지고 있다.
- 본 시스템은 시각 기반 인터페이스를 갖는 프로그램으로써 네 가지의 기본메뉴를 화면 상단에 표시한다. 네 가지 메뉴는 각각 일정 영역을 가지고 있다.
- 사용자가가상의 공을 실제 손동작으로 쳐서 다른 방향으로 보낼 수 있다. 사용자의 손의 움직이는 방향과 속도를 고려하여 가상의 공에 물리적 힘을 적용 시킬 수 있도록 설계하였다. 게임의 흥미를 위하여 골대를 두고 점수를 득점하도록 하였다.
- 손의위치는 일정한 위치에 있는 것이 아니기 때문에 자동적인추출방법을 선택하였다. 특징점을 추적하는 중에 점 이 소실되거나 잘못된 추적으로 한곳에 몰려있는 경우가 발생할 수있다.
- 손의 벡터변화를 더하였다. 손이 움직인 벡터 변화는특징점의 추적 시 픽셀의 변화값을 적용하였다. 여기서 x, y 좌표 외에 깊이값의 변화는 없음을 전제한다.
- 시각기반 상호작용 시스템은 영상으로부터의 모션정보를 필요로 하는 것으로써 본 논문에서는 특징점의 추적에기반하는 방법을 사용하였다. 실험 결과 평균 94%정도의움직임 인식 성공률을 보였다.
- 첫 번째는 대상 객체의 움직임이 영상 프레임 밖으로 벗어나게 되는 경우이다. 이미지 영역을 벗어난 특징점을 판단하기 위한 조건으로 이미지의 테두리 8 픽셀 이내로 특징점이 진입할 경우 추적 대상이 밖으로 나갔다고 간주하고 추적 에 실패한 점으로 판단하도록 하였다. 두 번째는 매우 빠르고 격 렬한 움직임 이 일어나는 경우이다.
- 제안하였다. 자동식 특징점 설정과 고정식 특징점설정 방법을 통한 움직임 인식 방법을 제안하였고, 각 방법에 대응되는 두 개의 응용 프로그램을 개발하였다. 뮤직플레이어는 손동작으로 음악파일을 재생하고 특징점과 특징점의 움직임의 궤적을 표시하는 기능을 할 수 있게 개발하였으며, 농구 게임은 실시간으로 입력되는 영상을 통한 사용자의 실제 손동작으로 가상의 공을 쳐서 움직임에 영향을 줄 수 있도록 개발하였다.
- 제안하는 상호작용 기법의 유용성을 입증하기위해 두 개의 간단한 증강현실 응용프로그램을 구현하였다. 첫 번째응용으로 공간상에 가상의 메뉴를 표시하고 사용자가 손동작으로 메뉴를 선택할 수 있는 뮤직플레이어를 구현하였다.
- 간단한 증강현실 응용프로그램을 구현하였다. 첫 번째응용으로 공간상에 가상의 메뉴를 표시하고 사용자가 손동작으로 메뉴를 선택할 수 있는 뮤직플레이어를 구현하였다. 뮤직플레이어는 시각기반 사용자 인터페이스를 제공하며 음악 재생, 이전 곡 선택, 음악 타이틀 표시 등의 메뉴를제공한다.
- 추적할 특징점들의 획득 방법으로 고정식 특징점 설정 방법과 자동식 특징점 설정 방법을 제안한다. 고정식 방법은고정간격의 격자 모서 리점을 특징점으로 설정한다.
- 손으로 한정하였다. 충돌 검사는 공의 중심과 충돌 대상과의 거리를 계산하여 일정 거리 안에 공이 존재할 경우충돌로 인정하는 방식을 사용하였다. 큐브 박스와의 충돌은 [그림 9〕와 같은 물리 운동을 적용하였다.
- 일정 거리 안에 들어오면 득점으로 인정한다. 통과하고 지나갈 경우 계속 득점으로 인정되기 때문에이전에 일정 거리 안에 존재 하였는지를 검사하도록 한다.
- 단일 카메라를 통하여 획득한 영상에서 움직이는 객체에 대한 특징점(屈ture point)들을 검출한다. 특징점들의 움직임 추적을 통해 상호작용을 위한 인터페이스 설계 방법을 제안한다. 사용자의 손동작 분석을 통해 상호작용을 하는 시스템의 개념도가 [그림 11에 있다.
- 특징점의 추출은 연속되는 이미지 중 첫 이미지에서 대표하는 점들을 자동식 특징점 설정방법으로 추출하였다. 손의위치는 일정한 위치에 있는 것이 아니기 때문에 자동적인추출방법을 선택하였다.
- 두 번째는 매우 빠르고 격 렬한 움직임 이 일어나는 경우이다. 한 프레임이 바뀌는 동안 X-좌표와 y좌표가 각각 100 픽셀 이상의 변화가 있다면 추적에 실패한 것으로 함으로써 올바른 추적을 할 수 있게 하였다.
대상 데이터
- 게임의 흥미 부여를 위하여 인터페이스에 원환체(torus) 모양의 골대 두 개를 위치하였다. 두 개의 골대는 사용자 A 와 사용자 B의 골대로 지정하였으며, 해당 골대로 득점 시사 용자 점수에 1점이 더해진다.
- 공이 충돌할 수 있는 대상은 큐브 박스의 여섯 면과 사용자의 손으로 한정하였다. 충돌 검사는 공의 중심과 충돌 대상과의 거리를 계산하여 일정 거리 안에 공이 존재할 경우충돌로 인정하는 방식을 사용하였다.
데이터처리
- 특징점 추출 시 지정된 한 그룹에 속한 특징점들의 움직임의 평균값을 분석한다. 구해진 값에 따라 활성그룹을 설정하고선택된 그룹을 움직이고 있는 사용자의 손의 현재 위치로지정하게 된다.
이론/모형
- 가상농구게임에서 고정식 특징점 설정 방법을 사용하였다. 가상농구게임은 3차원의 큐브 공간 내에서 움직이는 가상의 공과 사용자의 손의 움직 임 이 상호 작용하는 시스템 이다.
- 사용자의 손동작인지를 분별한다. 특징점 추출 및 추적은 optical flow 방법과 피라미드식 특징점 추적 방법을 기반으로 한다 B2].
- 한다[11]. 특징점은 다음 영상 프레임에서 광류 (optical flow)를 계산함으로써 그 대응점을 찾을 수 있다 [12], 빠른 계산을 위해서 피라미드식 추정 기법을 사용하여매칭시간을 고속화 하였다.
- 특징점의 추적은 Lucas-Kanade의 optical flow방법을 기반으로 한다[11]. 특징점은 다음 영상 프레임에서 광류 (optical flow)를 계산함으로써 그 대응점을 찾을 수 있다 [12], 빠른 계산을 위해서 피라미드식 추정 기법을 사용하여매칭시간을 고속화 하였다.
성능/효과
- 실험 결과 평균 94%정도의움직임 인식 성공률을 보였다. 급격한 손동작의 경우 84% 정도의 성공률로써 특징점의 추적에 실패하는 경우가 일반적인 경우보다 좀 더 많이 발생하는 것을 확인할 수 있었다.
- 일반적인 움직임을 한 사용자 A와 B의 경우에는 90%가 넘는 성공률을 보였으나 격 렬한 움직임을 한 사용자 C의 경우는 84%의 성공률을 보였다. 빠른 움직임을할 경우 일반적인 움직임보다 메뉴 인식 성공률이 약 10% 낮아진 결과를 확인할 수 있다. 사용자가 선택한 메뉴를 인식하지 못하는 경우는 평균 1%정도로 적은 수치를 보였다.
- 빠른 움직임을할 경우 일반적인 움직임보다 메뉴 인식 성공률이 약 10% 낮아진 결과를 확인할 수 있다. 사용자가 선택한 메뉴를 인식하지 못하는 경우는 평균 1%정도로 적은 수치를 보였다.
- 〔그림 ⑶은 첫 프레임부터 120번째 프레임에 대하여 처리 시간을 나타낸 것이다. 세 번의 실험을 통해 최고 0.4sec의 시간이 걸렸으며, 평균 0.049ms, 0.052ms, 0.064ms의 처리시간이 소요되는 결과를 얻었다. 이는 실시간 응용시스템에 활용할 수 있는 적절한 시간으로 판단할 수 있다.
- 실험 결과 100 프레임 동안 특징점이 프레임 밖으로 벗어나는 개수는 평균 40개 미만이었고 100픽셀 이상차이가 나는 특징점의 개수는 평균 20개 정도였다. 격 렬한 움직 임이 있는 경우에는 평균 425개로서 한 프레임당 4개 이상의 점이 소실되는 결과를 볼 수 있었다.
- 결과이다. 실험 결과 메뉴를 화면의 상단에 표시한 것이 가장 좋은 인식률을 보였으며 , 본 결과를 바탕으로 인터페이스 구성 시 적절한 메뉴의 위치를 선택할 수 있었다.
- 방법을 사용하였다. 실험 결과 평균 94%정도의움직임 인식 성공률을 보였다. 급격한 손동작의 경우 84% 정도의 성공률로써 특징점의 추적에 실패하는 경우가 일반적인 경우보다 좀 더 많이 발생하는 것을 확인할 수 있었다.
- 의도하지 않은 움직임에 의한 메뉴의 활성은 8% 정도로 개선의 여지가 있음을 알 수 있었다.
- 뮤직플레이어는 손동작으로 음악파일을 재생하고 특징점과 특징점의 움직임의 궤적을 표시하는 기능을 할 수 있게 개발하였으며, 농구 게임은 실시간으로 입력되는 영상을 통한 사용자의 실제 손동작으로 가상의 공을 쳐서 움직임에 영향을 줄 수 있도록 개발하였다. 이번 연구에서 개발한 게임은부가적인 장치를 필요로 하지 않고 사용자의 손동작만으로작동하는 게임으로서 게임에 현실성을 증가시키고 사용자에게 흥미를 유발 시킬 수 있는 충분한 발전 가능성을 가지고 있다. 뮤직플레이어는 메뉴 선택 기반의 인터페이스를가짐으로써 교육용 소프트웨어 개발이나 제품의 시뮬레이션 하는데 적합하고, 농구 게임 인터페이스는 다른 스포츠분야의 게임 시스템의 또는 아이토이(EyeToy)와 같은 활동성 있는 게임의 개발에 적합할 것이다.
- 해보았다. 일반적인 움직임을 한 사용자 A와 B의 경우에는 90%가 넘는 성공률을 보였으나 격 렬한 움직임을 한 사용자 C의 경우는 84%의 성공률을 보였다. 빠른 움직임을할 경우 일반적인 움직임보다 메뉴 인식 성공률이 약 10% 낮아진 결과를 확인할 수 있다.
후속연구
- 이번 연구에서 개발한 게임은부가적인 장치를 필요로 하지 않고 사용자의 손동작만으로작동하는 게임으로서 게임에 현실성을 증가시키고 사용자에게 흥미를 유발 시킬 수 있는 충분한 발전 가능성을 가지고 있다. 뮤직플레이어는 메뉴 선택 기반의 인터페이스를가짐으로써 교육용 소프트웨어 개발이나 제품의 시뮬레이션 하는데 적합하고, 농구 게임 인터페이스는 다른 스포츠분야의 게임 시스템의 또는 아이토이(EyeToy)와 같은 활동성 있는 게임의 개발에 적합할 것이다. 이와 같은 시각기반인터페이스는 액션게임이나 아동 교육용 소프트웨어 외에무인감시 시스템이나 지능형 교통 시스템에 적합할 것으로보인다.
- 뮤직플레이어와 가상농구게임 모두 사람의 신체를 추적하는 방법을 사용하는 시스템 이므로 사람의 피부색을 가진 특징점만을 추출하고 추적하는 방법을 적용시켜 사람의 동작을 보다 안정적으로 인식할 수 있을 것이다.
- 특징점 추적의 실패는 시스템의 동작에 영향을 미칠 수 있는 요인으로서 좀 더 강력한 특징점의 추적기법의 연구가선행 되어야 할 것으로 보인다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.