본 논문에서는 얼굴의 3차원 위치와 방향을 추적하여 3D 물체를 다각도에서 볼 수 있는 사용자 인터페이스를 제시한다. 구현된 사용자 인터페이스는 사용자가 상하좌우로 얼굴을 움직였을 때, 얼굴의 3차원 위치 좌표를 이용하여 사용자가 움직이는 방향으로 물체를 이동시킨다. 그 뒤 사용자가 상하(pitch)좌우(yaw)로 얼굴을 회전시켰을 때, 얼굴의 Euler angle값을 이용하여 얼굴의 회전각만큼 물체를 회전시켜 물체의 측면을 제공한다. 다양한 위치와 방향에 사용자가 있을 때 물체의 움직임의 정확성과 반응성을 실험한 결과 시각화가 잘 됨을 확인하였다.
본 논문에서는 얼굴의 3차원 위치와 방향을 추적하여 3D 물체를 다각도에서 볼 수 있는 사용자 인터페이스를 제시한다. 구현된 사용자 인터페이스는 사용자가 상하좌우로 얼굴을 움직였을 때, 얼굴의 3차원 위치 좌표를 이용하여 사용자가 움직이는 방향으로 물체를 이동시킨다. 그 뒤 사용자가 상하(pitch)좌우(yaw)로 얼굴을 회전시켰을 때, 얼굴의 Euler angle값을 이용하여 얼굴의 회전각만큼 물체를 회전시켜 물체의 측면을 제공한다. 다양한 위치와 방향에 사용자가 있을 때 물체의 움직임의 정확성과 반응성을 실험한 결과 시각화가 잘 됨을 확인하였다.
In this paper, we present an user interface which can show some 3D objects at various angles using tracked 3d head position and orientation. In implemented user interface, First, when user's head moves left/right (X-Axis) and up/down(Y-Axis), displayed objects are moved towards user's eyes using 3d ...
In this paper, we present an user interface which can show some 3D objects at various angles using tracked 3d head position and orientation. In implemented user interface, First, when user's head moves left/right (X-Axis) and up/down(Y-Axis), displayed objects are moved towards user's eyes using 3d head position. Second, when user's head rotate upon an X-Axis(pitch) or an Y-Axis(yaw), displayed objects are rotated by the same value as user's. The results of experiment from a variety of user's position and orientation show good accuracy and reactivity for 3d visualization.
In this paper, we present an user interface which can show some 3D objects at various angles using tracked 3d head position and orientation. In implemented user interface, First, when user's head moves left/right (X-Axis) and up/down(Y-Axis), displayed objects are moved towards user's eyes using 3d head position. Second, when user's head rotate upon an X-Axis(pitch) or an Y-Axis(yaw), displayed objects are rotated by the same value as user's. The results of experiment from a variety of user's position and orientation show good accuracy and reactivity for 3d visualization.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
최근 모바일 기기나 컴퓨터의 출력장치에서 영상을 입체감 있게 보여주는 3D 사용자 인터페이스에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 사용자 얼굴 위치와 방향을 추적하여 그에 따라 물체를 이동, 회전시켜 물체의 측면을 보여줌으로써 영상의 입체감을 살릴 수 있는 3D 사용자 인터페이스를 제시한다.
본 논문에서는 얼굴의 위치와 방향을 추적하여 사용자가 움직이는 방향으로 3D 물체를 이동시키고 얼굴의 회전각에 따라 물체를 다각도로 회전시키는 사용자 인터페이스를 제시하였다. 제시한 인터페이스는 사용자가 움직이는 방향으로 3D 물체를 이동시키고 사용자 얼굴의 회전방향과 일체하게 물체를 회전시켜 2D 출력장치에서도 입체감 있는 3D 영상을 볼 수 있도록 한다.
가설 설정
화면 좌표계의 z축을 기준으로 좌우로 Axcm만큼, 상하로 Aycm만큼 떨어져 있을 때(단, Ax, Ay ≤ Md이다. ) 얼굴의 3차원 위치좌표 중 x좌표를 Bx, y좌표를 By라고 가정한다.
사용자와 모니터간의 거리가 Azcm일 때 얼굴의 3차원 위치좌표 중 z좌표를 Bz라고 가정한다. 얼굴의 임의의 3차원 위치좌표 중 z좌표를 Cz라고 할 때, 사용자와 모니터간의 거리 Dzcm는 식 2와 같다.
사용자 얼굴의 최대 회전각을 x축 중심으로 (pitch) Ex°, y축 중심으로(yaw) Ey°라고 하고 물체가 회전할 수 있는 최대 회전각을 x축 중심으로 Fx°, y축 중심으로 Fy°라고 가정한다.
사용자의 초기 3차원 위치좌표 중 z좌표를 Iz, 물체의 초기 좌표 중 z좌표를 #라고 가정한다.
제안 방법
제시한 인터페이스는 웹캠을 사용하여 사용자의 얼굴 영상을 획득한 후, AAM(Active Appearance Model)으로 얼굴의 특징 점을 추출하고 3D pose estimation을 이용하여 얼굴의 위치와 방향정보를 구한다. 이 정보를 이용하여 얼굴이 특정 위치와 방향에 있을 때 물체의 위치와 방향을 계산한다.
제시한 인터페이스는 웹캠을 사용하여 사용자의 얼굴 영상을 획득한 후, AAM(Active Appearance Model)으로 얼굴의 특징 점을 추출하고 3D pose estimation을 이용하여 얼굴의 위치와 방향정보를 구한다. 이 정보를 이용하여 얼굴이 특정 위치와 방향에 있을 때 물체의 위치와 방향을 계산한다. 화면의 시점 전환과 물체의 방향 전환은 같은 결과 화면을 보여준다.
화면의 시점 전환과 물체의 방향 전환은 같은 결과 화면을 보여준다. 그러나 실험을 통해 화면의 시점 전환보다는 물체의 방향 전환이 좀더 사용자가 예상한 화면을 정확하게 보여주는 것을 확인하여 제시한 사용자 인터페이스를 물체의 이동과 방향 전환으로 구현하였으며 FPS 영상 대신 간단한 3D 물체 영상으로 동작을 실험한다.
본 논문에서는 얼굴의 위치와 방향을 추적하여 사용자가 움직이는 방향으로 3D 물체를 이동시키고 얼굴의 회전각에 따라 물체를 다각도로 회전시키는 사용자 인터페이스를 제시하였다. 제시한 인터페이스는 사용자가 움직이는 방향으로 3D 물체를 이동시키고 사용자 얼굴의 회전방향과 일체하게 물체를 회전시켜 2D 출력장치에서도 입체감 있는 3D 영상을 볼 수 있도록 한다.
대상 데이터
이 특징 점들은 영상에서 나타난 물체마다 각각의 절대좌표는 다를 수 있지만 각 점들간의 상대적 위치는 동일하다는 성질을 가진다[3]. 본 논문에서 사용하는 FaceAPI[4]는 그림 1과 같은 17개의 특징 점으로 모델을 구성한다.
실험에 사용된 카메라는 Microsoft Lifecam VX-5000으로 화각은 71도이다. 실험에서 사용된 측정값들은 표 1과 같다.
성능/효과
55사이의 값으로 달라짐을 확인하였다. 사용자에 따라 측정값이 달라지더라도 비례식에 의해 물체를 이동, 회전시키기 때문에 사용자의 위치와 방향의 변화에 대한 제시한 인터페이스의 반응성과 정확성에는 크게 영향을 미치지 않음을 실험을 통하여 확인하였다.
사용자의 움직임에 따른 물체의 이동 및 회전식을 세웠고 이를 FaceAPI에 적용시켜 인터페이스를 구현하였으며 여러 사용자들을 대상으로 실험한 결과 사용자들로부터 인터페이스의 정확성과 반응성이 좋다는 결과를 얻을 수 있었다.
질의응답
핵심어
질문
논문에서 추출한 답변
특징점이란?
물체의 평균적인 형태의 위치를 유한개의 점으로 나타낼 수 있는데 이때의 점들을 특징점이라고 한다. 이 특징 점들은 영상에서 나타난 물체마다 각각의 절대좌표는 다를 수 있지만 각 점들간의 상대적 위치는 동일하다는 성질을 가진다[3].
얼굴의 위치와 방향을 추적하여 사용자가 움직이는 방향으로 3D 물체를 이동시키고 얼굴의 회전각에 따라 물체를 다각도로 회전시키는 사용자 인터페이스를 제시하였는데 실험 결과는?
사용자의 움직임에 따른 물체의 이동 및 회전식을 세웠고 이를 FaceAPI에 적용시켜 인터페이스를 구현하였으며 여러 사용자들을 대상으로 실험한 결과 사용자들로부터 인터페이스의 정확성과 반응성이 좋다는 결과를 얻을 수 있었다.
AAM은 어떤 사실을 기반으로 하는가?
AAM은 찾고자 하는 대상 물체의 대략적인 형태는 이미 알려져 있고, 실제로 영상에 나타나는 물체의 형태는 그것의 평균적인 형태와 비슷하다는 사실을 기반으로 한다. 이러한 형태를 모델화하기 위해서는 형태 모델(shape model)과 외형 모델(appearance model)이 필요하고[1,2] 이 두 모델을 결합하면 AAM이 된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.