선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 POSIT방법을 이용하여 눈동자 응시를 실시간으로 추적하는 방법에 대해 제안하 였다. 제안한 방법은 눈, 코, 입을 검출한 다음 POSIT을 이용하여 정확한 눈동자 응시 방향을 추적할 수 있는 것을 실험을 통해 확인할 수 있었다.
제안 방법
- Gy 마스크를 사용한 다음, 평균 이진화 방법을 이용하여 입 윤곽선에 대한 이진화 영상을 얻는 · 후 이진화 영상에서 레이블링을 수행하여 입 영역을 검증한 정확한 입술 영역을 검출한다.
- 시선 추적을 위한 첫 번째로 눈동자를 추적한다. 눈동자를 추적하기 위해 먼저 AdaBoost를이용하여 사용자의 얼굴을 검출한다. 검출한 얼굴 영역에서 3x3마스크를 이용하여 어두운 영역 10개를 후보군으로 설정한다.
- 두 번째 단계에서는 추출된 눈, 코, 입의 위치를 POSIT을 이용하여 3차원 위치와 방향을 추정한다. 이 때 눈, 코, 입 위치를 정확하게 추정하기 위하여 3차원 얼굴 모델링을 하였으며, 실험 통해 모델링이 정확하게 되었음을 확인할 수 있었다.
- 본 논문에서 제안한 눈동자 응시 방법은 크게 2단계로 이루어진다. 첫 번째 단계에서는 눈동자의 특징인 명암도 정보를 가지고 눈동자와 코를 추출하고 윤곽선 정보를 이용하여 입을 추출한다.
- POSIT 알고리즘을 수행하기 위해서는 객체 표면 위에 존재하는 점에 대한 대응점 정보 4개 이상과 원래 모델링한 객체 표면 위의 점 정보 4개 이상이 필요하다. 본 논문에서는 객체 표면 위의 점 정보 4개를 구하기 위해 눈, 코, 입의 위치를 3차원 모델링 하였다.
- 시선 AdaBoost를 이용하여 얼굴 영역을 검출한 후 얼굴의 위상학적 특징을 이용하여 눈영역을 구분한다. 구분한 눈 영역에서 눈동자 중심의 최종 좌표는 눈동자 중심의 명암도 특징을 이용하여 구한다.
- 시선 추적을 위한 첫 번째로 눈동자를 추적한다. 눈동자를 추적하기 위해 먼저 AdaBoost를이용하여 사용자의 얼굴을 검출한다.
- 본 논문에서 제안한 눈동자 응시 방법은 크게 2단계로 이루어진다. 첫 번째 단계에서는 눈동자의 특징인 명암도 정보를 가지고 눈동자와 코를 추출하고 윤곽선 정보를 이용하여 입을 추출한다.
- 이 데이터는 직접 머리에 방향 센서를 부착하고 찍은 동영상으로 재생시간은 6초이며 총 200프레 임의 정보를 제공하고 있으며 매 프레임 마다 그라운드 트루스 정보가 머리의 3차원 위치와 roll, yaw, pitch로 제공되며 각도의 단위는 도(°)이다. 테스트는 동영상의 매 프레임마다 4개의 점을 검출한 뒤, POSIT 알고리즘으로 계산된 roll, yaw, pitch값과 그라운드 트루스와의 오차를 계산하였다. POSIT에 사용된 모델의 좌표는 표 1과 같으며, 이 값은 실험을 통해 최적화 하였다.
대상 데이터
- 눈동자를 추적하기 위해 먼저 AdaBoost를이용하여 사용자의 얼굴을 검출한다. 검출한 얼굴 영역에서 3x3마스크를 이용하여 어두운 영역 10개를 후보군으로 설정한다. 10개의 후보군이 밀집해 있으면 밀집된 영역의 중앙을 눈동자 영역으로 결정한다.
- 사진의 해상도는 256x384를 사용하였다. 그 이후 POSIT의 정확도를 측정하기 위해 Boston University에서 제공하는 동영상을 이용하였다. 이 데이터는 직접 머리에 방향 센서를 부착하고 찍은 동영상으로 재생시간은 6초이며 총 200프레 임의 정보를 제공하고 있으며 매 프레임 마다 그라운드 트루스 정보가 머리의 3차원 위치와 roll, yaw, pitch로 제공되며 각도의 단위는 도(°)이다.
- 눈, 코, 입 검출의 정확도를 알아보기 위해 테스트에 사용된 입력 영상은 FERET에서 제공하는 얼굴 영상 중에서 눈, 코, 입 그라운드 트루스(ground truth)가 있는 2408장을 사용하였다. 사진의 해상도는 256x384를 사용하였다.
- 눈, 코, 입 검출의 정확도를 알아보기 위해 테스트에 사용된 입력 영상은 FERET에서 제공하는 얼굴 영상 중에서 눈, 코, 입 그라운드 트루스(ground truth)가 있는 2408장을 사용하였다. 사진의 해상도는 256x384를 사용하였다. 그 이후 POSIT의 정확도를 측정하기 위해 Boston University에서 제공하는 동영상을 이용하였다.
- 이 데이터는 직접 머리에 방향 센서를 부착하고 찍은 동영상으로 재생시간은 6초이며 총 200프레 임의 정보를 제공하고 있으며 매 프레임 마다 그라운드 트루스 정보가 머리의 3차원 위치와 roll, yaw, pitch로 제공되며 각도의 단위는 도(°)이다.
이론/모형
- 검출된 얼굴 영역에서 가로로 2등분 한 영역중 아래쪽 영역을 입 영역으로 설정한 후, 정확한 입을 검출하기 위해 윤곽선 검출(edge detect)방법을 이용한다. 이 때 사용하는 마스크는 소벨 (sobel) 마스크를 사용하며, 세로 선 만을 검출 할 때는 그림 2의 (a)인 Gx 소벨 마스크 값을 사용하며 가로 선 만을 검출 할 때는 그림 2의 (b)인 G 눈동자 응시 방향 정보를 구하기 위해 3차원 객체의 위치와 방향을 알아내는 알고리즘 중 POSIT 알고리즘[4] 을 사용한다. 이 알고리즘은 3차원 객체의 포즈(pose)를 알아내는 방법으로 여기서 포즈는 위치 T와 회전 R을 의미하여 6개의 파라미터로 표현될 수 있다.
- 조합은 12가지가 있으며, 행렬 곱셈은 교환법칙이 성립하지 않으며 12가지의 X, Y, Z회전 적용순서 중에서 하나를 선택해야 한다. 본 논문에서는 YXZ 회전을 선택하였다.
- 이 값들은 어두운 영역에서 값이 작게 나오며 밝은 영역에서는 값이 크게 나타나는 특징이 있지만 영역의 밝기 합이 비슷할 경우 변화를 알아내는 것이 어렵다. 이 함수를 보완하기 위해 VPF(Variance Projection Function)를 사용하며 IPF를 이용하여 구할 수 있다. 식 (2.
성능/효과
- AAM과 POSIT[7] ]을 이용한 실험은 1024×768사이즈에서 초당 5프레임을 연산할 수 있는 속도가 나왔으며 본 논문에서 제안한 방법과 비교하였을 때에도 본 논문에서 제안한 방법의 속도가 향상되었음을 확인할 수 있다.
- 실험 결과 제안한 방법이 Z축 회전인 roll에 기존의 방법보다 오차의 크기가 작음을 확인할 수 있다. 제안한 방법의 경우 Z축 회전 정도의 계산은 대부분 눈의 좌표로 계산하므로, 다른 알고리즘보다 좋은 성능이 보였음을 확인할 수 있다.
- 실험에서 사용한 해상도를 640×320으로 변경하였을 때에도 프레임당 평균 연산시간은 차이가 없었다.
- 실험한 결과 연산시간은 프레임당 26∼35ms 정도 걸렸으며, 프레임당 평균 연산시간은 30.104ms 걸렸다.
- 두 번째 단계에서는 추출된 눈, 코, 입의 위치를 POSIT을 이용하여 3차원 위치와 방향을 추정한다. 이 때 눈, 코, 입 위치를 정확하게 추정하기 위하여 3차원 얼굴 모델링을 하였으며, 실험 통해 모델링이 정확하게 되었음을 확인할 수 있었다.
- 89% 성공률이 나왔으며, 코와 입도 90%이상의 성공률을 보였다. 이 정보를 이용하여 응시 추적한 결과 기존의 방법보다 오차가 적음을 확인할 수 있었다.
- 제안한 방법으로 눈을 인식한 결과 3∼4 픽셀 오차 내에서 95.89% 성공률이 나왔으며, 코와 입도 90%이상의 성공률을 보였다.
- 제안한 방법은 기존의 방법보다 적은 점들을 추적하기 때문에 빠른 속도로 처리할 수 있으므로 실시간 추적이 가능하다. 하지만 AAM(Active Appearance Models)보다 적은 점을 트래킹하기 때문에 4개의 점 중 하나라도 잘못 추적하면 정확도가 떨어지는 단점이 있으며, 또한 얼굴 검출이 먼저 선행되어 지기 때문에 얼굴 검출에 실패 하면 응시 추적이 불가능하다.
- 본 논문에서는 POSIT방법을 이용하여 눈동자 응시를 실시간으로 추적하는 방법에 대해 제안하 였다. 제안한 방법은 눈, 코, 입을 검출한 다음 POSIT을 이용하여 정확한 눈동자 응시 방향을 추적할 수 있는 것을 실험을 통해 확인할 수 있었다.
- 실험 결과 제안한 방법이 Z축 회전인 roll에 기존의 방법보다 오차의 크기가 작음을 확인할 수 있다. 제안한 방법의 경우 Z축 회전 정도의 계산은 대부분 눈의 좌표로 계산하므로, 다른 알고리즘보다 좋은 성능이 보였음을 확인할 수 있다.
후속연구
- 하지만 AAM(Active Appearance Models)보다 적은 점을 트래킹하기 때문에 4개의 점 중 하나라도 잘못 추적하면 정확도가 떨어지는 단점이 있으며, 또한 얼굴 검출이 먼저 선행되어 지기 때문에 얼굴 검출에 실패 하면 응시 추적이 불가능하다. 따라서 얼굴 검출의 정확도를 높일 수 있는 새로운 얼굴 검출 방법에 관한 연구를 진행해 나갈 것이다. 또한, POSIT을 이용하지 않고 4개의 점만으로도 정확한 계산을 할 수 있는 연구도 수행해야 할 것이다.
- 따라서 얼굴 검출의 정확도를 높일 수 있는 새로운 얼굴 검출 방법에 관한 연구를 진행해 나갈 것이다. 또한, POSIT을 이용하지 않고 4개의 점만으로도 정확한 계산을 할 수 있는 연구도 수행해야 할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.