$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

[국내논문] 모바일 기기에서의 얼굴 특징점 및 선형 보간법 기반 시선 추적
Gaze Detection Based on Facial Features and Linear Interpolation on Mobile Devices 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.12 no.8, 2009년, pp.1089 - 1098  

고유진 (엠텍비젼) ,  박강령 (동국대학교 전자공학과)

초록
AI-Helper 아이콘AI-Helper

최근에 인간컴퓨터 상호작용 분야에서 사용자의 시선 위치를 파악하여 더욱 편리한 입력 장치를 개발하고자 하는 연구가 많이 진행되고 있다. 기존의 대부분 연구들은 큰 모니터를 사용하는 컴퓨터 환경에서 시선 추적 시스템을 개발하였다. 최근 이동단말기의 사용 증대로 이동 중에 시선 추적에 의한 단말기 제어의 필요성이 증대되고 있다. 이에 본 연구에서는 이동형 컴퓨터 (Ultra-Mobile PC) 및 컴퓨터 내장 카메라를 이용하여 사용자의 얼굴을 추적하고, 얼굴내의 특징점의 위치를 능동외관모델 (Active Appearance Model)을 기반으로 추적하는 연구를 수행하였다. 본 논문의 독창성은 기존 연구와는 달리 소형 화면을 가지는 이동 단말기에서 사용자의 시선 위치를 추적할 수 있는 방법을 제안한 점과 정밀한 얼굴 특징점 검출을 위하여 능동외관모델을 사용한 점이다. 또한 사용자의 초기 캘리브레이션시 얻어진 특징값을 기반으로, 입력 특징값들을 정규화 함으로써, Z거리에 따라 시선 위치 정확도가 영향을 받지 않는다는 점이다. 실험결과, 약 1.77도의 시선 오차를 발생하였으나, 추가적인 얼굴 움직임에 의한 마우스 움직임 기능으로 이러한 시선 오차는 더욱 줄일 수 있음을 알 수 있었다.

Abstract AI-Helper 아이콘AI-Helper

Recently, many researches of making more comfortable input device based on gaze detection technology have been performed in human computer interface. Previous researches were performed on the computer environment with a large sized monitor. With recent increase of using mobile device, the necessitie...

주제어

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 기존의 시선 추적 연구 결과와는 달리 본 연구에서는 작은 크기의 화면을 가지는 이동단말기 (UMPC) 상에서의 시선 위치 추출 연구를 수행하였다. 전술한 바와 같이 이동단말기 환경은 화면 크기가 작기 때문에 보다 정밀한 시선 정확도가 요구된다.
  • 본 연구에서는 그림 1과 같은 흐름도에 의해 UMPC환경에서의 시선 추적 알고리즘을 개발하였다. 먼저, UMPC 내장 카메라에 의해 취득된 얼굴 영상으로부터 적응적 상승 기법 (Adaboost, Adaptive Boost) 기반 얼굴 영역을 검출한다.
  • 된다. 본 연구에서는 이러한 삼각형의 크기 및 상대적인 면적 비 변화를 기반으로 UMPC 상의 시선 위치를 계산하였다. 즉, 초기에 사용자가 UMPC 모니터 상의 4지점을 쳐다보게 한 후, 이때 구한 6 삼각형의 크기를 각각 저장한다.
  • 77도의 시선 위치 추출 에러 성능을 나타냈다. 이러한 시선 추적 에러를 보정하기 위하여 본 연구에서는 얼굴 움직임에 의한 추가적인 마우스 움직임으로 전술한 시선 위치 에러를 보정하였다. 매 영상마다 처리속도​​​​​​​는 약 100ms 정도로 초당 10장의 속도로 사용자의 시선 위치를 추적할 수 있었다.
  • [28]의 연구에서는 눈꺼풀 검출 마스크 및 포물 허프 변환을 이용하여 눈꺼풀을 검출하였으나, 본 연구에서와 같이 눈 영역의 해상도가 낮은 경우에는 적용하기 힘들다. 이에 본 연구에서는 AAM (Active Appearance Model) 방법을 이용하여 눈꺼풀을 포함한 자세한 얼굴 특징점 정보를 추출하고자 한다[21, 23].
  • 최근 이동단말기의 사용 증대로 이동 중에 시선 추적에 의한 단말기 제어의 필요성이 증대되고 있다. 이에 본 연구에서는 이동형 UMPC (Ultra-Mobile PC) 및 UMPC 내장 카메라를 이용하여 사용자의 얼굴 및 AAM (Active Appearance Model) 기반 얼굴 특징점 기반 시선 추적 연구를 수행하였다. 본 연구에서는 30명의 사용자를 대상으로 Adaboost 얼굴 검출기를 실험 결과, 약 L77도의 시선 오차를 발생하였으며, 이러한 오차는 UMPC의 작은 화면에서 세밀한 화면 제어가 어렵게 만드는 요소가 된다.

가설 설정

  • 본 연구에서는 사용자의 얼굴이 회전되는 경우가 많이 발생하기 때문에 검출된 얼굴 영역에서 가로, 세로 방향으로 일정한 간격으로 분할하였고, 가로 방향에서의 2 ~ 3번째 구간과 세로 방향에서의 4번째 구간을 기준으로 여분의 공간을 두어 사용자의 코의 위치가 충분히 들어오게 하였다. 먼저 사용자의 콧구멍을 기준으로 중심에 위치한다고 가정하고 진행하였다. 코끝의 위치를 추출하기 위해서는 이진화 과정을 먼저 진행하였다.
본문요약 정보가 도움이 되었나요?

참고문헌 (34)

  1. Jacob, R. and J. K, "Eye Movement-Based Human-Computer Interaction Techniques : Toward Non-Command Interfaces," Advances in Human-Computer Interaction, H. R. Hartson and D. Hix, Editors., Ablex Publishing Co., pp. 151-190, 1993. 

  2. L. E. Sibert, and R. J. K. Jacob, "Evaluation of Eye Gaze Interaction," Proceedings of the SIGCHI Conference, pp. 281-288, 2000. 

  3. Ohno, T. "Quick Menu Selection Task with Eye Mark," Transactions of Information Processing Society of Japan, Vol.40, No.2, pp. 602-612, 1999. 

  4. Yamato, M., Monden, A., Matsumoto, K., Inoue, K. and Torii, K, "Quick Button Selection with Eye Gazing for General GUI Environments," International Conference on Software: Theory and Practice, August 2000. 

  5. Andrew T. Duchowski, Vinay Shiva shankariah, Tim Rawls, Anand K.Gramopadhye, Brian J. Melloy, and Barbara Kanki, "Binocular Eye Tracking in Virtual Reality for Inspection Training," Proceedings of the 2000 Symposium on Eye Tracking Research & Applications, pp. 89-96, 2000. 

  6. Jeong Jun Lee, Kang Ryoung Park, and Jaihie Kim, "Gaze Detection System under HMD Environment for User Interface," Joint Conference of ICANN/ICONIP, June 2003. 

  7. 이의철, 박강령, "HMD (Head Mounted Display)에서 시선 추적을 통한 3차원 게임 조작 방법 연구," 대한전자공학회 논문지, 제 45권 2호 sp편, pp. 49-64, 2008년 3월. 

  8. Daniel Cheng and Roel Vertegaal, "An Eye for an Eye: A Performance Evaluation Comparison of the LC Technologies and Tobii Eye Trackers," Proceedings of ACM Eye Tracking Research and Applications Symposium, San Antonio, 2004. 

  9. Shen-Wen Shih, and Jin Liu, "A Novel Approach to 3-D Gaze Tracking Using Stereo Cameras," IEEE Transactions on System, Man, and Cybernetics Part B, Vol.34, No.1, pp. 234-245, Feb. 2004. 

  10. Dong Hyun Yoo and Myung Jin Chung, "Non-Intrusive Eye Gaze Estimation without Knowledge of Eye Pose," Proceedings of the Sixth IEEE International Conference on Automatic Face and Gesture Recognition, 2004. 

  11. 이의철, 박강령, “눈동자 시선 추적에 의한 3차원 1인칭 슈팅 게임,” 한국정보처리학회 논문지, 제12-B권 제4호, pp. 465-472, 2005년 8월. 

  12. "Method and Apparatus for Tracking Gaze Position," 미국 특허 출원 중 (출원 번호 : 11/91813, 출원일 : 2007.12.06), 발명자 (이의철 외) 

  13. Eui Chul Lee, and Kang Ryoung Park, "A Robust Eye Gaze Tracking Method based on Virtual Eyeball Model," Machine Vision and Applications, Vol.20, Issue 5, pp. 319-337, 2009. 

  14. Eui Chul Lee, and Kang Ryoung Park, "A Study on Eye Gaze Estimation Method Based on Cornea Model of Human Eye," Lecture Notes in Computer Science (MIRAGE 2007), Vol.4418, pp. 307-317, INRIA Rocquencourt, France, Mar. 28-30, 2007. 

  15. You Jin Ko, Eui Chul Lee, and Kang Ryoung Park, "A Robust Gaze Detection Method by Compensating for Facial Movements Based on Corneal Specularities,' Pattern Recognition Letters, Vol.29, Issue 10, pp. 1474-1485, 15 July 2008. 

  16. You Jin Ko, Eui Chul Lee, and Kang Ryoung Park, "A Study on Robust Eye Gaze Tracking System Allowing the Natural Facial Movements," ACCV'07 Workshop on Multidimensional and Multi-view Image Processing, Tokyo, 19 Nov. 2007. 

  17. 고유진, 이의철, 박강령, "적외선 환경에서 얼굴 및 눈동자 움직임이 자유로운 시선 위치 추적에 대한 연구," 2006년 한국 차세대컴퓨팅학회 논문 발표회, 일산 KINTEX, 2006.11.16-17. 

  18. 이의철, 박강령, "사용자 시선 추적을 통한 3차원 FPS 게임 화면 조정," 2006년 한국 차세대컴퓨팅학회 논문 발표회, 일산 KINTEX, 2006. 11. 16-17. 

  19. Eui Chul Lee, Kang Ryoung Park, Min Cheol Whang, and Junseok Park, "Robust Gaze Tracking Method for Stereoscopic Virtual Reality System," Lecture Notes in Computer Science (HCI International 2007), Vol.4552, pp. 700-709, Beijing, China, July 22-27, 2007. 

  20. Eui Chul Lee, Kang Ryoung Park, Min Cheol Whang, and Joa Sang Lim, "Vision-based Gaze Estimation Method For Stereoscopic Display Systems," Proceedings of 10th International Federation of Automatic Control (IFAC), Ritz-Carlton Hotel, Seoul, Korea, 4-6 Sep., 2007. 

  21. Eui Chul Lee, You Jin Ko and Kang Ryoung Park, "Gaze Tracking Based on AAM and Multiple SVR on Mobile Device," Optical Engineering, Vol. 48, No. 7, pp. 077002-1-077002-11, 2009. 

  22. P. Viola, M. J. Jones, "Robust Real-Time Face Detection," International Journal of Computer Vision, Vol.57, No.2, pp. 137-154, 2004. 

  23. You Jin Ko, "A Study on Gaze Detection Technology," A Master Thesis of Sangmyung University, 2009. 2. 

  24. Cootes, T. F., Edwards, G. J., and Taylor, C. J, "Active Appearance Models," IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol.23, No.6, pp. 681-685, 2001. 

  25. DTU(Technical university of Denmark) IMM face database, http://www2.imm.dtu.dk/~aam/(accessed on August 26, 2009) 

  26. K. Ando et al., "Effects of Phencyclidine, Secobarbital and Diazepam on Eye Tracking in Rhesus Monkeys," Psychopharmacology, Vol.81, No.4, pp. 295-300, 1983. 

  27. Dal-ho Cho, Kang Ryoung Park, Dae Woong Rhee, Yanggon Kim, and Jonghoon Yang, "Pupil and Iris Localization for Iris Recognition in Mobile Phones," Proceedings of SNPD, Las Vegas Nevada, USA, June 19-20, 2006. 

  28. 장영균, 강병준, 박강령, "홍채 인식을 위한 포물 허프 변환 기반 눈꺼풀 영역 검출 알고리즘," 대한전자공학회 논문지, 제 44권 SP편, 제01호, pp. 94-104, 2007년 1월 

  29. R. C. Gonzalez and R. E. Woods, Digital Image Processing, 2/E, Prentice Hall, 2002 

  30. Gregory A. Baxes, Digital Image Processing-Principles and Application, Wiley. 

  31. http://www.nbinside.com/sony/UX17LP/UX17LP.htm (accessed on August 26, 2009). 

  32. 이정준, 박강령, 김재희, "얼굴의 회전 및 이동분석에 의한 응시 위치파악," 대한전자공학회, 제 39권(SP편), 제5호, pp. 59-67, 2002년 9월. 

  33. Kenichi Ohue, Yukinori Yamada, Shigeyasu Uozumi, Setsuo Tokoro, Akira Hattori, and Takeshi Hayashi, "Development of a New Pre-crash Safety System," Proceedings of the Society of Automotive Engineers, Detroit, MI, USA, April 3-6, 2006. 

  34. Erik Murphy-Chutorian, Anup Doshi, and Mohan Manubhai Trivedi, "Head Pose Estimation for Driver Assistance Systems: A Robust Algorithm and Experimental Evaluation," Proceedings of the IEEE Intelligent Transportation Systems Conference, Seattle, WA, USA, Sept. 30 - Oct. 3, 2007. 

저자의 다른 논문 :

관련 콘텐츠

오픈액세스(OA) 유형

FREE

Free Access. 출판사/학술단체 등이 허락한 무료 공개 사이트를 통해 자유로운 이용이 가능한 논문

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로