[논문]상황 인식 기반 다중 영역 분류기 비접촉 인터페이스기술 개발

김송국; 이필규

doi:10.7236/jiibc.2020.20.6.175

상황 인식 기반 다중 영역 분류기 비접촉 인터페이스기술 개발
Technology Development for Non-Contact Interface of Multi-Region Classifier based on Context-Aware 원문보기

The journal of the institute of internet, broadcasting and communication : JIIBC, v.20 no.6, 2020년, pp.175 - 182

김송국 (인하대학교 컴퓨터정보공학과) , 이필규 (인하대학교 컴퓨터정보공학과)

초록
AI-Helper

비접촉식 시선추적 기술은 인간과 컴퓨터간의 인터페이스로서 장애가 있는 사람들에게 핸즈프리 통신을 제공하며, 최근 코로나 바이러스 등으로 인한 비접촉시스템에도 중요한 역할을 할 것으로 기대된다. 따라서 본 논문에서는 인간 중심의 상호 작용을 위한 상황인식 다중영역 분류기 및 ASSL 알고리즘을 기반으로 한 사용자 인터페이스 기술을 개발한다. 이전의 AdaBoost 알고리즘은 안구 특징 사이의 공간적 맥락 관계를 이용할 수 없기 때문에 눈의 커서 포인팅 추정을 위한 안면 추적에서 충분히 신뢰할 수 있는 성능을 제공 할 수 없다. 따라서 본 논문에서는 효율적인 비접촉식 시선 추적 및 마우스 구현을 위한 눈 영역의 상황기반 AdaBoost 다중 영역 분류기를 제시한다. 제안된 방식은 여러 시선 기능을 감지, 추적 및 집계하여 시선을 평가하고 온 스크린 커서 기반의 능동 및 반 감독 학습을 조정한다. 이는 눈 위치에 성공적으로 사용되었으며 눈 특징을 감지하고 추적하는 데에도 사용할 수 있다. 사용자의 시선을 따라 컴퓨터 커서를 제어하며 칼만 필터를 이용하여 실시간으로 추적하며, 가우시안 모델링을 적용함으로써 후처리하였다. Fits law에 의해 실험하였으며, 랜덤하게 대상객체를 생성하여 실시간으로 시선추적성능을 분석하였다. 제안하는 상황인식을 기반 인식기를 통하여 비접촉 인터페이스로서의 활용이 높아질 것이다.

Abstract ▼ AI-Helper

The non-contact eye tracking is a nonintrusive human-computer interface providing hands-free communications for people with severe disabilities. Recently. it is expected to do an important role in non-contact systems due to the recent coronavirus COVID-19, etc. This paper proposes a novel approach for an eye mouse using an eye tracking method based on a context-aware based AdaBoost multi-region classifier and ASSL algorithm. The conventional AdaBoost algorithm, however, cannot provide sufficiently reliable performance in face tracking for eye cursor pointing estimation, because it cannot take advantage of the spatial context relations among facial features. Therefore, we propose the eye-region context based AdaBoost multiple classifier for the efficient non-contact gaze tracking and mouse implementation. The proposed method detects, tracks, and aggregates various eye features to evaluate the gaze and adjusts active and semi-supervised learning based on the on-screen cursor. The proposed system has been successfully employed in eye location, and it can also be used to detect and track eye features. This system controls the computer cursor along the user's gaze and it was postprocessing by applying Gaussian modeling to prevent shaking during the real-time tracking using Kalman filter. In this system, target objects were randomly generated and the eye tracking performance was analyzed according to the Fits law in real time. It is expected that the utilization of non-contact interfaces.

주제어

표/그림 (10)

그림 그림 1. 시선 추정을 위한 아이 마우스의 흐름도 Fig. 1. Flow diagram of the proposed eye mouse for gaze estimation
그림 그림 2. 시선 추적을 위한 이미지 예 . Fig. 2. image sample of eye region for eye tracking
그림 그림. 3. 눈의 공간적 상황인식을 위한 분석 Fig. 3. Eye region: the iris and the eye's corner are internal landmarks
그림 그림 4. 실시간 시선 검출 결과 Fig. 4. eye detection in real time system.
그림 그림 5. 시선추적 테스트를 위한 UI Fig. 5. Testing UI for eye tracking GUI of five patterns traced by an eye mouse
그림 그림 6. 5개 패턴에 대한 시선추적 예 Fig. 6. Example of five patterns traced by an eye traking
그림 그림 7. 패턴에 대한 대상 크기에 따른 이동시간 Fig. 7. Graphical representation of the elapsed times in moving the eye
그림 그림 8. 시선추적을 위한 난이도지수 Fig. 8. Graph of normalized difficulty index for cursor pointing
표 표 1. 제안하는 방법에서의 속도 Table 1. Speed of proposed method
표 표 2. 마우스를 사용했을 때의 속도 Table 2. Speed of mouse interface

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 눈 시선을 추정하고 화면 커서 기반의 능동 및 반감독 학습을 조정하기 위해 다중 눈 검출기능 을 제안하였다. 본 논문은 웹 카메라와 함께 시선추적을 위한 눈의 상황정보를 이용한 다중 영역 분류기 및 ASSL(active semi supervised learning)를 사용하여 눈 영역을 추정하며, 실시간 추적 성능 향상을 위하여 칼만필터와 가우시안 모델을 적용함으로써 실시간 추적 성능을 향상하였다.

제안 방법

본 논문은 눈 영역 감지, 시선 추적 및 마우스 제어, 세 부분으로 구성된다. 눈 영역 검출의 정확도를 높이기 위해 제안된 방법을 눈 영역 감지 부에 적용한다. 그림 1은 컴퓨터 커서 제어를 위한 눈-마우스 시선 추정의 흐름도를 나타낸다.
본 논문에서는 눈에 대한 공간적 상황 인식 기반 다중 영역 인식 알고리즘을 기반으로 하는 눈 추적 방법을 사용하는 눈 마우스 시스템을 제안한다. 정확도를 높이기 위해 ASSL(Adaptive Semi-Supervised Learning)방 법을 적용한다.
정확도를 높이기 위해 ASSL(Adaptive Semi-Supervised Learning)방 법을 적용한다. 본 논문은 눈 영역 감지, 시선 추적 및 마우스 제어, 세 부분으로 구성된다. 눈 영역 검출의 정확도를 높이기 위해 제안된 방법을 눈 영역 감지 부에 적용한다.
본 논문에서는 눈 시선을 추정하고 화면 커서 기반의 능동 및 반감독 학습을 조정하기 위해 다중 눈 검출기능 을 제안하였다. 본 논문은 웹 카메라와 함께 시선추적을 위한 눈의 상황정보를 이용한 다중 영역 분류기 및 ASSL(active semi supervised learning)를 사용하여 눈 영역을 추정하며, 실시간 추적 성능 향상을 위하여 칼만필터와 가우시안 모델을 적용함으로써 실시간 추적 성능을 향상하였다. 상황 인식 기능과 상호 연결되어 눈 특징 추적에서 안정적인 성능을 수행하였다.
제안된 상황 인식 기반 다중 분류기는 눈 특징점을 감지 및 추적하고 눈 움직임을 추적하여 영상 프레임에 대한 시선을 추정한다. 제안된 다중 영역의 눈 특징에 대한 상황 인식 기반의 AdaBoost 알고리즘과 시선추적을 위한 눈 특징 영역을 잘 검출할 수 있었으며, 인접한 눈 특징에 대한 공간 상황 정보에 따라 시스템 성능을 최적 화 할 수 있다.
제안된 다중 영역의 눈 특징에 대한 상황 인식 기반의 AdaBoost 알고리즘과 시선추적을 위한 눈 특징 영역을 잘 검출할 수 있었으며, 인접한 눈 특징에 대한 공간 상황 정보에 따라 시스템 성능을 최적 화 할 수 있다. 추적의 안정화를 위하여 가우시안 필터를 적용하여 후처리하였으며, 다양한 상황에서 눈 마우스 기능을 테스트하기 위해 ASSL을 적용하였으며, 온 스크린 커서 제어를 위한 눈 특징 추적에서 효율적인인터페이스 기능을 제공한다.

대상 데이터

학습 데이터는 커서 포인팅을 위한 눈 움직임의 위치를 예상하여 수집하였다. 상황인식 다중 인식 기 학습을 위해 그림 1과 같이 눈 영역을 포함하는 1022 개의 양성 샘플 이미지와 2000개의 음성 샘플(눈이 없는)을 생성하였다.
여기서 시작 객체 0은 대상 객체 n과 동일하다. 실험은 10 명의 테스터를 대상으로 진행되었으며 5 개의 대상 물체 패턴 (pattern1에서 )이 무작위로 생성되었다.
양성 이미지는 스윙각도를 갖는 112 개의 영상을 포함하였다. 학습 데이터 세트에서 노이즈 샘플을 제거하여 정확도를 높이기 위해 ASSL 방법을 적용하였다.

이론/모형

본 논문에서는 사용자 인터페이스 결과를 분석하기 위하여 Fitts의 법칙을 적용하였다. Fitts의 법칙은 화면상의 포인팅과 관련된 속도 정확도를 모델링하기 위한 포인트 앤 클릭 및 드래그 앤 드롭 방식의 그래픽 사용자 인터페이스 (GUI 그림 5 참조) 설계 모델링에 사용되었 다.
비접촉 인터페이스를 위한 실시간 시선 추적 및 커서 제어를 위하여 눈 영역이 검출되고 나면 다음 프레임에서 눈 특징 요소의 검색 시간을 줄이기 위해 Kalman 필터를 적용하였다. 눈 마우스의 성능은 추적 영역의 크기, 일치하는 템플릿의 크기 및 복잡성, 추정된 목표 특징점의 정확도, 특징점의 속도 및 목표 특징점의 특성에 의해 영향을 받는다.
본 논문에서는 눈에 대한 공간적 상황 인식 기반 다중 영역 인식 알고리즘을 기반으로 하는 눈 추적 방법을 사용하는 눈 마우스 시스템을 제안한다. 정확도를 높이기 위해 ASSL(Adaptive Semi-Supervised Learning)방 법을 적용한다. 본 논문은 눈 영역 감지, 시선 추적 및 마우스 제어, 세 부분으로 구성된다.
양성 이미지는 스윙각도를 갖는 112 개의 영상을 포함하였다. 학습 데이터 세트에서 노이즈 샘플을 제거하여 정확도를 높이기 위해 ASSL 방법을 적용하였다. 그림 4 에서 실시간 시스템에서의 눈 영역의 검출 및 시선 검출 결과를 나타내었다.

성능/효과

실험 결과 눈 포인팅에서 우수한 성능을 보였고 난이도는 대상 크기에 반비례한다는 것을 확인할 수 있었다. 객체의 크기가 클 때 인터페이스 반응속도가 빨라짐을 알 수 있었으며 우리는 제안된 시스템의 UI에서 포인팅 속도가 마우스 트래킹보다 빠름을 알 수 있었다. 장애인을 위한 네비게이션 시스템 뿐 아니라, 최근의 펜더믹 상황에서의 중요한 기술로써 활용될 것으로 보인다.
다음 프레임에서 타겟이 되는 눈 구성 요소의 대략적인 위치를 추정 할 때 현재 상태 벡터에 따라 수행되고 예상 지점의 좌표로부터, 추적 영역은 대상 물체 검출을 위한 관심 영역으로서 감소될 수 있다. 본 시스템에서 눈 영역에서의 추적 속도를 향상시킬 수 있었다.
본 논문은 웹 카메라와 함께 시선추적을 위한 눈의 상황정보를 이용한 다중 영역 분류기 및 ASSL(active semi supervised learning)를 사용하여 눈 영역을 추정하며, 실시간 추적 성능 향상을 위하여 칼만필터와 가우시안 모델을 적용함으로써 실시간 추적 성능을 향상하였다. 상황 인식 기능과 상호 연결되어 눈 특징 추적에서 안정적인 성능을 수행하였다. 실험 결과 눈 포인팅에서 우수한 성능을 보였고 난이도는 대상 크기에 반비례한다는 것을 확인할 수 있었다.
상황 인식 기능과 상호 연결되어 눈 특징 추적에서 안정적인 성능을 수행하였다. 실험 결과 눈 포인팅에서 우수한 성능을 보였고 난이도는 대상 크기에 반비례한다는 것을 확인할 수 있었다. 객체의 크기가 클 때 인터페이스 반응속도가 빨라짐을 알 수 있었으며 우리는 제안된 시스템의 UI에서 포인팅 속도가 마우스 트래킹보다 빠름을 알 수 있었다.
제안된 상황 인식 기반 다중 분류기는 눈 특징점을 감지 및 추적하고 눈 움직임을 추적하여 영상 프레임에 대한 시선을 추정한다. 제안된 다중 영역의 눈 특징에 대한 상황 인식 기반의 AdaBoost 알고리즘과 시선추적을 위한 눈 특징 영역을 잘 검출할 수 있었으며, 인접한 눈 특징에 대한 공간 상황 정보에 따라 시스템 성능을 최적 화 할 수 있다. 추적의 안정화를 위하여 가우시안 필터를 적용하여 후처리하였으며, 다양한 상황에서 눈 마우스 기능을 테스트하기 위해 ASSL을 적용하였으며, 온 스크린 커서 제어를 위한 눈 특징 추적에서 효율적인인터페이스 기능을 제공한다.

후속연구

그러나 요즘과 같은 판데믹 상황에서의 비접촉, 비대면 인터페이스로 서의 기능도 중요한 역할을 할 것으로 보인다. 또한 최근 들어 장애인을 위한 네비게이션등의 기술 개발도 활발히 이루어지고 있으므로, 시선 추적에 의한 비접촉식 인터페 이스 기술이 더 활용도가 높아질 것으로 기대된다.
객체의 크기가 클 때 인터페이스 반응속도가 빨라짐을 알 수 있었으며 우리는 제안된 시스템의 UI에서 포인팅 속도가 마우스 트래킹보다 빠름을 알 수 있었다. 장애인을 위한 네비게이션 시스템 뿐 아니라, 최근의 펜더믹 상황에서의 중요한 기술로써 활용될 것으로 보인다.

참고문헌 (30)

T. Nagamatsu T, M. Yamamoto, H. Sato, MobiGaze Development of a Gaze Interface for Handheld Mobile Devices. CHI'10 Ext Abstr Hum Factors Comput Syst 3349-3354, 2010. DOI: https://doi.org /10.1145/1753846.1753983
PK. Rhee, MY. Nam, L. Wang, Pupil location and movement measurement for efficient emotional sensibility analysis. 2010 IEEE Int Symp Signal Process Inf Technol ISSPIT 2010, pp.1–6, 2010. DOI:https://doi.org/ 10.1109/ISSPIT.2010.5711736
R.G. Bozomitu, A. Pasarica, D. Tarniceriu and C. Rotariu, Development of an Eye Tracking-Based Human-Computer Interface for Real-Time Applications, Sensors, Vol.19, 2019. DOI:https:/ /doi.org/ 10.3390/s19163630.

상세보기
J. Xu, X. Zhang, and M. Zhou, A High-Security and Smart Interaction System Based on Hand Gesture Recognition for Internet of Things, Security and Communication Networks, 2018. DOI:https://doi.org/10.1155/ 2018/4879496

상세보기
T. Morris, V. Chauhan, Facial feature tracking for cursor control. J Netw Comput Appl 29:62–80 , 2006. DOI: https://doi.org/10.1016/j.jnca.2004.07.003

상세보기
Y. Fu, T.S.Huang, HMouse: Head tracking driven virtual computer mouse. In: Proceedings – IEEE Workshop on Applications of Computer Vision, WACV 2007, 2007.
CZ.Li, CK. Kim, JS. Park, The indirect keyboard control system by using the gaze tracing based on haar classifier in opencv. In: Proceedings - 2009 International Forum on Information Technology and Applications, IFITA 2009. pp 362–366, 2009.
A. Bulling, H. Gellersen, Toward mobile eye-based human-computer interaction. IEEE Pervasive Comput Vol.9, pp8–12, 2010. DOI: https:// doi.org/10.1109/MPRV.2010.86

상세보기
E.Miluzzo, T.Wang , AT.Campbell, Communication a CMSIG on D, EyePhone: Activating Mobile Phones with Your Eyes. Work Networking, Syst Appl Mob Handhelds, pp15–20,2010. DOI:https://doi.org/10.1145/ 1851322.1851328
W. Sewell W, Komogortsev O, Real-time eye gaze tracking with an unmodified commodity webcam employing a neural network. In: Proceedings of the 28th of the international conference extended abstracts on Human factors in computing systems - CHI EA '10. p 3739, 2010.
Bulling A, Roggen D, Troster G,What's in the eyes for context-awareness? IEEE Pervasive Comput., Vol.10, pp.48–57, 2011. DOI:https://doi .org/10.1109/MPRV.2010.49

상세보기
Hansen DW, Ji Q, In the Eye of the Beholder: A Survey of Models for Eyes and Gaze. IEEE Trans Pattern Anal Mach Intell., Vol.32, pp.478–500, 2010. DOI:https://doi.org/10.1109/TPAMI.2009.30

상세보기
Duchowski AT, A breadth-first survey of eye-tracking applications. Behav Res Methods, Instruments, Comput., Vol.34, pp.455–470, 2002. DOI:https://doi.org/10.3758/BF03195475

상세보기
Wang JG, Sung E, Study on eye gaze estimation. IEEE Trans Syst Man, Cybern Part B Cybern, Vol.32, pp.332–350, 2002. DOI:https://doi.org/10.1 109/TSMCB.2002.999809

상세보기
Truong MTN, Kim S, Parallel implementation of color-based particle filter for object tracking in embedded systems. Human-centric Comput. Inf. Sci. 7, 2017.
Zhiwei Zhu, Qiang Ji,Novel Eye Gaze Tracking Techniques Under Natural Head Movement. IEEE Trans Biomed Eng., Vol.54, pp.2246–2260, 2007. DOI:https://doi.org/10.1109/TBME.2007.895750

상세보기
Guestrin ED, Eizenman M, General theory of remote gaze estimation using the pupil center and corneal reflections. IEEE Trans Biomed Eng., Vol.53, pp.1124–1133, 2006. DOI:https://doi.org/10.1109/TBM E.2005.863952

상세보기
Model D, Eizenman M, An automatic personal calibration procedure for advanced gaze estimation systems. IEEE Trans Biomed Eng., Vol.57, pp.1031–1039, 2009. DOI:https://doi.org/10.1109/TBME. 2009.2039351

상세보기
Morimoto CH, Mimica MRM, Eye gaze tracking techniques for interactive applications. Comput Vis Image Underst., Vol.98, pp.4–24, 2005. DOI:https://doi.org/10.1016/j.cviu.2004.07.010

상세보기
Hong S, Khim S, Rhee PK, Efficient facial landmark localization using spatial-contextual AdaBoost algorithm. J Vis Commun Image Represent., Vol.25, pp.1366–1377, 2014.DOI: https://doi.org/10.1016/j.jvcir.2014.05.001

상세보기
Lohse GL, Consumer eye movement patterns on yellow pages advertising. J Advert, Vol.26, pp.61–73, 1997. DOI: https://doi.org/10.1080/00913367.1997.10673518

상세보기
Rayner K, Clifton C, Irwin D, Rayner K, Eye movements in reading and information processing: 20 years of research. Psychol Bull, Vol.124, pp.372–422, 1998. DOI: https://doi.org/10.1037/0033 -2909. 124.3.372

상세보기
Goldberg JH, Kotval XP, Computer interface evaluation using eye movements: Methods and constructs. Int J Ind Ergon, Vol.24, pp.631–645, 1999. DOI: https://doi.org/10.1016/S0169 –8141(98)00068-7

상세보기
Eizenman M, Yu LH, Grupp L, et al, A naturalistic visual scanning approach to assess selective attention in major depressive disorder. Psychiatry Res, pp.117–128, 2003. DOI: https://doi.org/10.1016/S0165-1781(03)00068-4

상세보기
Graham ED, MacKenzie CL, Pointing on a computer display. Proc. 13th Conf Hum Factors Comput Syst -CHI '95, pp314–315, 1995. DOI: https://doi.org/10.1145/223355.223691
MacKenzie IS (1992) Fitts' Law as a Research and Design Tool in Human-Computer Interaction. Human–Computer Interact Vol.7, pp91–139, 1992. DOI:https://doi.org/10.1207/s15327051hci0701_3

상세보기
Fitts PM, The information capacity of the human motor system in controlling the amplitude of movement. J Exp Psychol, Vol.47, pp.381–391, 1954. DOI: https://doi.org/10.1037/h0055392

상세보기
Tae-Yang Kim, A study on the effects of digital content marketing in OTT (Over The Top) service platform : focusing on indirect advertising types, JIBS, Vol. 20, No. 4, pp.155-164,2020. DOI: https:// doi.org/10.7236/JIIBC
Gi-Woo Kim, Dea-Seong Kang, An Implementation of Object Detection and Tracking Algorithm Using a Fusion Method of SURF and Kalman Filter." The Journal of KIIT, Vol. 13, No. 2, pp. 59-64, 2015. DOI: 10.14801/jkiit.2015.13.2.59

상세보기
Suk-Tea Kim, Spatial Structure Analysis of View Angle Correction reflecting Characteristics of Universal Observation " Journal of the Korea Academia-Industrial cooperation Society(JKAIS), Vol. 16, No. 10, pp. 6917-6924, 2015."DOI : http://dx.doi.org/10.5762/KAIS.2015.16.10.6917

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증