스마트폰이 채택하고 있는 터치 인터페이스는 기존 피처폰 및 PC에서 채택하던 키패드나 키보드를 전면 대체하는 대중적인 인터페이스로 자리 잡았다. 특히, 터치 인터페이스는 개인별 다양한 동작 인식이 가능하고 애플리케이션별 입력 데이터 특성이 뚜렷이 구분되는 인터페이스이다. 본 논문에서는 스마트폰의 터치 인터페이스를 통해 나타나는 애플리케이션별 사용자 제스처를 분석한다. 특히, 안드로이드 스마트폰에서 널리 사용되는 게임, 웹 브라우져, 유튜브, 이미지 및 e-book 뷰어, 비디오 플레이어, 카메라, 지도 등 대표적인 애플리케이션 카테고리 별로 터치 인터페이스를 통해 입력되는 데이터를 추출하고 이를 분석하였다. 분석 결과 애플리케이션별로 고유한 터치 입력 패턴을 추출할 수 있었으며, 이를 통해 어떤 사용자가 어떤 애플리케이션을 수행했는지를 식별하는 용도, 소유자와 다른 입력 패턴이 들어올 경우 애플리케이션을 차단하는 용도, 나아가 사용자에게 편리한 새로운 인터페이스를 설계하는 용도 등에 본 연구의 결과가 활용될 수 있을 것으로 기대된다.
스마트폰이 채택하고 있는 터치 인터페이스는 기존 피처폰 및 PC에서 채택하던 키패드나 키보드를 전면 대체하는 대중적인 인터페이스로 자리 잡았다. 특히, 터치 인터페이스는 개인별 다양한 동작 인식이 가능하고 애플리케이션별 입력 데이터 특성이 뚜렷이 구분되는 인터페이스이다. 본 논문에서는 스마트폰의 터치 인터페이스를 통해 나타나는 애플리케이션별 사용자 제스처를 분석한다. 특히, 안드로이드 스마트폰에서 널리 사용되는 게임, 웹 브라우져, 유튜브, 이미지 및 e-book 뷰어, 비디오 플레이어, 카메라, 지도 등 대표적인 애플리케이션 카테고리 별로 터치 인터페이스를 통해 입력되는 데이터를 추출하고 이를 분석하였다. 분석 결과 애플리케이션별로 고유한 터치 입력 패턴을 추출할 수 있었으며, 이를 통해 어떤 사용자가 어떤 애플리케이션을 수행했는지를 식별하는 용도, 소유자와 다른 입력 패턴이 들어올 경우 애플리케이션을 차단하는 용도, 나아가 사용자에게 편리한 새로운 인터페이스를 설계하는 용도 등에 본 연구의 결과가 활용될 수 있을 것으로 기대된다.
Touch interface is widely used in a smartphone instead of a keyboard or a keypad interface that has been adopted in a PC or a featurephone, respectively. Touch interface can recognize a variety of gestures that clearly represent the distinct features of each application's input. This paper analyzes ...
Touch interface is widely used in a smartphone instead of a keyboard or a keypad interface that has been adopted in a PC or a featurephone, respectively. Touch interface can recognize a variety of gestures that clearly represent the distinct features of each application's input. This paper analyzes users' gesture of each application captured by the touch interface of a smartphone. Specifically, we extract touch input traces from various application categories such as game, web browser, youtube, image and e-book viewer, video player, camera, and map applications, and then analyzed them. Through this analysis, we observed a certain unique characteristics of each application's touch input, and this can be utilized in various useful areas such as identification of an application user, prevention of running an application by an illegal user, or design of a new interface convenient to a specific user.
Touch interface is widely used in a smartphone instead of a keyboard or a keypad interface that has been adopted in a PC or a featurephone, respectively. Touch interface can recognize a variety of gestures that clearly represent the distinct features of each application's input. This paper analyzes users' gesture of each application captured by the touch interface of a smartphone. Specifically, we extract touch input traces from various application categories such as game, web browser, youtube, image and e-book viewer, video player, camera, and map applications, and then analyzed them. Through this analysis, we observed a certain unique characteristics of each application's touch input, and this can be utilized in various useful areas such as identification of an application user, prevention of running an application by an illegal user, or design of a new interface convenient to a specific user.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문의 향후 연구로는 애플리케이션을 식별하는 프레임워크를 개발하고 이를 사용자 터치 입력 특성에 따라 세분하는 작업을 수행하고자 한다. 나아가 보다 편리한 스마트폰 입력 인터페이스 개발에 본 연구의 결과를 활용하고자 한다.
본 논문에서는 스마트폰 사용자의 애플리케이션별 터치 데이터를 추출하여 이를 사용자 제스처 별로 분석하는 작업을 수행하였다. 게임은 각 게임마다 고유의 입력버튼에 근거한 터치 데이터가 나타났으며, 웹 브라우저의 경우 스크롤을 위한 사선 방향의 제스처가, 뷰어의 경우에는 좌우 방향의 제스처가 많이 나타나는 것을 확인할 수 있었다.
본 논문에서는 스마트폰의 터치 인터페이스를 통해 나타나는 애플리케이션별 사용자 제스처를 분석한다. 특히, 안드로이드 스마트폰에서 널리 사용되는 게임, 웹 브라우져, 이미지 및 e-book 뷰어, 비디오 플레이어, 카메라, 지도 등 대표적인 애플리케이션 카테고리 별로 터치 인터페이스의 데이터를 추출하고 이를 분석하는 작업을 수행하였다.
본 논문의 향후 연구로는 애플리케이션을 식별하는 프레임워크를 개발하고 이를 사용자 터치 입력 특성에 따라 세분하는 작업을 수행하고자 한다. 나아가 보다 편리한 스마트폰 입력 인터페이스 개발에 본 연구의 결과를 활용하고자 한다.
본 장에서는 스마트폰의 각종 애플리케이션들에서 터치 인터페이스를 통해 입력된 데이터를 수집하고 이를 분석한 결과에 대해 기술한다. 본 논문에서는 사용자가 많이 사용하는 애플리케이션을 게임, 웹 브라우저, 이미지 뷰어, e-book 뷰어, 비디오 플레이어, 카메라, 지도 카테고리 등으로 분류하고 각 애플리케이션별 사용자 터치 데이터를 추출하여, 추출 데이터에 나타난 사용자의 제스처를 분석하였다.
제안 방법
본 장에서는 스마트폰의 각종 애플리케이션들에서 터치 인터페이스를 통해 입력된 데이터를 수집하고 이를 분석한 결과에 대해 기술한다. 본 논문에서는 사용자가 많이 사용하는 애플리케이션을 게임, 웹 브라우저, 이미지 뷰어, e-book 뷰어, 비디오 플레이어, 카메라, 지도 카테고리 등으로 분류하고 각 애플리케이션별 사용자 터치 데이터를 추출하여, 추출 데이터에 나타난 사용자의 제스처를 분석하였다. 사용자 터치 데이터 추출은 안드로이드 4.
본 연구에서는 센서 데이터를 사용하는 대신 터치 데이터를 활용하여 사용자 구분 및 애플리케이션 식별을 수행한다는 점에서 기존 연구와 차별화된다.
본 논문에서는 스마트폰의 터치 인터페이스를 통해 나타나는 애플리케이션별 사용자 제스처를 분석한다. 특히, 안드로이드 스마트폰에서 널리 사용되는 게임, 웹 브라우져, 이미지 및 e-book 뷰어, 비디오 플레이어, 카메라, 지도 등 대표적인 애플리케이션 카테고리 별로 터치 인터페이스의 데이터를 추출하고 이를 분석하는 작업을 수행하였다. 분석 결과 애플리케이션별로 고유한 터치 입력 패턴이 나타나는 것을 확인할 수 있었다.
대상 데이터
게임 애플리케이션으로는 AngryBird와 Pokopang을 선정하였다. 그림 2(a)과 그림 2(b)는 각각 사용자가 AngryBird와 Pokopang를 실행할 때 좌표별로 터치 입력이 들어온 분포를 표시한 그림이다.
웹 브라우저의 경우 많이 사용하는 포털사이트와 youtube를 대상으로 터치 데이터를 조사하였다. 그림 3은 사용자가 포털 사이트에 접근하는 동안의 터치 입력 데이터를 보여주고 있다.
지도 애플리케이션을 사용한 터치 데이터는 앞 절에서 보던 애플리케이션의 터치 데이터와는 달리 다소 불규칙적인 데이터들로 구성되어 있다. 이는 특정 제스처를 많이 사용하는 애플리케이션과 달리 지도 애플리케이션은 터치, 상하 스크롤, 좌우 스크롤, 화면 확대, 축소 등의 제스처를 모두 사용하기 때문이다.
이론/모형
본 논문에서는 사용자가 많이 사용하는 애플리케이션을 게임, 웹 브라우저, 이미지 뷰어, e-book 뷰어, 비디오 플레이어, 카메라, 지도 카테고리 등으로 분류하고 각 애플리케이션별 사용자 터치 데이터를 추출하여, 추출 데이터에 나타난 사용자의 제스처를 분석하였다. 사용자 터치 데이터 추출은 안드로이드 4.4 KiKat Nexus 5를 사용하고 안드로이드에서 제공하는 ADB Tool을 이용하였다.
성능/효과
본 논문에서는 스마트폰 사용자의 애플리케이션별 터치 데이터를 추출하여 이를 사용자 제스처 별로 분석하는 작업을 수행하였다. 게임은 각 게임마다 고유의 입력버튼에 근거한 터치 데이터가 나타났으며, 웹 브라우저의 경우 스크롤을 위한 사선 방향의 제스처가, 뷰어의 경우에는 좌우 방향의 제스처가 많이 나타나는 것을 확인할 수 있었다. 또한, 동영상 및 카메라 애플리케이션에서는 터치 데이터가 별로 나타나지 않았으나, 줌인, 동영상 탐색, 촬영 버튼 클릭 등 일부 특징적인 동작을 명확하게 확인할 수 있었다.
게임은 각 게임마다 고유의 입력버튼에 근거한 터치 데이터가 나타났으며, 웹 브라우저의 경우 스크롤을 위한 사선 방향의 제스처가, 뷰어의 경우에는 좌우 방향의 제스처가 많이 나타나는 것을 확인할 수 있었다. 또한, 동영상 및 카메라 애플리케이션에서는 터치 데이터가 별로 나타나지 않았으나, 줌인, 동영상 탐색, 촬영 버튼 클릭 등 일부 특징적인 동작을 명확하게 확인할 수 있었다. 지도 애플리케이션의 경우 다수의 불규칙적인 터치 입력이 나타났으며, 이는 다양한 동작이 종합적으로 나타났기 때문으로 분석할 수 있다.
특히, 안드로이드 스마트폰에서 널리 사용되는 게임, 웹 브라우져, 이미지 및 e-book 뷰어, 비디오 플레이어, 카메라, 지도 등 대표적인 애플리케이션 카테고리 별로 터치 인터페이스의 데이터를 추출하고 이를 분석하는 작업을 수행하였다. 분석 결과 애플리케이션별로 고유한 터치 입력 패턴이 나타나는 것을 확인할 수 있었다. 본 논문의 분석 결과는 어떤 사용자가 어떤 애플리케이션을 수행했는지를 식별하는 용도로 활용될 수 있을 것이다.
후속연구
또한, 사용자에 따라 터치 입력 패턴이 다르게 나타나기 때문에 각 사용자별 애플리케이션 터치 입력 패턴을 통해 어떤 사용자가 어떤 애플리케이션을 수행했는지를 식별하는 작업이 가능할 것이다. 현재, 스마트폰의 개인정보 보호를 위해 본인 식별용 패스워드 또는 패턴 입력 등이 요구되고 있으나 악의적인 사용자가 이를 알아낸 후 몰래 애플리케이션을 수행시키거나 데이터를 도용할 경우 이를 확인하는 작업은 쉽지 않다.
분석 결과 애플리케이션별로 고유한 터치 입력 패턴이 나타나는 것을 확인할 수 있었다. 본 논문의 분석 결과는 어떤 사용자가 어떤 애플리케이션을 수행했는지를 식별하는 용도로 활용될 수 있을 것이다. 특히, 개인용 기기인 스마트폰에서 본인 식별용 패스워드 또는 패턴이 도용될 경우 심각한 사생활 침해 문제가 발생할 수 있는데 스마트폰의 소유자와 다른 입력 패턴이 들어올 경우 애플리케이션 실행을 차단하는 응용, 범죄가 발생했을 경우 입력 패턴을 수사에 활용하는 디지털 포렌식 응용 등에 본 연구의 결과가 활용될 수 있을 것으로 기대된다.
특히, 최근 스마트폰에 개인의 신용카드, 공인인증서 등 각종 금융 정보들이 보관되고 소셜 네트워크 서비스 등 사적인 정보가 다수 저장되는 점을 고려할 때 악의적인 사용자뿐 아니라 가족 간의 사생활 침해 문제도 점점 심각해지고 있다. 본 논문의 분석은 동일한 애플리케이션이 실행되더라도 사용자별 터치 입력 패턴이 다르다는 점을 이용하여 개인용 기기인 스마트폰을 타인이 도용하는지를 식별할 수 있는 바탕이 될 수 있을 것이다. 이러한 기반 기술을 통해 원래 사용자와 다른 입력 패턴이 들어올 경우 애플리케이션 실행을 차단하는 응용, 범죄가 발생했을 경우 입력 패턴을 수사에 활용하는 디지털 포렌식 응용 등에 본 연구의 결과가 활용될 수 있을 것으로 기대된다.
지도 애플리케이션의 경우 다수의 불규칙적인 터치 입력이 나타났으며, 이는 다양한 동작이 종합적으로 나타났기 때문으로 분석할 수 있다. 본 논문의 분석을 통해 애플리케이션마다 어떤 제스처가 사용되고 있는지를 분석할 수 있었으며, 나아가 터치 입력 데이터를 통해 애플리케이션을 식별하는 것이 가능할 것으로 보인다.
특히, 개인용 기기인 스마트폰에서 본인 식별용 패스워드 또는 패턴이 도용될 경우 심각한 사생활 침해 문제가 발생할 수 있는데 스마트폰의 소유자와 다른 입력 패턴이 들어올 경우 애플리케이션 실행을 차단하는 응용, 범죄가 발생했을 경우 입력 패턴을 수사에 활용하는 디지털 포렌식 응용 등에 본 연구의 결과가 활용될 수 있을 것으로 기대된다. 뿐만 아니라 새로운 터치 인터페이스 설계에도 본 연구의 결과가 활용될 수 있을 것이다. 특히, 개별 사용자에게 편리한 맞춤형 인터페이스 설계를 위한 기반이 될 수 있을 것으로 기대된다.
본 논문의 분석은 동일한 애플리케이션이 실행되더라도 사용자별 터치 입력 패턴이 다르다는 점을 이용하여 개인용 기기인 스마트폰을 타인이 도용하는지를 식별할 수 있는 바탕이 될 수 있을 것이다. 이러한 기반 기술을 통해 원래 사용자와 다른 입력 패턴이 들어올 경우 애플리케이션 실행을 차단하는 응용, 범죄가 발생했을 경우 입력 패턴을 수사에 활용하는 디지털 포렌식 응용 등에 본 연구의 결과가 활용될 수 있을 것으로 기대된다.
인간에게 지문이 있듯이 스마트폰 애플리케이션마다 고유의 터치 입력 패턴이 나타나기 때문에 본 논문이 수행한 터치 패턴 분석 결과를 통해 어떤 애플리케이션이 수행되었는지를 식별하는 작업이 가능할 것으로 기대된다.
뿐만 아니라 새로운 터치 인터페이스 설계에도 본 연구의 결과가 활용될 수 있을 것이다. 특히, 개별 사용자에게 편리한 맞춤형 인터페이스 설계를 위한 기반이 될 수 있을 것으로 기대된다.
본 논문의 분석 결과는 어떤 사용자가 어떤 애플리케이션을 수행했는지를 식별하는 용도로 활용될 수 있을 것이다. 특히, 개인용 기기인 스마트폰에서 본인 식별용 패스워드 또는 패턴이 도용될 경우 심각한 사생활 침해 문제가 발생할 수 있는데 스마트폰의 소유자와 다른 입력 패턴이 들어올 경우 애플리케이션 실행을 차단하는 응용, 범죄가 발생했을 경우 입력 패턴을 수사에 활용하는 디지털 포렌식 응용 등에 본 연구의 결과가 활용될 수 있을 것으로 기대된다. 뿐만 아니라 새로운 터치 인터페이스 설계에도 본 연구의 결과가 활용될 수 있을 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
정교한 제스쳐의 인식이 가능한 것은?
스마트폰에서는 입력장치로 기존 PC와 피처폰이 채택하던 키보드, 키패드가 아닌 터치 인터페이스를 사용한다(그림 1). 터치 인터페이스는 사용자에게 편리한 인터페이스를 제공할 뿐 아니라 정교한 제스쳐의 인식이 가능하기 때문에 사용자 인식 및 정교한 입력을 필요로 하는 애플리케이션에서 널리 활용된다[1]. 이에 스마트폰이 활성화된 이후 터치 인터페이스 동향 및 기술 연구가 활발히 진행되고 있다.
터치 인터페이스는 무엇인가?
스마트폰이 채택하고 있는 터치 인터페이스는 기존 피처폰 및 PC에서 채택하던 키패드나 키보드를 전면 대체하는 대중적인 인터페이스로 자리 잡았다. 특히, 터치 인터페이스는 개인별 다양한 동작 인식이 가능하고 애플리케이션별 입력 데이터 특성이 뚜렷이 구분되는 인터페이스이다. 본 논문에서는 스마트폰의 터치 인터페이스를 통해 나타나는 애플리케이션별 사용자 제스처를 분석한다.
터치 제스처를 활용한 사용자 식별 연구는 두 분류로 나눌 수 있는데 어떻게 나누어지는가?
터치 제스처를 활용한 사용자 식별 연구도 일부 이루어지고 있다. 이들은 크게 두 부류로 나누어볼 수 있는데 그 첫째는 실행 중인 애플리케이션에서 터치 제스처를 분석하여 사용자를 식별하는 연구이고, 둘째는 터치 제스처 뿐 아니라 제스처의 가속도를 추출하여 사용자를 식별하는 연구이다[10]. 또한, 터치 제스처를 사용하여 사용자가 요구한 제스처로 로그인 스크린을 여는 기법도 제안된 바 있다[12].
참고문헌 (13)
G. Lee, "Touch User Interface Technology Trends," KICS, Vol. 29 , No. 7, pp. 8-15, 2012.
S. Heo and G. Lee, "Force Gesture: Augmented touch screen gestures using normal and tangential force," ACM UIST, 2011.
C. Harrison and S. Hudson, "Using shear as a supplemental two-dimensional input channel for rich touchscreen interaction," ACM CHI, 2012.
B. Lee et al., "Evaluation of human tangential force input performance," ACM CHI, 2012.
Z. Xu, B. Kun, and S. Zhu, "Taplogger: Inferring user inputs on smartphone touchscreens using on-board motion sensors," ACM WISEC, 2012.
W. Shi et al., "Senguard: Passive user identification on smartphones using multiple sensors," IEEE WiMob, 2011.
J. Mantyjarvi et al., "Identifying users of portable devices from gait pattern with accelerometers," IEEE ICASSP Conference, pp.973-976, 2005.
J. Han et al., "Accomplice: Location inference using accelerometers on smartphones," IEEE COMSNETS, 2012.
E. Owusu et al., "Accessory: password inference using accelerometers on smartphones," ACM HotMobile, 2012.
T. Feng, J. Yang, Z. Yan, E. M. Tapia, W. Shi, "TIPS: Context-Aware Implicit User Identification using Touch Screen in Uncontrolled Environments," ACM HotMobile, 2014.
Y. Kim, J. Cho, W. Joung, "The Analysis of Vibration on the Guide Rail Installed with Manufacturing System of the Smart Phone Lens," Journal of the Korea Academia-Industrial cooperation Society, Vol. 15, No. 5, pp.2539-2544, 2014.
M. Shahzad, A. Liu, and A. Samuel, "Secure unlocking of mobile touch screen devices by simple gestures: you can see it but you can not do it," IEEE MobiCom, 2013.
S. Oh, "Design of Sensor-based Healthy Diet App for Smartphones," The Journal of The Institute of Internet, Broadcasting and Communication (JIIBC), Vol.. 14 No. 4, pp.141-147, 2014.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.