[논문]심박 정보 기반 위치 정보 융합형 감정 추론 어플리케이션 개발

차경애; 최현수; 홍원기; 박세현

doi:10.15207/jkcs.2017.8.8.083

심박 정보 기반 위치 정보 융합형 감정 추론 어플리케이션 개발
Development of Emotion Inference Application with Location Information and User's Heartbeat Rate 원문보기

한국융합학회논문지 = Journal of the Korea Convergence Society, v.8 no.8, 2017년, pp.83 - 88

차경애 (대구대학교 정보통신공학부) , 최현수 (대구대학교 대학원 정보통신학과) , 홍원기 (대구대학교 정보통신공학부) , 박세현 (대구대학교 정보통신공학부)

초록
AI-Helper

최근 웨어러블 디바이스를 통한 다양한 개인 정보를 수집하고 이를 활용하는 분야가 활성화되고 있다. 본 논문에서는 스마트폰과 함께 일상 생활에서 착용하여 사용이 용이한 웨어러블 디바이스인 스마트워치를 통하여 심박 정보를 수집하고, 이를 위치 정보와 결합한 분석을 토대로 해당 위치에서의 감정 맞춤형 장소 추천이 가능한 어플리케이션을 개발한다. 이는 감정 추론 결과에 위치 정보를 추가함으로써 개인화서비스 제공 분야의 활용도를 높일 수 있으며, 부가적인 장치가 필요 없이 단지 스마트폰의 어플리케이션과 스마트워치의 사용으로 정보 수집과 분석이 이루어지므로 다양한 맞춤형 서비스 제공에 용이하게 활용될 수 있다.

Abstract ▼ AI-Helper

The personal activity information is expanding as a way to utilize wearable devices that are emerging as next generation smart devices. This paper develops an application for collecting heartbeat rate and location information of a user using SmartWatch, which is a smartphone and wearable device, and analyzing it through machine learning to infer user's emotion information. By using smart phone and smart watch, developed application can collect biometric data and location information by simply executing application and doing everyday life. In addition, adding the location information to the hearbit rate data, it proves higher utilization than existing ones.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 위치 기반의 생체 정보를 분석하여 여러 개인화 서비스 분야에 활용이 가능한 스마트 어플리케이션을 개발하고자 한다.
본 논문에서는 위치 정보에 의한 장소 추천 기능을 제공하는 Google Place를 활용하기 위해서, 사용자의 감정을 5가지의 분류인 [기쁨, 놀람, 온화, 우울, 슬픔]으로 추론한다. 각 감정에 대응하는 특정 패턴을 분류하기 위해서 K-평균 알고리즘[13]을 이용하며, 학습데이터를 기준으로 실제 수집 시에 사용자가 직접 기록한 감정과의 일치 여부를 확인하여 평가를 실시한다.
본 논문은 스마트워치를 활용하여 심박 정보를 수집하고 위치 정보와의 융합을 통해서 장소에 따른 사용자 감정을 추론하는 어플리케이션의 개발 결과를 보였다.
이러한 감정 추론을 사용자의 이동 지역에 따른 위치별로 적용하여 사용자에게 적합한 서비스가 제공되도록 하는 것이 본 논문의 목적이다. 즉, 사용자가 특정 장소마다 느끼게 되는 감정을 심박도 분석을 통해서 추론하여 해당 감정에 적합한 위치의 기반 마케팅이나 개인 의료 서비스 등에 응용 할 수 있는 어플리케이션을 구현하고 그 결과를 보인다.

제안 방법

먼저 K-평균 알고리즘에 적용하여 샘플 100개로 분류의 정확도를 측정한다. 그 후 위치 정보에서 알 수 있는 주변의 특정 장소를 매칭하여 사용자가 해당 장소에서 느끼는 감정의 빈도수를 측정한다.
웨어러블 디바이스에서 수집된 평균 심박 수와 심박 표준편차 값이 스마트 디바이스에 전달되면 GPS 서비스를 실행하여 현재 위치를 파악한다. 그리고 가장 가까운 학교, 병원, 카페 등의 구체적인 장소(Place) 정보를 Google Place API를 사용하여 얻어와, 장소마다 사용자가 느끼는 감정의 빈도수를 측정한다.
웹서버의 DB에서 관리되는 심박 정보와 장소 정보는 Mac의 iOS 운영체제 환경에서 TensorFlow를 이용하여 K-평균 알고리즘으로 분류하고 감정카테고리를 정한다. 또한, K-평균 그래프를 위한 중심값을 각 분류집합의 기준이 되는 5가지 감정을 추론하기 위한 기준이며, 심박 정보의 실제 측정 당시에 사용자가 직접 입력한 감정 카테고리를 기준으로 각 클러스터의 중심값을 가우시안 정규분포 계산을 통해 선택하여 분류할 수 있도록 한다.
생체 정보는 웨어러블 디바이스의 심박도 측정 센서를 사용하여, 스트레스의 정도나 감정 상태를 추론하는데 사용한다[3,4,5]. 수집된 심박 정보 샘플을 학습 과정을 거쳐 특정 감정에 대한 표준치를 정하여 측정된 심박 정보를 감정 표준치와 비교하여 가장 근사한 감정 영역으로 분류한다.
심박정보의 측정은 초당 실시하며, 측정이 끝나면 자동으로 수집된 심박정보 및 통계 정보를 스마트 디바이스 어플리케이션에 전송한다. 이때, 좌표정보를 얻기 위한 서비스가 동작하여 사용자의 현재 위치 정보를 갱신하게 되며, 이를 토대로 장소 정보를 Google Place API를 활용하여 감정 정보에 적합한 가장 가까운 장소를 추론한다.
이러한 감정 분류 실험결과를 토대로 사용자의 위치별로 감정의 빈도수를 누적하고 이에 따른 적절한 장소를 추천하도록 하였다. 현재의 위치를 중심으로 하여 주변에서 나타나는 가장 가까운 장소(Place) 정보를 Google Place API로 획득한다.
K-평균 알고리즘은 주어진 데이터를 K개의 클러스터로 분류하는 알고리즘으로 제안하는 어플리케이션에서는 측정된 심박 정보를 토대로 랜덤하게 초기 중심값을 선택하여 각 심박 수 간의 거리를 측정한다[13,14,15]. 이후 가장 가까운 클러스터에 해당 심박 정보를 할당하는 과정을 반복하여 5가지의 감정 카테고리를 분류한다. 감정 카테고리별로 나타나는 심박표준편차의 확률분포를 학습하여 서로 다른 군집으로 분류할 수 있기 때문이다.
제안하는 시스템에서는 사용자의 감정 추론을 위해 심박 정보를 이용하고자 한다. 사용자의 심박 정보는 Fig.
제안하는 어플리케이션은 Window 10 64bit 운영체제의 Android Studio 2.1.2 버전을 사용하여 웨어러블기기 및 스마트 폰에 사용할 모바일 어플리케이션을 개발하였다. 실험을 위해서 LG G3 Beat 스마트 디바이스와 LG의 G Watch Urbane 스마트워치를 활용하였다.
획득한 위치 정보와 심박 정보를 통합하여 웹 DB에 저장 및 관리를 하도록 하여, 특정 장소에서 사용자가 어떤 심박 정보를 갖는지 모니터링을 실행한다. 또한, 통합 정보를 웹 DB에 누적시킴으로써 위치 정보와 융합된 감정 추론을 위한 학습 데이터로 사용한다.

대상 데이터

실험은 피실험자 10명으로부터 약 일주일 간 일상 생활에서 이동하는 장소에 따라 수집된 약 400 세트의 정보 집합을 사용하여 진행하였다. 각 정보 집합은 심박 정보의 측정 값 및 통계 값과 실제 사용자가 입력한 감정 정보로 구성된다.
실험을 위해서 LG G3 Beat 스마트 디바이스와 LG의 G Watch Urbane 스마트워치를 활용하였다.
이러한 감정 분류 실험결과를 토대로 사용자의 위치별로 감정의 빈도수를 누적하고 이에 따른 적절한 장소를 추천하도록 하였다. 현재의 위치를 중심으로 하여 주변에서 나타나는 가장 가까운 장소(Place) 정보를 Google Place API로 획득한다. 그리고 감정 분류에 알맞은 장소를 어플리케이션을 통해서 추천한다.

이론/모형

본 논문에서는 위치 정보에 의한 장소 추천 기능을 제공하는 Google Place를 활용하기 위해서, 사용자의 감정을 5가지의 분류인 [기쁨, 놀람, 온화, 우울, 슬픔]으로 추론한다. 각 감정에 대응하는 특정 패턴을 분류하기 위해서 K-평균 알고리즘[13]을 이용하며, 학습데이터를 기준으로 실제 수집 시에 사용자가 직접 기록한 감정과의 일치 여부를 확인하여 평가를 실시한다.
먼저 K-평균 알고리즘에 적용하여 샘플 100개로 분류의 정확도를 측정한다. 그 후 위치 정보에서 알 수 있는 주변의 특정 장소를 매칭하여 사용자가 해당 장소에서 느끼는 감정의 빈도수를 측정한다.
웹서버의 DB에서 관리되는 심박 정보와 장소 정보는 Mac의 iOS 운영체제 환경에서 TensorFlow를 이용하여 K-평균 알고리즘으로 분류하고 감정카테고리를 정한다. 또한, K-평균 그래프를 위한 중심값을 각 분류집합의 기준이 되는 5가지 감정을 추론하기 위한 기준이며, 심박 정보의 실제 측정 당시에 사용자가 직접 입력한 감정 카테고리를 기준으로 각 클러스터의 중심값을 가우시안 정규분포 계산을 통해 선택하여 분류할 수 있도록 한다.

성능/효과

03%로 나타났다. 따라서 감정 분류의 인식율이 33% 이상으로 본 실험을 통해서 긍정적인 감정과 부정적인 감정의 분류 자체는 가능한 것을 증명할 수 있었다.
분석 결과, 대체적으로 놀라거나, 기쁠 경우에는 심박 표준편차의 값이 낮아지고 우울하거나 슬픈 경우에는 높은 수치를 나타내는 것으로 측정되었다.
그리고 감정 분류에 알맞은 장소를 어플리케이션을 통해서 추천한다. 실험 결과로, Google Place에서 school의 경우 온화와 기쁨에 대한 빈도수가 가장 높았고, hospital 이나 local_government_ offices는 놀람이나 슬픔 등의 부정적인 감정을 느끼는 것으로 나타났다.
온화인 상태인 평균 심박수 100과 심박표준편자 650사이에 가장 많은 분포를 보이고 있으며, 슬픈 감정과 놀랐을 때의 경우 적은 분포를 나타내고 있는 것을 확인 할 수 있었다.

후속연구

개인의 심박 정보와 그 때의 위치 정보는 웹 DB를 통해서 누적할 수 있으며 이는 K-평균 알고리즘과 같은 학습 알고리즘을 이용하여 개인화 컨텐츠나 여러 서비스에 활용할 수 있을 것이다.
그러나 기존의 방법들은 하루운동량과 같은 단편적인 데이터를 수집하고 출력하는 일차원적인 형태로 활용하는 것이 대부분이며[2], 신뢰성을 높이기 위해 다양한 생활정보를 정량화할 경우, 고비용의 기기가 필요하거나 웨어러블 디바이스에 많은 센서를 부착하는 해야 한다. 그러므로 향후 웨어러블 디바이스의 시장 확대를 위해 생체 정보의 활용성을 높이는 융합형 컨텐츠의 개발이 필요하다.
출시된 웨어러블 디바이스들은 여러 개의 센싱된 정보를 날짜 단위로 저장하고 이를 시각화된 형태로 사용자에게 제공하거나 비교적 단순한 형태의 알람 기능 등의 서비스를 제공하고 있다. 하지만 보다 향상된 개인화 서비스를 위해서는 서로 다른 성질을 가지는 유형의 센싱 정보의 융합을 통한 연구도 활발히 이뤄져야 할 것이다.
향후, 생체 정보 수집과 학습 알고리즘을 많은 실험을 통해서 개선하여 감정 분류를 정확성을 높이고, 개인 맞춤형 서비스 제공에 관한 연구를 진행하고자 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	감정 맞춤형 장소 추천이 가능한 어플리케이션을 개발하였을때 기대할 수 있는 효과는?	본 논문에서는 스마트폰과 함께 일상 생활에서 착용하여 사용이 용이한 웨어러블 디바이스인 스마트워치를 통하여 심박 정보를 수집하고, 이를 위치 정보와 결합한 분석을 토대로 해당 위치에서의 감정 맞춤형 장소 추천이 가능한 어플리케이션을 개발한다. 이는 감정 추론 결과에 위치 정보를 추가함으로써 개인화서비스 제공 분야의 활용도를 높일 수 있으며, 부가적인 장치가 필요 없이 단지 스마트폰의 어플리케이션과 스마트워치의 사용으로 정보 수집과 분석이 이루어지므로 다양한 맞춤형 서비스 제공에 용이하게 활용될 수 있다.
	최근 스마트 기기 개발 기술의 발전으로 나타나는 현상은?	최근 스마트 기기 개발 기술의 발전으로 다양한 웨어러블 디바이스들이 출시되고 있으며, 헬스케어, 웰니스 (Wellness) 등에서 상용화되고 있다[6].
	본 논문에서 생체 정보는 어떻게 사용하고 있는가?	생체 정보는 웨어러블 디바이스의 심박도 측정 센서를 사용하여, 스트레스의 정도나 감정 상태를 추론하는데 사용한다[3,4,5]. 수집된 심박 정보 샘플을 학습 과정을 거쳐 특정 감정에 대한 표준치를 정하여 측정된 심박 정보를 감정 표준치와 비교하여 가장 근사한 감정 영역으로 분류한다.

참고문헌 (16)

S. S. Kim, J. Park, W. Woo, "Quantified Lockscreen : Intergration of Personalized Facial Expression Detection and Mobile Lockscreen application for Emotion Mining and Quantified Self," Journal of KIISE, Vol. 42, No. 11, pp. 1459-1466, 2015.

상세보기
J. S. Park, J. M. Lim, H. T. Jeong, "State-of-the-Art on Quantified Self Technology Based on Wearable Sensing," Electronics and Telecommunications Trends, Vol. 30, No. 4, pp. 1-11, 2015.
S. Park, D. Jeung, G. Noh, J. Cho, "A study on the human emotion infer in meaningful place using HRV signal and text mapping," Proceedings of HCI Korea, pp. 253-260, 2014.
J. K. Lee, J. H. Kang, E. S. Ahn, M. J. Oh, H. Jo, "Influencing Factors on Intention to Adopt of Wearable Device : Focusing on the Smart Watch," The Journal of Internet Electronic Commerce Research, Vol. 16, No. 1, pp. 195-213, 2016.
C. Dobbins, R. Rawassizadeh, " Clustering of Physical Activities for Quantified Self and mHealth Applications," CIT/IUCC/DASC/PICOM, 2015 IEEE Internat, pp. 1423-1428, 2015.
H. S. Jung, "Trends and Prospects of Healthcare Wearable Devices," Journal of KHIDI, Vol. 115, pp. 1-20, 2014.
S. M. Kim, "Study on the Usage of Location-Based Services App on SmartPhones : Focusing on the Perceived Risk," Hanyang Cyber University, MS. thesis, 2014.
J. Yim, J. Joo, S. Jeong, "Integrated Indoor Positioning Systems Reflecting Map Information for Location Based Services," The Journal of Information Systems, Vol. 17, No. 1, pp. 131-153, 2008.

원문보기 상세보기
K. J. Park, H. Jeong, "Assessing Methods of Heart Rate Variability," Korean J Clin Neurophysiol. 2014 Dec;16(2):49-54.

원문보기 상세보기
Lee, J. H, Kim, K.H, "A Study of Bio signal Analysis System for Sensibility Evaluation," Journal of Korea Society of Computer and Information, Vol. 15, No. 12, pp. 19-26, 2010.
C. Y. Lee, B. J. Lee, K.W. On, J. W. Ha, H. I. Kim, B. T. Jang, "Place Recognition Using Ensemble Learning of Mobile Multimodal Sensory Information," KIISE Transactionsons on Computing Practices, Vol. 21, No. 1, pp. 64-99, 2015.

원문보기 상세보기
K. Y. Chung, "Correlation between Visual Sensibility and Vital Signal using Wearable based Electrocardiogram Sensing Clothes," Journal of The Korea Contents Association, Vol. 9, No. 12, pp. 596-503, 2009.
https://en.wikipedia.org/wiki/K-means_clustering
J. S. Lim, J. M. Kim, "An Empirical Comparison of Machine Learning Models for Classifying Emotions in Korean Twitter," Journal of Korea Multimedia Society, Vol. 17, No. 2, pp. 232-239, 2014.

원문보기 상세보기
E. J. Lee, S.K. Yoo, "The Design of Feature Selection Classifier based on Physiological Signal for Emotion Detection," Vol. 50, No. 11, pp. 206-216, 2013.

원문보기 상세보기
H. S. Choi, "Developed QS (Quantified Self) based emotional reasoning application," Daegu University, MS thesis, 2017.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증