모바일 환경이 보편화됨에 따라 사용자의 상황을 인식하고 관련된 각종 컨텍스트를 공유하는 기술에 대한 관심이 높아지고 있다. 컨텍스트 공유는 사용자의 의사소통을 보다 풍부하게 할 뿐만 아니라 사회적 관계를 원만하게 유지하도록 도와준다. 최근 각종 메신저나 모바일 어플리케이션에는 간단한 수준의 사용자 컨텍스트 공유가 적용되고 있으나 사용자 환경이 복잡해짐에 따라 더욱 다양한 컨텍스트의 인식과 공유가 요구된다. 본 논문에서는 다양한 센서 정보를 수집하여 사용자의 대표적 컨텍스트인 감정, 스트레스, 행동을 동적 확률 모델을 이용하여 인식하고 메신저에 연동하여 컨텍스트 정보를 공유하는 상황인지 메신저를 개발한다. 다양한 컨텍스트를 인식하기 위한 다중모델을 효과적으로 구성하고 아이콘 방식으로 컨텍스트를 표시한다. 개발한 시스템을 사용자 시나리오를 바탕으로 평가하여 유용성을 검증하였다.
모바일 환경이 보편화됨에 따라 사용자의 상황을 인식하고 관련된 각종 컨텍스트를 공유하는 기술에 대한 관심이 높아지고 있다. 컨텍스트 공유는 사용자의 의사소통을 보다 풍부하게 할 뿐만 아니라 사회적 관계를 원만하게 유지하도록 도와준다. 최근 각종 메신저나 모바일 어플리케이션에는 간단한 수준의 사용자 컨텍스트 공유가 적용되고 있으나 사용자 환경이 복잡해짐에 따라 더욱 다양한 컨텍스트의 인식과 공유가 요구된다. 본 논문에서는 다양한 센서 정보를 수집하여 사용자의 대표적 컨텍스트인 감정, 스트레스, 행동을 동적 확률 모델을 이용하여 인식하고 메신저에 연동하여 컨텍스트 정보를 공유하는 상황인지 메신저를 개발한다. 다양한 컨텍스트를 인식하기 위한 다중모델을 효과적으로 구성하고 아이콘 방식으로 컨텍스트를 표시한다. 개발한 시스템을 사용자 시나리오를 바탕으로 평가하여 유용성을 검증하였다.
As the mobile environment becomes widely used, there is a growth on the concern about recognizing and sharing user context. Sharing context makes the interaction between human more plentiful as well as helps to keep a good social relationship. Recently, it has been applied to some messengers or mobi...
As the mobile environment becomes widely used, there is a growth on the concern about recognizing and sharing user context. Sharing context makes the interaction between human more plentiful as well as helps to keep a good social relationship. Recently, it has been applied to some messengers or mobile applications with sharing simple contexts, but it is still required to recognize and share more complex and diverse contexts. In this paper, we propose a context-aware messenger that collects various sensory information, recognizes representative user contexts such as emotion, stress, and activity by using dynamic Bayesian networks, and visualizes them. It includes a modular model that is effective to recognize various contexts and displays them in the form of icons. We have verified the proposed method with the scenario evaluation and usability test.
As the mobile environment becomes widely used, there is a growth on the concern about recognizing and sharing user context. Sharing context makes the interaction between human more plentiful as well as helps to keep a good social relationship. Recently, it has been applied to some messengers or mobile applications with sharing simple contexts, but it is still required to recognize and share more complex and diverse contexts. In this paper, we propose a context-aware messenger that collects various sensory information, recognizes representative user contexts such as emotion, stress, and activity by using dynamic Bayesian networks, and visualizes them. It includes a modular model that is effective to recognize various contexts and displays them in the form of icons. We have verified the proposed method with the scenario evaluation and usability test.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 센서로부터 시계열 형태로 수집된 정보를 바탕으로 동적 확률 모델을 구축하고 각 모델의 출력값을 통합하여 컨텍스트를 추론한다. 센서로부터 수집되는 정보에 잡음이나 결측치 등이 존재하기 때문에 불확실한 데이타 분석에 적절한 베이지안 네트워크를 기반으로 동적 확률 모델을 구축하였다.
본 논문에서는 각종 센서와 기기로부터 수집된 정보를 이용하여 사용자의 대표적 컨텍스트인 감정, 스트레스, 행동을 추론하고 다양한 아이콘 형태로 출력하는 상황인지 메신저를 개발하였다. 상황인지 모듈 중 베이지안 네트워크를 이용한 감정, 스트레스, 행동 추론 모듈은 전문가 지식을 바탕으로 수동으로 설계하였고, 동적 베이지안 네트워크를 이용한 구체적 행동 컨텍스트 추론 모듈은 수집된 데이타를 기반으로 자동으로 생성하였다.
확장하고자 한다. 또한 동적 베이지안 네트워크가 복잡해질 경우 학습이나 추론이 어려워질 수 있기 때문에 다수의 모듈형 네트워크를 통해 컨텍스트를 추론하는 기술을 함께 연구하고자 한다.
본 논문에서는 QUIS(Questionnaire for User Interface Satisfaction)에 따라 설계된 질의를 바탕으로 상황 정보를 공유하지 않는 경우, 텍스트를 기반으로 상황 정보를 공유하는 경우와 비교하여 제안한 상황인지 메신저의 사용성을 평가하였다. 메신저를 자주 사용하는 20명의 사용자를 대상으로 각 질문에 1~5점(1:매우 그렇지않다, 5:매우그렇다)을 부여하도록 하였다.
제안 방법
본 논문에서는 사용자의 생체정보와 움직임 정보, 스마트 폰이나 PC 에서 수집되는 기타 정보를 바탕으로 사용자의 대표적 컨텍스트인 감정, 스트레스, 행동을 동적 확률 모델을 이용하여 추론한다. 메신저 서비스에서 추론된 컨텍스트를 아이콘 형태로 출력하여 타 사용자와 공유한다.
메신저 서비스에서 추론된 컨텍스트를 아이콘 형태로 출력하여 타 사용자와 공유한다. 간단한 상황인지 메신저 플랫폼을 개발하고 사용자 시나리오에 기반하여 그 유용성을 평가한다.
본 논문에서는 그림 1과 같이 각종 센서로부터 사용자와 관련된 정보를 시계열 형태로 수집하고 저 수준의 센서 정보를 컨텍스트 추론에 적절한 형태로 평활화와이산화한다. 각 컨텍스트별로 동적 확률 모델을 구성하여 사용자의 감정, 스트레스, 행동을 추론한다.
각 컨텍스트별로 동적 확률 모델을 구성하여 사용자의 감정, 스트레스, 행동을 추론한다. 추론된 사용자 컨텍스트는 메신저의 사용자 상태에 아이콘 형태로 표시된다.
사용자의 감정, 스트레스, 행동을 인식하기 위해서 본 논문에서는 4가지 유형의 센서 및 기기인 Armband, 가속도 센서, GPS 수신기, 스마트 폰을 통합한 센서 플랫폼을 설계하였다. 통합 센서 플랫폼은 사용자의 생체성보(physiological), 움직임(movement), 기기정보(device) 와 환경정보(environment)를 50fps로 수집하고 평활화 및 이산화를 통해 표 1에서와 같이 정의된 센서값을 컨텍스트 추론의 증거값으로 사용하며, 표 2와 같이 3가지컨텍스트를 추론한다.
통합하여 컨텍스트를 추론한다. 센서로부터 수집되는 정보에 잡음이나 결측치 등이 존재하기 때문에 불확실한 데이타 분석에 적절한 베이지안 네트워크를 기반으로 동적 확률 모델을 구축하였다. 컨텍스트를 추론하는 동적 확률 모델은 그림 2와 같이 총 10개로, 각컨텍스트를 추론하는 3개의 장기 모델과 행동 컨텍스트를 심층적으로 분석하는 7개의 단기 모델로 구성된다.
3개의 장기 모델은 수동으로 설계하였고, 7개의 단기 모델은 각 컨텍스트별로 10회의 샘플로 구성된 학습 데이타에 대한 인식율과 네트워크의 복잡도를 적합도로 사용한 진화기술을 이용하여 구조를 학습하고 EM 알고리즘을 이용하여 파라메터를 학습하였다. 표 3은 DBN의 구성내용을 보여준다.
본 논문에서는 그림 4와 같이 정의된 아이콘을 이용하여 메신저 어플리케이션의 사용자 컨텍스트를 표시한다.
본 논문에서는 그림 5와 같이 BodyMedia사(http://www.bodymedia.com) Armband와 XsenseHhttp: V" www.xsens.com)의 xBus 가속도 센서 킷, 스마트 폰과 PC를 통합하여 센서 플랫폼을 구축하였고, 가속도 센서는 총 5개로 머리, 오른팔, 왼팔, 오른손, 왼손에 가각 부착하였다. Armband는 오른 팔목에 착용하였으며, 이들 센서는 메인 PC에 연결되어 센서정보를 전송한다.
Armband는 오른 팔목에 착용하였으며, 이들 센서는 메인 PC에 연결되어 센서정보를 전송한다. 컨텍스트 추론 모듈에 사용된 DBNe 베이지안 네트위크의 대표적인 추론 라이브러리인 SMILE을 이용하여 구현하였다
본 논문에서 제안한 상황인지 메신저의 성능을 관찰하기 위해 사용자 평가 시나리오를 설계하였는데, 그림 7과 같이 가상으로 하루 일과에 발생가능한 목표 컨텍스트를 설정하고 각 컨텍스트의 발생순서에 맞추어 사전에 수집된 로그를 이용하여 평가 데이타를 구축하였다. 행동의 경우 실제로 수집된 정보를 사용하였고, 감정과 스트레스는 가정된 상황과 비숫한 환경에서 수집된 로그를 활용하였으며, 각 컨텍스트별로 약 1분 길이의 로그를 이용하였다.
행동의 경우 실제로 수집된 정보를 사용하였고, 감정과 스트레스는 가정된 상황과 비숫한 환경에서 수집된 로그를 활용하였으며, 각 컨텍스트별로 약 1분 길이의 로그를 이용하였다.
메신저를 개발하였다. 상황인지 모듈 중 베이지안 네트워크를 이용한 감정, 스트레스, 행동 추론 모듈은 전문가 지식을 바탕으로 수동으로 설계하였고, 동적 베이지안 네트워크를 이용한 구체적 행동 컨텍스트 추론 모듈은 수집된 데이타를 기반으로 자동으로 생성하였다. 행동은 시계열 정보의 분석을 통해 보다 정확히 추론하였으며, 감정과 스트레스는 사용자로부터 정확한 레이블을 획득하기 어려웠고 누적된 양상을 보였다.
설계하였다. 통합 센서 플랫폼은 사용자의 생체성보(physiological), 움직임(movement), 기기정보(device) 와 환경정보(environment)를 50fps로 수집하고 평활화 및 이산화를 통해 표 1에서와 같이 정의된 센서값을 컨텍스트 추론의 증거값으로 사용하며, 표 2와 같이 3가지컨텍스트를 추론한다. Armband는 사용자의 피부 온도와 몸에서 발산되는 열량인 열유량, 피부의 전기전도도인피부전기방응 값을 측정하고, 사용자의 머리, 팔목과 팔뚝에 부착된 가속도 센서는 각 부위의 3축 가속도 (3Dacc), 3축 각속도(3Dgyo)와 3축으로 구성된 자기 방향 정보(3Dmag)를 수집한다.
대상 데이터
센서로부터 수집되는 정보에 잡음이나 결측치 등이 존재하기 때문에 불확실한 데이타 분석에 적절한 베이지안 네트워크를 기반으로 동적 확률 모델을 구축하였다. 컨텍스트를 추론하는 동적 확률 모델은 그림 2와 같이 총 10개로, 각컨텍스트를 추론하는 3개의 장기 모델과 행동 컨텍스트를 심층적으로 분석하는 7개의 단기 모델로 구성된다. 감정과 스트레스는 영속성이 있는 컨텍스트이기 때문에 누적된 센서값을 활용하여 설계된 베이지안 네트워크 (DBN)로 추론되는 반면, 행동은 사용자의 즉각적인 움직임에 의해 영향을 받는 비교적 단기적인 컨텍스트이기 때문에 각 행동을 인식하는 다수의 DBN으로 추론된다.
사용성을 평가하였다. 메신저를 자주 사용하는 20명의 사용자를 대상으로 각 질문에 1~5점(1:매우 그렇지않다, 5:매우그렇다)을 부여하도록 하였다. 그림 9와 같이 상황정보를 공유하는 경우 정보와 재미에 있어서 사용자가 높은 점수를 부여하였고 특히 아이콘을 이용하여 상황정보를 출력할 때 재미와 친숙함에서 다른 시스템보다 높은 점수를 얻었다.
이론/모형
감정과 스트레스는 영속성이 있는 컨텍스트이기 때문에 누적된 센서값을 활용하여 설계된 베이지안 네트워크 (DBN)로 추론되는 반면, 행동은 사용자의 즉각적인 움직임에 의해 영향을 받는 비교적 단기적인 컨텍스트이기 때문에 각 행동을 인식하는 다수의 DBN으로 추론된다. 특히 행동 컨텍스트에 대한 추론 모델이 다수 존재하기 때문에 본 논문에서는 Hong 등이 제안한 포섭구조 기반의 모델 통합 기술을 사용하여 다수의 추론 결과값을 통합한다[9].
성능/효과
각 컨텍스트별로 사후확률값을 계산하여 가장 높은 갚은 가지는 컨텍스트가 선택되도록 하였다. 점선으로 된 원은 잘못된 추론 결과를 산출했음을 의미하는데, 행동의 경우 완벽하게 인식하였고, 감정과 스트레스에서는 약간의 오분류가 발생했는데, 보통 이들 컨텍스트는 급격히 변하는 것이 아니어서 이전의 값이 많은 영향을 주었다. 뿐만 아니라 감정과 스트레스는 사용자에 매우 주관적이고 본인의 감정이 어떠한 상태인지를 평가하기도 쉽지 않다.
뿐만 아니라 감정과 스트레스는 사용자에 매우 주관적이고 본인의 감정이 어떠한 상태인지를 평가하기도 쉽지 않다. 대체로 긍정적인 감정과 부정적인 감정으로 나뉘는 경향을 보였으며, 짜증의 경우 조금 늦게 탐지되는 것을 확인하였다 스트레스는 하루 일과 속에서 대체로 증가하였으며, 휴식을 취하는 경우에도 즉각적인 반영이 되지는 않았다. 행동은 각종 센서값에 직접적으로 영향을 주었으며, DBN을 통해 이를 정확히 인식할 수 있었다.
상황인지 모듈 중 베이지안 네트워크를 이용한 감정, 스트레스, 행동 추론 모듈은 전문가 지식을 바탕으로 수동으로 설계하였고, 동적 베이지안 네트워크를 이용한 구체적 행동 컨텍스트 추론 모듈은 수집된 데이타를 기반으로 자동으로 생성하였다. 행동은 시계열 정보의 분석을 통해 보다 정확히 추론하였으며, 감정과 스트레스는 사용자로부터 정확한 레이블을 획득하기 어려웠고 누적된 양상을 보였다.
후속연구
향후에는 본 논문에서 개발한 상황인지 메신저의 인식성능 올 장기간 수집한 사용자 로그를 바탕으로 평가하고, 사용성 평가를 통해 유용성을 검증하고, 다양한 값의 감정, 스트레스, 행동과 컨텍스트 공유에 적합한 정보를 함께 추가하여 보다 다양한 정보를 공유하도록 시스템을 확장하고자 한다. 또한 동적 베이지안 네트워크가 복잡해질 경우 학습이나 추론이 어려워질 수 있기 때문에 다수의 모듈형 네트워크를 통해 컨텍스트를 추론하는 기술을 함께 연구하고자 한다.
참고문헌 (9)
M. Raento, et al., "ContextPhone: A prototyping platform for context-aware mobile applications," IEEE Pervasive Computing, Vol.4, No.2, pp. 51-59, 2005
S.-B. Cho, et al., "AniDiary: Daily cartoon-style diary exploits Bayesian networks," IEEE Pervasive Computing, Vol.6, No.3, pp. 66-75, 2007
A. Krause, et al., "Context-aware mobile computing: Learning context-dependent personal preferences from a wearable sensor array," IEEE Trans. Mobile Computing, Vol.5, No.2, pp. 113-127, 2006
E. Horvitz, et al., "Learning predictive models of memory landmarks," 26th Ann. Meeting Cognitive Science Soc., pp. 583-588, 2004
A. Ranganathan, et al., "Reasoning about uncertain contexts in pervasive computing environments," IEEE Pervasive Computing, Vol.3, No.2, pp. 62-70, 2004
P. Dai, et al., "Group interaction analysis in dynamic context," IEEE Trans. Systems, Man, and Cybernetics-Part B: Cybernetics, Vol.38, No.1, pp. 275-282, 2008
J.-H. Hong, et al., "Fingerprint classification using one-vs-all support vector machines dynamically ordered with naive Bayes classifiers," Pattern Recognition, Vol.41, No.2, pp. 662-671, 2008
※ AI-Helper는 부적절한 답변을 할 수 있습니다.