유비쿼터스 환경이 발전함에 따라 다양한 서비스들이 고객 중심의 서비스로 제공되고 있다. 기존에는 개인 프로파일을 기반으로 한 개인화 서비스의 연구가 진행되어 왔으나 사용자의 선호도를 파악하여 각 사용자에 대한 맞춤형 서비스를 지원하기 위해서는 상당한 데이터와 시간이 필요하다. 이러한 문제점을 해결하기 위하여 본 논문에서는 개인 프로파일을 통한 맞춤형 서비스가 아닌 사용자의 감정을 분석하여 그에 맞는 서비스를 제공하는 시스템을 제안한다. 제안하는 시스템에서는 사용자의 감정을 분석하기 위하여 영상 분석과 음성 분석의 두 가지 방식을 사용한다. 이러한 감정 분석 방법을 이용함으로써 제안된 시스템이 홈 네트워크 환경에서 사용자 맞춤 서비스를 효과적으로 제공할 수 있도록 구현하였다.
유비쿼터스 환경이 발전함에 따라 다양한 서비스들이 고객 중심의 서비스로 제공되고 있다. 기존에는 개인 프로파일을 기반으로 한 개인화 서비스의 연구가 진행되어 왔으나 사용자의 선호도를 파악하여 각 사용자에 대한 맞춤형 서비스를 지원하기 위해서는 상당한 데이터와 시간이 필요하다. 이러한 문제점을 해결하기 위하여 본 논문에서는 개인 프로파일을 통한 맞춤형 서비스가 아닌 사용자의 감정을 분석하여 그에 맞는 서비스를 제공하는 시스템을 제안한다. 제안하는 시스템에서는 사용자의 감정을 분석하기 위하여 영상 분석과 음성 분석의 두 가지 방식을 사용한다. 이러한 감정 분석 방법을 이용함으로써 제안된 시스템이 홈 네트워크 환경에서 사용자 맞춤 서비스를 효과적으로 제공할 수 있도록 구현하였다.
As ubiquitous computing environments evolve, various services are being provided as customer-centric services. In the past, studies based on personal profiles have been conducted to provide personalized services. However, identifying the user's preferences and supporting personalized services requir...
As ubiquitous computing environments evolve, various services are being provided as customer-centric services. In the past, studies based on personal profiles have been conducted to provide personalized services. However, identifying the user's preferences and supporting personalized services requires considerable data and time. To solve these problems, this paper proposes a system which provides the service by analyzing the user's emotions, rather than personalized service with personal profiles. In the proposed system, both speech analysis method and image analysis method are used to analyze the user's emotion. By using this emotion analysis method, we implemented the proposed system within the home network environment and finally provide effective personalized service.
As ubiquitous computing environments evolve, various services are being provided as customer-centric services. In the past, studies based on personal profiles have been conducted to provide personalized services. However, identifying the user's preferences and supporting personalized services requires considerable data and time. To solve these problems, this paper proposes a system which provides the service by analyzing the user's emotions, rather than personalized service with personal profiles. In the proposed system, both speech analysis method and image analysis method are used to analyze the user's emotion. By using this emotion analysis method, we implemented the proposed system within the home network environment and finally provide effective personalized service.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 사용자의 음성과 영상을 분석하여 감정을 파악하고 그에 맞는 홈서비스를 제공하는 방법을 제안하였다. 스마트 홈 네트워크 환경을 하나의 서버와 장치들로 구축하였다.
실험을 위해 사용자를 등록한 후 개인 프로파일을 편집했다. 본 실험은 한명의 사용자가 고정된 개인 프로파일을 가지고 서비스 시나리오에 따라 실험하며 여러 가지 기분에 따른 서비스가 적절히 제공되는지 평가한다. 본 실험에서는 테스트를 위해 모든 장치를 작동시킨다.
제안 방법
지능형 에이전트는 사용자가 직접 수행해야 하는 작업을 대신 수행한다. 각 장치에 따른 사용자의 행동 방식을 탐지하고, 수행했던 사용자의 행위들을 분석하여 기계학습을 통해 선호정보를 추론하여 최적의 서비스를 제공한다. 그림 2는 선호 정보 학습의 과정을 보인다[9].
동기화 모듈은 홈 네트워크를 주기적으로 모니터링하며 연결된 외부장치를 확인한다. 새롭게 홈 네트워크에 연결된 외부 장치에 대하여 동기화 모듈은 일련의 인증 절차를 거친다.
따라서 본 논문에서는 네트워크 카메라와 마이크를 이용하여 사용자의 영상과 음성을 얻어낸 후 영상과 음성을 모두 이용하여 감정을 분석한다. 먼저 영상에서 입의 모양을 파악하여 사용자의 감정 상태를 분석한다.
스마트 홈 네트워크 환경을 하나의 서버와 장치들로 구축하였다. 또한 서버와 단말간의 자동 동기화 방식을 사용하여 편의성을 높였다.
이를 통해 사용자는 감정에 따른 서비스를 제공받는다. 또한, DB에 저장된 개인 프로파일과 사용자의 선호 정보가 담긴 프로파일을 통해 초기 설정할 장치 목록을 구성한다. 각 모듈을 통해 얻은 사용자 정보와 홈 네트워크 시스템의 내부 장치 목록, 모바일 단말 정보는 DB에 저장되어 관리된다.
따라서 본 논문에서는 네트워크 카메라와 마이크를 이용하여 사용자의 영상과 음성을 얻어낸 후 영상과 음성을 모두 이용하여 감정을 분석한다. 먼저 영상에서 입의 모양을 파악하여 사용자의 감정 상태를 분석한다. 영상만을 통하여 확인하기 어려운 상황을 고려하여 음성을 분석하며 분석된 데이터를 통하여 최종적으로 사용자의 감정을 파악한다.
본 논문에서 제안하는 시스템은 감정을 분석하는 모듈이 기존의 개인 프로파일을 통한 개인화 홈 네트워크 시스템에 추가되는 형식으로 구성되어 있다. 감정을 분석하는 모듈은 개인 프로파일을 통한 개인화 홈 네트워크 시스템의 동작에 중요한 역할을 하게 된다.
본 시스템에서는 영상을 얻기 위해 네트워크 카메라를 사용하였으며 JPEG압축방식, 704×480으로 고정된 크기 형태의 파일을 얻는 API를 구현했다.
본 시스템에서의 감정 분석법은 그림 5와 같이 먼저 자료를 얻어낸 후 각각 영상 분석과 음성 분석으로 얻어낸 두 가지 결과를 조합해서 감정을 인식한다. 영상 분석은 특징점 추출방법을 기반으로 구현했으며 음성 분석은 음의 높낮이를 여러 상황에서 테스트해 값을 얻어냈다.
본 시스템은 크게 감정 분석에 사용될 사용자의 정보를 얻기 위한 외부 장치(External Device), 입력된 사용자의 데이터를 분석하여 감정에 따라 홈 네트워크 시스템을 제어하기 위한 홈 서버, 실제 장치를 제어하여 서비스를 제공하는 내부 장치(Internal Device)로 나누어진다.
본 논문에서는 사용자의 음성과 영상을 분석하여 감정을 파악하고 그에 맞는 홈서비스를 제공하는 방법을 제안하였다. 스마트 홈 네트워크 환경을 하나의 서버와 장치들로 구축하였다. 또한 서버와 단말간의 자동 동기화 방식을 사용하여 편의성을 높였다.
위 방법은 표정과 음성을 동시에 분석해서 감정을 얻어낸다. 얼굴표정을 이용한 감정인식에서는 이산 웨이블렛 기반 다해상도 분석을 이용하여 선형판별분석기법으로 특징을 추출하고 LDA에 의해 얻어진 데이터들을 분류한다. 분류된 데이터들은 학습을 통해 얻어진 코드 북과 비교 후 감정을 인식한다.
본 시스템에서의 감정 분석법은 그림 5와 같이 먼저 자료를 얻어낸 후 각각 영상 분석과 음성 분석으로 얻어낸 두 가지 결과를 조합해서 감정을 인식한다. 영상 분석은 특징점 추출방법을 기반으로 구현했으며 음성 분석은 음의 높낮이를 여러 상황에서 테스트해 값을 얻어냈다. 표 1에서는 표 2의 변수에 대해 정의하고 있으며 영상을 분석하는 과정은 다음 표 2와 같다.
먼저 영상에서 입의 모양을 파악하여 사용자의 감정 상태를 분석한다. 영상만을 통하여 확인하기 어려운 상황을 고려하여 음성을 분석하며 분석된 데이터를 통하여 최종적으로 사용자의 감정을 파악한다.
본 시스템에서는 영상을 얻기 위해 네트워크 카메라를 사용하였으며 JPEG압축방식, 704×480으로 고정된 크기 형태의 파일을 얻는 API를 구현했다. 음성을 얻기 위해 마이크를 사용하였으며 이벤트가 생기는 경우 5초 간의 음성을 wav파일로 만들어 주는 API를 구현했다. 감정의 변화를 가져올 수 있는 환경을 조성하기 위한 방법으로는 감정에 따른 음악을 재생해주는 API와 가상 디지털 액자API를 구현했다.
제안하는 시스템은 사용자의 개인 공간인 주거 환경에 적용하며, 현재 많은 연구가 진행 중인 홈 네트워크에 적용한다.
감정 분석 모듈은 네트워크 카메라를 통해 사용자의 얼굴 영상을 얻어와 영상 분석을 통해 감정을 판별한다. 하지만 영상만으로 감정 상태 판별이 모호한 경우 마이크를 통해 얻어온 사용자의 음성 정보를 분석한다. 이렇게 얻어낸 두 정보를 부합하여 사용자의 감정을 분석하며 메인 모듈로 전해진다.
대상 데이터
음성 파일의 경우 일정한 구간으로 샘플링을 해야 한다. 본 시스템에선 음성 데이터를 초당 8,000개씩 샘플링을 하였다. 5행부터 12행까지는 threshold값을 기준으로 1만 이하와 2만 이상의 데이터 분포도를 카운팅하는 과정이다.
이론/모형
분류된 데이터들은 학습을 통해 얻어진 코드 북과 비교 후 감정을 인식한다. 음성에서의 감정인식은 웨이블렛 필터뱅크를 이용하여 코드 북과 비교 후 독립적인 감정을 확인해서 다중의사 결정 기법으로 감정인식을 한다. 최종적으로 얼굴 표정에서의 감정인식과 음성에서의 감정인식을 융합하는 단계로 퍼지 소속 함수를 이용하며, 각 감정에 대하여 소속도로 표현된 매칭 값은 얼굴에서의 감정과 음성에서의 감정별로 각각 더하고 그 중 가장 큰 값을 감정으로 선정한다[7].
후속연구
본 논문에서 구현한 환경은 단일 사용자에 대해서만 적용되었으므로 다수의 사용자에 대해 적절하지 못한 작동을 할 수도 있다. 이를 보완하기위한 향후 연구로 다수의 사용자가 있는 경우의 상황에서 각 사용자의 감성을 분석하고 적용할 수 있는 연구와 초기 환경 설정뿐 아니라 다른 상황에서도 감성을 적용 할 수 있는 연구가 필요하다.
질의응답
핵심어
질문
논문에서 추출한 답변
개인화 서비스를 제공하기 위해 어떠한 정보가 사용되는가?
개인화 서비스는 사용자의 현재 상황, 성향, 선호도 등에 따라 개인에 맞춘 서비스를 제공하는 것을 의미하며 서비스의 종류에는 융합 서비스, 상황 인식서비스, 단순화 서비스, 푸시 서비스 등이 있다. 개인화 서비스를 제공하기 위해서 사용자의 현재 상황, 단말의 능력, 개인 선호도 등 사용자와 관련된 개인 프로파일 정보가 사용된다[1]. 이러한 개인 프로파일 정보는 다양한 서비스에 활용되고 있으며 특히 사용자의 습관 및 성향을 적용할 수 있는 홈 네트워크 서비스에 많이 적용되고 있다.
개인화 서비스란?
이러한 요구에 발맞추어 사용자의 개성과 상황에 맞추어진 개인화 서비스에 대해 다양한 연구가 진행되고 있다. 개인화 서비스는 사용자의 현재 상황, 성향, 선호도 등에 따라 개인에 맞춘 서비스를 제공하는 것을 의미하며 서비스의 종류에는 융합 서비스, 상황 인식서비스, 단순화 서비스, 푸시 서비스 등이 있다. 개인화 서비스를 제공하기 위해서 사용자의 현재 상황, 단말의 능력, 개인 선호도 등 사용자와 관련된 개인 프로파일 정보가 사용된다[1].
개인 프로파일을 통한 사용자의 맞춤형 서비스에 한계가 있는 이유는 무엇인가?
하지만 이러한 개인 프로파일을 기반으로 하는 서비스는 사용자로부터 명시적인 값을 받아서 학습을 해야 하며, 학습을 통하여 사용자의 선호도를 파악하기 위해서는 많은 데이터 수집과 시간이 걸린다는 문제점이 있다[2]. 또한 개인화 서비스에서의 프로파일은 웹서비스, 전자상거래 등의 내용기반 추천과 협업 추천의 기법에 적합하게 구성되어 있어 동적인 환경에서의 적용이 취약하다. 이러한 이유로 개인 프로파일을 통한 사용자의 맞춤형 서비스에는 한계가 있다[3].
참고문헌 (9)
정필중, 유명식, "개인화 서비스 지원 및 효과적인 프로파일 관리를 위한 프로파일 서비스 제공자의 운용," 한국통신학회논문지, 제32권, 제3호, 2007년
손기준, 임수연, 이상조, "부정적 피드백과 강화학습을 이용한 사용자 프로파일 학습," 한국지능시스템학회 논문지, 제17권 제6호, 754-759쪽, 2007년 12월.
문애경, 김형환, 박주영, 최영일, "유비쿼터스 컴퓨팅 환경에서 개인화를 위한 상황정보 기반 사용자 프로파일," 한국통신학회논문지, 제34권, 제5호, 2009년 5월.
주영훈, 오재흥, 박창현, 심귀보, "영상과 음성의 출력 데이터를 이용한 감성 인식," 한국지능시스템학회 논문지, 제13권, 제3호, 275-280쪽, 2003년 6월.
김호덕, 양현창, 박창현, 심귀보, "PCA을 이용한 얼굴 표정의 감정 인식 방법," 퍼지 및 지능시스템학회 논문지, 제16권, 제6호, 772-776쪽, 2006년.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.