[논문]멀티 모달 기반의 스마트 감성 주얼리

강윤정

doi:10.6109/jkiice.2016.20.7.1317

멀티 모달 기반의 스마트 감성 주얼리
Smart Affect Jewelry based on Multi-modal 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.20 no.7, 2016년, pp.1317 - 1324

강윤정 (Division of Information and Electronic Commerce, College of Business Administration, Wonkwang University)

초록
AI-Helper

아두이노 플렛폼을 활용하여 스마트 주얼리에 보석처럼 빛나는 효과를 나타내기 위해 감성적인 주얼리로 색을 표현하였다. 감성적인 색 표현을 위해 플러칙의 감정 팽이 모형을 활용하여 감정과 색의 유사성을 적용하였다. 스마트폰에서 쉽게 접할 수 있는 온도, 조도, 소리, 자이로 센서와 스마트 주얼리의 맥박센서로부터 인식된 값을 입력받아 감성을 인식하고 처리하는 과정은 온톨로지 기반의 추론규칙을 적용하고, 상황정보에서 나타난 감성에 따라 감성 색을 찾고 그 감성 색을 스마트 주얼리의 LED에 적용하였다. 주얼리 착용자의 감정에 따라 스마트 주얼리에 내장된 LED에 결정된 감성 색으로 빛을 냈다.

Abstract ▼ AI-Helper

Utilizing the Arduino platform to express the emotions that reflect the colors expressed the jewelry. Emotional color expression utilizes Plutchik's Wheel of Emotions model was applied to the similarity of emotions and colors. It receives the recognized value from the temperature, lighting, sound, pulse sensor and gyro sensor of a smart jewelery that can be easily accessible from your smartphone processes that recognize and process the emotion applied the rules of inference based on ontology. The emotional feelings color depending on the color looking for the emotion seen in context and applied to the smart LED jewelry. The emotion and the color combination of contextual information extracted from the recognition sensors are reflected in the built-in smart LED Jewelry depending on the emotions of the wearer. Take a light plus the emotion in a smart jewelery can represent the emotions of the situation, the doctor will be able to be a tool of representation.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

사용자의 상황정보를 센서를 통해 자동 감지할 수 있도록 적용하는 것과 감성과 부합하는 색을 자연스럽게 적용하는 것에 집중하였다.
주얼리 착용자의 감정 정보를 센싱하여 사용자의 감성 정보에 따라 주얼리의 색을 표현하고 미적인 효과를 증대시키고자 한다.

제안 방법

표 3은 사용자 상황정보의 클래스와 속성과의 관계를 통하여 감정 추론을 위한 규칙이다. 감정을 추론하기 위한 규칙으로 사용자의 상황정보 활동량, 수면상태, 조도, 소리, 맥박, 온도 데이터의 추론 규칙을 통하여 사용자의 상태를 판단하고, 판단 결과에 따라 사용자의 현재 감정을 Rule1~7까지의 상태에서 결과를 추론한다.
또한 SPARQL 질의를 생성하여 Rule을 통한 추론을 실행하였다. 상황 데이터는 감정 온톨로지를 통하여 감정에 일치하는 LED색을 추천한다.
본 논문에서는 스마트 주얼리의 상황 정보를 인식하여 착용자의 감정을 반영하여 감성 색을 적용하여 주얼리의 빛의 색을 LED에 출력하여 감성을 표현하였다. 감성을 감지하고 표현하는 것은 지능형 사물인터넷에서 의미있는 역할을 하게 될 것이다.
본 연구에서는 플러칙의 감정 팽이에서 나타나는 감정과 색을 기반으로 스마트폰에서 쉽게 접할 수 있는 온도, 조도, 소리, 자이로센서와 스마트 주얼리의 맥박센서의 상황 정보를 인지한 후 온톨로지 규칙에 따라 감성을 처리하는 과정을 거쳐 스마트 주얼리에 감성을 나타내는 색이 결정하고 스마트 주얼리에 장착된 착용자의 주얼리에 감성 색을 출력한다. 상황 상태는 감정을 매핑하기 위해 표 1과 같이 분류하였다.
그림 10은 스마트 주얼리의 구성도이다[9]. 사용자의 상황정보는 스마트폰과 주얼리에 장착된 기본센서를 이용하여 계절과 온도, 조도, 소리, 활동량, 맥박, 수면상태 등을 추출하며, 네트워크 모듈, 센서모듈, 프로세서 모듈, 주얼리 모듈로 구성되었다. 온도센서는 신체온도 및 날씨온도를 측정할 수 있으며, 조도센서는 빛의 양을 측정할 수 있으며, 실외에서는 낮과 밤, 실내에서는 조명에 따른 조도 값을 측정할 수 있다.
상황정보 센서는 온도, 조도, 소리, 자이로센서와 스마트 주얼리의 맥박센서에서 추출하였고, 플러칙의 감정 팽이 모델을 적용하여 보다 더 감성에 근접한 색을 표현할 수 있도록 하였다.
센서들을 통해 사용자의 상황정보를 측정한다. 측정된 상황정보는 추론규칙에 의해 감정은 분류하고 분류된 감정에 따라 색상 변화 신호를 생성하여 주얼리에 장착된 LED로 송신한다.
상황인지를 통한 서비스는 상황정보 수집, 인지, 해석, 추론의 처리과정을 거쳐 사용자에게 상황에 맞는 서비스를 제공할 수 있다. 센서를 통해 수집된 데이터의 의미 파악을 위해 지식화하고, 지식과 지식과 관계를 표현하기 위해 온톨로지 모델을 사용하였고 감성 추론을 위한 규칙을 적용하여 감성 색을 스마트 주얼리에 서비스 한다.
온톨로지 도구인 Protégé로 구축하여 OWL언어로 표현하였고, OWL 구문은 클래스, 오브젝트 프로퍼티, 데이터 프로퍼티와 상황 데이터는 인트턴스로 표현한다.
플러칙의 감정 팽이의 기본감정은 기쁨(Joy), 슬픔(Sadness), 신뢰(Trust), 혐오(Disgust), 두려움(Fear), 화남(Anger), 놀람(Surprise), 기대(Anticipation) 8가지를 정의하고, 기본 감정 joy는 sadness와 반대감정을 이루며, anticipation과 trust에 유사한 감정으로 나타냈다. 인접 감정인 joy+anticipation, joy+trust의 결합은 각각optimism과 love라는 조합 감정을 구성되며 감정의 강도에 따라 ecstasy(강)-joy(중)-serenity(약)으로 구분하였다. 빨강, 노랑, 파랑의 3가지 일차적인 색과 빨강과 파랑의 혼합한 보라, 빨강과 노랑을 혼합한 주황, 파랑과 노랑을 혼합한 초록이 이차적 색상으로 나타내고 강도에 따라 수만가지 색을 만들고 보색관계에 있는 색은 색상환에서 마주보게 되고 서로 혼합하면 중화된 회색이 된다는 점은 감정의 성질과 매우 흡사하며 그림 2와 같다[6].
활동량, 수면상태, 조도, 소리, 맥박, 온도의 상황 데이터와 감정 추출된 도메인 온톨로지는 추론엔진으로 추론과정이 진행된다. 추론 규칙은 7가지 감정 추론를 위해 표 1의 매핑 정보로 감정의 기준을 정하고 SPARQL를 서비스 결과를 나태낸다. 온톨로지 모델을 통해 데이터 변환과정을 거쳐 스마트 주얼리에 감성 색을 표출하거나 앱을 통해 상황정보를 확인있는 구조를 가졌으며 그림 4는 스마트 감성 주얼리의 구조이다.

이론/모형

같은 지식에 대한 표현 방법은 다양하며 같은 지식을 표현한 온톨로지 설계에 따라 활용범위도 변할 수 있다. 또한 특정개념에 대해 의미를 표현하기도 하며 개념간의 관계를 활용한 지식 표현 방법으로 온톨로지를 사용한다. 온톨로지는 상황 해석을 위해 센서를 통해 입력된 데이터를 공유된 개념화에 대한 정형화되고 명시적인 명세를 할 수 있다.
본 논문에서 제안한 서비스 모델의 구현을 위하여 다음과 같은 현 방법을 실시하였다. 본 서비스 모델은 Java 기반의 서비스 로직을 이용하였고 OWL을 사용하기 위한 온톨로지 구축 도구로서 Protege을 활용하였다. 추론엔진으로는 FaCT++을 사용하였으며, 추론에 따른 결과는 그림 8에서 확인할 수 있다.
상황에 대한 구조는 온톨로지 모델을 적용하였다. 온톨로지는 개념에 대한 의미를 표현하고 그 개념간의 관계를 이용한 지식표현 방법이며 상황정보의 의미를 개념적으로 정의하여 그 개념간의 관계성을 표현함으로써 정보를 공유할 수 있다.

성능/효과

온톨로지와 추론에 의해 얻어진 Metadata를 통해 미적 감각을 살려 제작된 스마트 주얼리에 감성 색을 서비스할 수 있으며 그림 11과 같이 감성을 색으로 전달하며 다양한 디자인의 스마트 주얼리에 감성 색을 전달한 결과를 확인 할 수 있다.

후속연구

예를 들면 행동발달장애가 있는 사람에게 주얼리를 착용하게 하고 그 가족이나 주변사람들의 그의 감정을 알아차리고 도움을 줘야할 때를 알 수 있게 된다. 빛을 통해 세상을 보는 것처럼 빛과 기술이 접목하여 삶의 다양성이 확보되고 소통할 수 있는새로운 통로가 마련될 수 있을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	감성이란 무엇인가?	감정은 외부의 물리적 자극에 의한 감각, 지각으로부터 사람의 내부에 작용하는 고도의 심리적인 체험으로 쾌적감, 불쾌감, 불편함, 고급감 등의 복합적인 의미를 담고 있다. 감정을 포함한 감성은 물리적·화학적·언어적 등 다양한 내·외적 자극에 의한 감각, 지각으로부터 사람의 내면에 유발되는 개인적인 변화를 느끼고 반응하는 능력을 뜻한다.
	센서가 트랜스듀서의 하위개념인 이유는 무엇인가?	센서(sensor)는 측정 대상물로부터 정보를 측정하여그 측정량을 인식 가능한 신호로 변환시키는 소자라고 정의하며 트랜스듀서(transducer)와 혼용되어 같은 개념으로 사용되기도 하는데, 엄밀히 말하면 센서는 트랜스듀서의 하위개념이다. 이는 입력 신호를 다른 신호의형태로 변환하는 신호 변환 시스템(transducing system)의 포괄적인 개념을 포함하기 때문이다. 신호 변환 시스템은 입력 신호를 전기 신호로 변환하는 입력 트랜스듀서(input transducer)와 신호 처리부 및 신호처리부에서 전달되는 전기 신호를 출력 신호로 변환하는 출력 트랜스듀서(output transducer)로 구성되는데 입력 신호를 감지하여 변환하는 입력 트랜스듀서를 센서, 출력트랜스듀서를 액추에이터(actuator)라고 한다[3].
	사람의 감성은 어떤 처리과정을 거쳐 표현되는가?	사람의 감각기관을 통해 정보(자극)를 받아들여(인식, Input), 인식과정을 거쳐(처리, Processing) 신체(감각기관)를 통해 표현(표출, Output)하는 것으로서 감성(Affect)은 감정(Emotion)과 감성(Sensibility)으로 표현된다[1].

참고문헌 (9)

J. D. Lee, W. J. Kim, B. S. Sin, J. H. Park, "emotional-type cultural technology research," Ministry of Culture and Tourism Korea Culture & Content Agency, 2006.
J. J. Jung, "Ontology based Preprocessing Scheme for Mining Data Streams from Sensor Networks," The Journal of Intelligence and Information Systems, vol. 15, no. 3, pp. 67-80, Sep. 2009.
K. S. Hwang, S. K. Kim, T. S. Kim, "Biosensors; a review," Journal of Korean Sensors Society, vol. 18, no. 4, pp. 251-262, Jul. 2009.
Heller, W, "Neuropsychological Mechanisms of Individual Differences in Emotion," Personality, and Arousal, Neuropsychology, vol 7(4), pp. 476-489, Oct. 1993.
J. A. Russell, "Core Affect and the Psychological Construction of Emotion," the American Psychological Association, Inc, Vol. 110, No. 1, pp. 145-172, 2003.

상세보기
R. Plutchik, "The Nature of Emotions", American Scientist, vol. 89, pp. 344-350, 2001.

상세보기
The GER Mood Sweater, [Internet]. Available: http://sensoree.com/moodsweater.
S. M. Kwon, I. B. Jung, "Sensitivity Lighting System Based on multimodal," Journal of the Korea Institute of Information and Communication Engineering, vol.16, no. 4, pp. 721-729, Apr. 2012.

원문보기 상세보기
L. Yin, Y. J. Kang, S. W. Lee ,K. J. Lee , D. O. Choi, "Development of Smart Jewelry Board and App of Context Awareness," Journal of The Korea Entertainment Industry Association, vol. 9, no. 4, pp. 43-51, Dec. 2015.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증