[논문]지능형 IoT 미러 시스템을 활용한 인터랙티브 콘텐츠 서비스 구현

정원석; 서정욱

doi:10.12673/jant.2018.22.5.472

지능형 IoT 미러 시스템을 활용한 인터랙티브 콘텐츠 서비스 구현
Development of Interactive Content Services through an Intelligent IoT Mirror System 원문보기

한국항행학회논문지 = Journal of advanced navigation technology, v.22 no.5 = no.92, 2018년, pp.472 - 477

정원석 (남서울대학교 정보통신공학과) , 서정욱 (남서울대학교 정보통신공학과)

초록
AI-Helper

본 논문에서는 지능형 IoT (internet of things) 미러 시스템을 통해 사용자의 우울증 예방을 위한 인터랙티브 콘텐츠 서비스를 구현한다. 인터랙티브 콘텐츠 서비스를 위해 IoT 미러 장치는 뇌파 헤드셋 디바이스로부터 집중도 및 명상도 데이터를 측정하고, 웹캠을 통해 다층 퍼셉트론 알고리즘으로 분류된 "슬픔", "분노", "혐오감", "중립", "행복" 및 "놀람"과 같은 표정 데이터를 측정한 후, oneM2M 표준을 준용한 IoT 서버로 전송한다. IoT 서버에 수집된 데이터는 제안한 병합 레이블링 과정을 거쳐 세 가지의 우울 단계(RED, YELLOW, GREEN)를 분류하는 기계학습 모델을 생성한다. 실험을 통해 k-최근접 이웃 모델로 우울 단계를 분류한 결과 약 93%의 정확도를 얻을 수 있었고, 분류된 우울 단계에 따라 가족, 친구 및 사회복지사에게 소셜 네트워크 서비스 에이전트를 통해 알림 메시지를 전송하여 사용자와 보호자 간의 인터랙티브 콘텐츠 서비스를 구현하였다.

Abstract ▼ AI-Helper

In this paper, we develop interactive content services for preventing depression of users through an intelligent Internet of Things(IoT) mirror system. For interactive content services, an IoT mirror device measures attention and meditation data from an EEG headset device and also measures facial expression data such as "sad", "angery", "disgust", "neutral", " happy", and "surprise" classified by a multi-layer perceptron algorithm through an webcam. Then, it sends the measured data to an oneM2M-compliant IoT server. Based on the collected data in the IoT server, a machine learning model is built to classify three levels of depression (RED, YELLOW, and GREEN) given by a proposed merge labeling method. It was verified that the k-nearest neighbor (k-NN) model could achieve about 93% of accuracy by experimental results. In addition, according to the classified level, a social network service agent sent a corresponding alert message to the family, friends and social workers. Thus, we were able to provide an interactive content service between users and caregivers.

주제어

표/그림 (11)

그림 그림 1. 지능형 IoT 미러 시스템 블록 다이어그램 Fig. 1. Block diagram of the intelligent IoT mirror system.
그림 그림 2. 지능형 IoT 미러 시스템의 아키텍처 Fig. 2. Architecture of the intelligent IoT mirror system.
그림 그림 3. 지능형 IoT 미러 시스템의 리소스트리 Fig. 3. Resource tree of the intelligent IoT mirror system.
그림 그림 4. 병합 레이블링 알고리즘 Fig. 4. Merge labeling algorithm.
표 표 1. 병합 레이블링 알고리즘에 의한 데이터셋 Table 1. Dataset from the merge labeling algorithm.
그림 그림 5. 인터랙티브 콘텐츠 서비스를 위한 실험환경 Fig. 5. Experimental environment for interactive contents services.
그림 그림 6. IoT 서버에 수집된 데이터 시각화(표정, 집중도, 명상도) Fig. 6. Data visualization (facial expression, attention, meditation) collected in the IoT server.
그림 그림 7. 병합 레이블링 알고리즘 결과 Fig. 7. Results of merge labeling algorithm.
표 표 2. 분류된 우울 단계와 관련된 알림 메시지 Table 2. Alerting messages related to depression labels.
그림 그림 8. 기계학습 모델(서포트 벡터 머신, k-최근접 이웃, 나이브 베이즈) 성능 비교 Fig. 8. Performance comparison between machine learning models(support vector machine (SVM), k-Nearest Neighbor (k-NN), Naive Bayes).
그림 그림 9. 인터랙티브 콘텐츠 서비스 구현 결과 Fig. 9. Implementation results of interactive contents services.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

인터랙티브 콘텐츠를 활용한 소통이나 감응적 반응을 통해 우울증 치유 효과를 기대할 수 있다[7]. 따라서 본 논문에서는 지능형 IoT (internet of things) 미러 시스템 구현을 통해 사용자의 우울 단계를 기계학습모델로 분류하고 알림으로써 우울증예방을 위해 가족, 친구 및 사회복지사와 같은 주변 지인들이 사용자와 상호작용할 수 있는 인터랙티브 콘텐츠 서비스를 제공한다. 2장에서는 지능형 IoT 미러 시스템을 활용한 인터랙티브 콘텐츠 서비스 구현방법에 대해 소개하고 3장에서는 실험결과를 통해 구현한 서비스의 실효성을 검증한다.
본 논문에서는 사용자의 우울증을 예방하기 위해 지능형 IoT미러 시스템을 제안하였으며 이 시스템을 통해 사용자와 보호자간의 인터랙티브 콘텐츠 서비스를 구현하였다. 지능형 IoT미러시스템은 크게 IoT 미러장치와 IoT 서버로 구성되어 있으며 oneM2M 표준을 준용하여 기능적 아키텍처와 리소스트리를 설계하였다.
수집된 데이터셋을 분석해보면 부정확한 표정 데이터와 변동이 심한 뇌파 데이터로 인해 어느 하나의 데이터만 고려하여 레이블링하기 어려우며 분류 정확도도 떨어지게된다. 이에 본 논문에서는 그림 4에 나타낸 것과 같이 병합 레이블링 알고리즘을 제안한다. 먼저 6가지 표정 데이터 중 부정적인 표정인 “슬픔”, “분노” 및 “혐오감” 을 하나의 그룹(X그룹)으로, 긍정적인 표정인 “중립”, “행복” 및 “놀람”을 다른 하나의 그룹(Y 그룹)으로 설정한다.

제안 방법

IoT 장치 애플리케이션은 oneM2M 규격[13]에 부합하는 &Cube[14]라고 불리는 오픈 소스 IoT device application entity를 수정하여 개발하였다.
사용자의 뇌파 데이터(집중도, 명상도)와 표정 데이터(“슬픔”, “분노”, “혐오감”, “중립”, “행복” 및 “놀람”)를 얻기 위해 상용헤드셋과 웹캠을 고려하였으며 특히 표정인식을 위해 다층 퍼셉트론 알고리즘을 적용하였다. 뇌파 데이터와 표정 데이터로 기계학습에 유용한 데이터셋을 만들기 위해서 병합 레이블링 알고리즘을 제안하였다. 이 데이터셋을 통해 우울단계(RED, YELLOW,GREEN) 분류용 기계학습 모델들(서포트 벡터 머신, k-최근접 이웃 모델, 나이브 베이즈)을 설계하고 성능을 비교한 결과, k-최근접 이웃 모델이 약 93%의 정확도를 나타내었다.
이 데이터셋을 통해 우울단계(RED, YELLOW,GREEN) 분류용 기계학습 모델들(서포트 벡터 머신, k-최근접 이웃 모델, 나이브 베이즈)을 설계하고 성능을 비교한 결과, k-최근접 이웃 모델이 약 93%의 정확도를 나타내었다. 또한 분류된 우울단계에 따라 알림메시지를 SNS 에이전트를 통해 가족, 친구 및 사회복지사 등의 보호자에게 전송하는 인터랙티브 콘텐츠 서비스 기능을 검증하였다.
그림에서와 같이 상용화된 뇌파 측정 헤드셋과 웹캠을 사용하여 집중도, 명상도, 표정 데이터를 수집하였다. 라즈베리파이를 사용하여 ADN-AE로 모델링 된 IoT 미러장치를 구현하고 노트북에 IN-CSE로 모델링된 IoT 서버를 구현하였다. 추가적으로 마이크와 Google speech API를 사용하여 음성 인식 서비스 기능을 구현하였다.
먼저 6가지 표정 데이터 중 부정적인 표정인 “슬픔”, “분노” 및 “혐오감” 을 하나의 그룹(X그룹)으로, 긍정적인 표정인 “중립”, “행복” 및 “놀람”을 다른 하나의 그룹(Y 그룹)으로 설정한다.
SNS 에이전트를 구현한 지능형 IoT 미러시스템과 연동하기 위해 토큰정보와 ID (identification)를 발급받는다. 발급받은 토큰 정보와 ID를 SNS 에이전트에 입력하고 ADN-AE 하위 Telegram 컨테이너 경로를 입력하여 메시지로 전송 가능하도록 구독을 설정한다. 연동이 완료되면 스마트폰 내부의 Telegram 애플리케이션에서 "텔레그램 브릿지 서버 시작합니다.
사용자의 뇌파 데이터(집중도, 명상도)와 표정 데이터(“슬픔”, “분노”, “혐오감”, “중립”, “행복” 및 “놀람”)를 얻기 위해 상용헤드셋과 웹캠을 고려하였으며 특히 표정인식을 위해 다층 퍼셉트론 알고리즘을 적용하였다.
또한 집중도와 명상도 데이터는 임의의 임계값과 비교하여 임계값보다 작으면 나쁜상태로 설정하고 임계값보다 크다면 좋은상태로 설정한다. 알고리즘에서는 이 세 가지 설정을 병합하여 조건식을 만들고 우울 단계를 나타내는 3가지 레이블(RED,YELLOW, GREEN)을 출력한다. 이러한 레이블을 활용하여 기계학습을 위한 데이터셋을 만들게 되면 표1과 같이 나타낼 수 있다.
본 논문에서는 사용자의 우울증을 예방하기 위해 지능형 IoT미러 시스템을 제안하였으며 이 시스템을 통해 사용자와 보호자간의 인터랙티브 콘텐츠 서비스를 구현하였다. 지능형 IoT미러시스템은 크게 IoT 미러장치와 IoT 서버로 구성되어 있으며 oneM2M 표준을 준용하여 기능적 아키텍처와 리소스트리를 설계하였다. 사용자의 뇌파 데이터(집중도, 명상도)와 표정 데이터(“슬픔”, “분노”, “혐오감”, “중립”, “행복” 및 “놀람”)를 얻기 위해 상용헤드셋과 웹캠을 고려하였으며 특히 표정인식을 위해 다층 퍼셉트론 알고리즘을 적용하였다.
라즈베리파이를 사용하여 ADN-AE로 모델링 된 IoT 미러장치를 구현하고 노트북에 IN-CSE로 모델링된 IoT 서버를 구현하였다. 추가적으로 마이크와 Google speech API를 사용하여 음성 인식 서비스 기능을 구현하였다.
음성인식으로 지하철 도착 정보, 사용자 일정, 날씨 정보, 주요 뉴스, YouTube 동영상 등의 서비스가 정상적으로 동작하는 것을 확인하였다. 헤드셋으로부터 뇌파 데이터가 측정되고 웹캠 기반의 다층 퍼셉트론 알고리즘으로 표정 데이터가 측정되는 결과를 확인하였다. 끝으로 기계학습 모델로부터 출력된 우울단계에 따라 텔레그램으로 알림메시지가 전송됨을 확인하였다.

대상 데이터

Telegram은 구현된 지능형IoT 미러시스템에서IN-AE (infrastructure node-application entity)로 모델링된 SNS 에이전트이며, Mca 참조점을 통해 IoT 서버와 직접 상호 작용한다. SNS 에이전트를 구현한 지능형 IoT 미러시스템과 연동하기 위해 토큰정보와 ID (identification)를 발급받는다. 발급받은 토큰 정보와 ID를 SNS 에이전트에 입력하고 ADN-AE 하위 Telegram 컨테이너 경로를 입력하여 메시지로 전송 가능하도록 구독을 설정한다.
그림 5는 인터랙티브 콘텐츠 서비스를 위한 실험환경을 나타낸다. 그림에서와 같이 상용화된 뇌파 측정 헤드셋과 웹캠을 사용하여 집중도, 명상도, 표정 데이터를 수집하였다. 라즈베리파이를 사용하여 ADN-AE로 모델링 된 IoT 미러장치를 구현하고 노트북에 IN-CSE로 모델링된 IoT 서버를 구현하였다.
Google speech API (application programming interfaces)를 사용하여 지하철 도착 정보, 사용자 일정, 날씨 정보, 주요 뉴스, YouTube 동영상 서비스를 미러에 표시한다[9]. 또한 웹캠을 통해 표정 데이터를 수집하고 뇌파 측정 장치인 헤드셋에서 집중도와 명상도 데이터를 수집한다. 여기서 표정 데이터는 cascade 분류기와 다층 퍼셉트론에 의해 결정되는 “슬픔”, “분노”, “혐오감”, “중립”, “행복” 및 “놀람”과 같은 6가지 감정 상태를 나타낸다[10]-[11].
집중도와 명상도 데이터는 EEG (eletroencephalography)데이터에서 얻으며 0에서 100 사이의 값을 갖는다[12]. 수집된 표정, 집중도 및 명상도 데이터는 소켓통신을 통해 IoT 클라이언트로 전송된다. IoT 장치 애플리케이션은 oneM2M 규격[13]에 부합하는 &Cube[14]라고 불리는 오픈 소스 IoT device application entity를 수정하여 개발하였다.

이론/모형

서비스 구현을 위한 기계학습 모델로서 서포트 벡터 머신(SVM; support vector machine), k-최근접 이웃 (k-NN;k-nearest neighbor), 나이브 베이즈 (Naive Bayes) 모델을 사용한다[16]. 기계학습 모델로 분류된 우울단계는 SNS 에이전트를 통한 메시지 전송을 위해 소켓통신으로 IoT 서버에서 생성된 Telegram 이라는 이름의 콘텐트 인스턴스로 전송한다.

성능/효과

서포터벡터 머신모델의 경우 약 90%의 정확도를 나타내었고, 나이브베이즈 모델의 경우 약 92%의 정확도를 나타내었다. k-NN 모델의 정확도는 약 93%로 가장 우수한 성능을 나타내었다.
헤드셋으로부터 뇌파 데이터가 측정되고 웹캠 기반의 다층 퍼셉트론 알고리즘으로 표정 데이터가 측정되는 결과를 확인하였다. 끝으로 기계학습 모델로부터 출력된 우울단계에 따라 텔레그램으로 알림메시지가 전송됨을 확인하였다.
그림8은 기계학습 모델의 성능을 비교한 그래프를 나타낸다. 서포터벡터 머신모델의 경우 약 90%의 정확도를 나타내었고, 나이브베이즈 모델의 경우 약 92%의 정확도를 나타내었다. k-NN 모델의 정확도는 약 93%로 가장 우수한 성능을 나타내었다.
표정 데이터는 시간 인덱스에 따라 1~6 사이의 랜덤한 정수값으로 표현되었고 집중도와 명상도는 0~100 사이의 랜덤한 정수값으로 표현되었다. 시각화된 그래프를 통해 데이터가 이상치(outlier) 없이 잘 수집되고 있음을 확인할 수 있다.
그림9는 지능형IoT 미러시스템을 활용한 인터랙티브 콘텐츠 서비스를 구현결과를 나타낸다. 음성인식으로 지하철 도착 정보, 사용자 일정, 날씨 정보, 주요 뉴스, YouTube 동영상 등의 서비스가 정상적으로 동작하는 것을 확인하였다. 헤드셋으로부터 뇌파 데이터가 측정되고 웹캠 기반의 다층 퍼셉트론 알고리즘으로 표정 데이터가 측정되는 결과를 확인하였다.
뇌파 데이터와 표정 데이터로 기계학습에 유용한 데이터셋을 만들기 위해서 병합 레이블링 알고리즘을 제안하였다. 이 데이터셋을 통해 우울단계(RED, YELLOW,GREEN) 분류용 기계학습 모델들(서포트 벡터 머신, k-최근접 이웃 모델, 나이브 베이즈)을 설계하고 성능을 비교한 결과, k-최근접 이웃 모델이 약 93%의 정확도를 나타내었다. 또한 분류된 우울단계에 따라 알림메시지를 SNS 에이전트를 통해 가족, 친구 및 사회복지사 등의 보호자에게 전송하는 인터랙티브 콘텐츠 서비스 기능을 검증하였다.
그림 6은 IoT 서버에 수집된 표정, 집중도, 명상도 데이터를 시각화한 것이다. 표정 데이터는 시간 인덱스에 따라 1~6 사이의 랜덤한 정수값으로 표현되었고 집중도와 명상도는 0~100 사이의 랜덤한 정수값으로 표현되었다. 시각화된 그래프를 통해 데이터가 이상치(outlier) 없이 잘 수집되고 있음을 확인할 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	지능형IoT 미러시스템의 구성은?	그림 1은 인터랙티브 콘텐츠 서비스를 위한 지능형IoT 미러시스템의 개념을 나타내며, IoT 장치 애플리케이션이 있는 IoT미러 장치, IoT 서버, 데이터 전처리기, 기계학습 알고리즘 및소셜 네트워크 서비스 (SNS; social network service) 에이전트로구성된다.
	문자형으로 업로드되는 6가지 표정데이터를 기계학습모델에 적용하기 위해 어떻게 변환하는가?	문자형으로 업로드되는 6가지표정데이터는우울한감정을분류를위한기계학습모델에적용하기 위해 정수형 데이터로 변환할 필요가 있다. “슬픔”,“분노”, “혐오감”은 1, 2 및 3이라는 정수형 데이터로, “중립”,“행복” 및 “놀람”은 4, 5 및 6이라는 정수형 데이터로 변경하여 전송한다. 집중도와 명상도 데이터는 EEG (eletroencephalography)데이터에서 얻으며0에서100 사이의값을갖는다[12].
	cascade 분류기와 다층 퍼셉트론에 의해 결정되는 표정 데이터 6가지는?	또한 웹캠을 통해 표정 데이터를 수집하고 뇌파 측정 장치인 헤드셋에서 집중도와 명상도 데이터를 수집한다. 여기서 표정 데이터는 cascade 분류기와 다층 퍼셉트론에 의해 결정되는“슬픔”, “분노”, “혐오감”, “중립”, “행복” 및 “놀람”과 같은 6가지 감정 상태를 나타낸다[10]-[11]. 문자형으로 업로드되는 6가지표정데이터는우울한감정을분류를위한기계학습모델에적용하기 위해 정수형 데이터로 변환할 필요가 있다.

참고문헌 (16)

B. W. Kang, M. H. Jung and B. J. Cho, “The effects of psychological factorson elderly of depression scale and electroephalography,” Journal of the Korea Society of Computer and Information, Vol. 21, No. 12, pp. 157-163, Dec. 2016.
J. U. Ko and S. B. Kim, "A study of influence factors on the suicidal tendency of elderly living alone," The Journal of Korean Academy of Nursing, Vol. 30, pp. 29-48, Dec. 2011.
Korea Centers for Disease Control and Prevention (KCDC). Emergency room injury patient specimen in-depth investigation [Internet]. Available: http://www.cdc.go.kr/CDC/intro/CdcKrIntro0201.jsp?menuIdsHOME001-MNU1154-MNU0005-MNU0011&cid8803/.
C. G. Kim and S. M. Park, “Gender difference in risk factors for depression in community-dwelling elders,” The Journal of Korean Academy of Nursing, Vol. 42, No. 1, pp. 136-147, Feb. 2012.

원문보기 상세보기
E. R. Lee, J. H. Kang and J. P. Jung, “Factors influencing the depression of aged people,” Journal of The Korea Contents Society, Vol. 13, No. 7, pp. 290-300, Jul. 2013.
J. G. Woo, S. M. Ji, S. G. Kim, K. D. Woo, H. C. Choi, J. h. Goo, J. J. Lee, C. W. Lee and S. W. Baik, "The development of intuitive authoring tool for interactive contents," in Proceedings of the Korean Insitute of Information Scientists and Engineers, Jeju: Korea, pp. 204-209, Jun. 2009.
J. Y. Han, “Possibilities in application of art therapy employing digital contents with play-instinct of the art,” The Journal of Korean Society of Media & Arts, Vol. 13, No. 3, pp. 145-160, Jun. 2015.
Raspberry Pi. Documentation [Internet]. Available: https://www.raspberrypi.org/documentation/hardware/
Google. Googlecloudspeech-to-textdocumentation [Internet]. Available: https://cloud.google.com/speech/docs/?hlko/.
M. Beyeler, OpenCV with python blueprints, Birmingham, Packt Publishing, 2015.
D. I. Singh, “Face recognition through multilayer perceptron (MLP) and learning vector quantization (LVQ),” International The Journal of Advanced Research in Computer Science and Electronics Engineering (IJARCSEE), Vol. 1, No. 10, pp. 87-90, Dec. 2012.
NeuroSky, MindWave mobile: user guide, 2017.
oneM2M, Functional architecture, TS-0001-v2.10.0, 2016.
OCEAN, nCube-Thyme(Node.js) developer guide, v1.0, 2017.
OCEAN, Mobius release 2 installation guide, v2.0.0, 2017.
A. C. Muller and S. Guido, Introdution to machine learning with python, O'Reilly Media, 2016.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증