스마트폰 카메라 기반의 맥파 측정을 이용한 실시간 모바일 감성 콘텐츠 플레이어 개발 Real-time Mobile Emotional Contents Player Using PPG(Photoplethysmography) Measurement Based on Smartphone Camera원문보기
감성 콘텐츠는 콘텐츠가 사용자의 감성에 영향을 줄뿐만 아니라, 사용자의 감성을 콘텐츠에 반영시키는 양방향 콘텐츠를 말한다. 최근 감성 콘텐츠에 관한 연구가 활발하게 진행되고 있지만, 사용자의 감성을 인식하기 위해서는 별도의 생체 신호 센서가 필요하다. 또한, 사용자의 감성을 반영시키기 위해 콘텐츠의 색상 요소만을 변경하는 방식으로 이루어졌다.
따라서 본 논문은 스마트폰이라는 하나의 시스템 내에서 실시간으로 감성 인식과 감성 반영이 되는 실시간 모바일 감성 콘텐츠 플레이어를 개발하였다. 감성 인식 부분은 콘텐츠가 가지고 있는 감성이 사용자의 감성 변화에 영향을 미칠 때, 이 감성 변화를 인식하기 위해 생체 신호인 PPG를 측정하는 부분이다. 별도의 센서 없이, 스마트폰에서 PPG를 측정하기 위해 후방 카메라를 통해 영상의 Red값으로 ...
감성 콘텐츠는 콘텐츠가 사용자의 감성에 영향을 줄뿐만 아니라, 사용자의 감성을 콘텐츠에 반영시키는 양방향 콘텐츠를 말한다. 최근 감성 콘텐츠에 관한 연구가 활발하게 진행되고 있지만, 사용자의 감성을 인식하기 위해서는 별도의 생체 신호 센서가 필요하다. 또한, 사용자의 감성을 반영시키기 위해 콘텐츠의 색상 요소만을 변경하는 방식으로 이루어졌다.
따라서 본 논문은 스마트폰이라는 하나의 시스템 내에서 실시간으로 감성 인식과 감성 반영이 되는 실시간 모바일 감성 콘텐츠 플레이어를 개발하였다. 감성 인식 부분은 콘텐츠가 가지고 있는 감성이 사용자의 감성 변화에 영향을 미칠 때, 이 감성 변화를 인식하기 위해 생체 신호인 PPG를 측정하는 부분이다. 별도의 센서 없이, 스마트폰에서 PPG를 측정하기 위해 후방 카메라를 통해 영상의 Red값으로 PPG 신호를 추출하였다. PPG 신호로부터 PPI와 맥박을 계산하였고, PPI를 변화를 통해 사용자의 감성을 각성 또는 이완으로 분류하였다.
감성 반영 부분은 사용자의 감성 변화를 콘텐츠에 실시간으로 반영시키기 위해, 콘텐츠의 분위기를 이끄는 채도와 명도를 변화시키는 부분이다. 한 프레임마다 채도와 명도를 변경시켜야 하기 때문에, FFmpegLibrary를 이용하여 디먹싱 과정과 디코딩 과정을 거쳤다. 그 후에 영상의 색 공간을 변환하여, 각성 또는 이완에 따라 채도와 명도를 변경하였다.
실시간 모바일 감성 콘텐츠 플레이어를 활용하여, 각성 유도 시나리오와 이완 유도 시나리오로 구현하였고 그 유효성을 검증하고자 실험을 진행하였다. 사용자의 감성 변화에 따라 어떠한 변화도 없는 일반적인 콘텐츠로 시청할 때, 사용자의 감성이 이완일 때 채도와 명도가 증가하는 각성 유도 시나리오에 따라 시청할 때, 사용자의 감성이 각성일 때 채도와 명도가 감소하는 이완 유도 시나리오에 따라 시청할 때의 평균 PPI를 비교하여, 대응표본 T검정을 진행하였다. 그 결과, 일반 콘텐츠로 시청할 때에 비하여, 각성 유도 시나리오에 따라 시청할 때 평균 PPI가 유의하게 낮았으며 이는 사용자의 감성을 각성으로 유도했다고 판단할 수 있다. 일반 콘텐츠로 시청할 때에 비하여, 이완 유도 시나리오에 따라 시청할 때 평균 PPI가 유의하게 높았으며 이는 사용자의 감성을 이완으로 유도했다고 판단할 수 있다.
본 연구 결과를 통해 실시간 모바일 감성 콘텐츠 플레이어는 콘텐츠와 사용자가 양방향으로 영향을 주는 인터랙티브한 시스템임을 확인하였고, 이 시스템을 통해 콘텐츠와 사용자가 서로 교감할 수 있을 것으로 기대된다.
감성 콘텐츠는 콘텐츠가 사용자의 감성에 영향을 줄뿐만 아니라, 사용자의 감성을 콘텐츠에 반영시키는 양방향 콘텐츠를 말한다. 최근 감성 콘텐츠에 관한 연구가 활발하게 진행되고 있지만, 사용자의 감성을 인식하기 위해서는 별도의 생체 신호 센서가 필요하다. 또한, 사용자의 감성을 반영시키기 위해 콘텐츠의 색상 요소만을 변경하는 방식으로 이루어졌다.
따라서 본 논문은 스마트폰이라는 하나의 시스템 내에서 실시간으로 감성 인식과 감성 반영이 되는 실시간 모바일 감성 콘텐츠 플레이어를 개발하였다. 감성 인식 부분은 콘텐츠가 가지고 있는 감성이 사용자의 감성 변화에 영향을 미칠 때, 이 감성 변화를 인식하기 위해 생체 신호인 PPG를 측정하는 부분이다. 별도의 센서 없이, 스마트폰에서 PPG를 측정하기 위해 후방 카메라를 통해 영상의 Red값으로 PPG 신호를 추출하였다. PPG 신호로부터 PPI와 맥박을 계산하였고, PPI를 변화를 통해 사용자의 감성을 각성 또는 이완으로 분류하였다.
감성 반영 부분은 사용자의 감성 변화를 콘텐츠에 실시간으로 반영시키기 위해, 콘텐츠의 분위기를 이끄는 채도와 명도를 변화시키는 부분이다. 한 프레임마다 채도와 명도를 변경시켜야 하기 때문에, FFmpegLibrary를 이용하여 디먹싱 과정과 디코딩 과정을 거쳤다. 그 후에 영상의 색 공간을 변환하여, 각성 또는 이완에 따라 채도와 명도를 변경하였다.
실시간 모바일 감성 콘텐츠 플레이어를 활용하여, 각성 유도 시나리오와 이완 유도 시나리오로 구현하였고 그 유효성을 검증하고자 실험을 진행하였다. 사용자의 감성 변화에 따라 어떠한 변화도 없는 일반적인 콘텐츠로 시청할 때, 사용자의 감성이 이완일 때 채도와 명도가 증가하는 각성 유도 시나리오에 따라 시청할 때, 사용자의 감성이 각성일 때 채도와 명도가 감소하는 이완 유도 시나리오에 따라 시청할 때의 평균 PPI를 비교하여, 대응표본 T검정을 진행하였다. 그 결과, 일반 콘텐츠로 시청할 때에 비하여, 각성 유도 시나리오에 따라 시청할 때 평균 PPI가 유의하게 낮았으며 이는 사용자의 감성을 각성으로 유도했다고 판단할 수 있다. 일반 콘텐츠로 시청할 때에 비하여, 이완 유도 시나리오에 따라 시청할 때 평균 PPI가 유의하게 높았으며 이는 사용자의 감성을 이완으로 유도했다고 판단할 수 있다.
본 연구 결과를 통해 실시간 모바일 감성 콘텐츠 플레이어는 콘텐츠와 사용자가 양방향으로 영향을 주는 인터랙티브한 시스템임을 확인하였고, 이 시스템을 통해 콘텐츠와 사용자가 서로 교감할 수 있을 것으로 기대된다.
The emotional content can be defined a two-way interactive content which can not only affect user’s emotion, but also reflect its emotions on contents. Recently, many researches about emotional contents have been studied actively, however, they required extra physiological sensors attachable types f...
The emotional content can be defined a two-way interactive content which can not only affect user’s emotion, but also reflect its emotions on contents. Recently, many researches about emotional contents have been studied actively, however, they required extra physiological sensors attachable types for recognizing user emotions. In addition, they achieved the color property changes in contents for reflecting user’s emotion.
In this study, I developed the real-time mobile emotional contents player that measures the user’s emotion and reflects the measured emotional states to multimedia contents played in smart-phones, concurrently. The PPG (Photoplethysmography) signal was adopted for measuring the emotional states of users when the video contents affects user’s emotional change. Without separated sensors, the PPG signals generated from the red values of the captured video images with the built-in a camera of smart-phones. PPI(Pulse to Pulse Interval) and HR(Heart Rate) were calculated from the generated PPG signals, and also the emotional states of users were classified as arousal or relaxation through the change of PPI.
In order to reflect the emotional states of users into video contents, the degree of the saturation and brightness were changed in real-time. In the content player, the demuxing and decoding modules were adopted by the customized FFmepgLibrary to control the levels of the saturation and brightness for each frames of the contents. By converting the color space of the each frame, the saturation and the brightness values were changed regarding to the arousal or relaxation states of users.
There were two experiment scenarios, the arousal induced and relaxation induced, using the developed mobile emotional contents player to verify the effectiveness. Comparing the normal experiment case that the users watched the normal video contents controlled by emotional states, in the two tests, the average of PPI was measured when the user watched the arousal contents that helps the user can feel more arousal, and relaxation contents that helps the users can feel more relaxation, respectively. The average of measured PPI was compared regarding to two experiments and conducted the paired-samples T test.
As a result, the average of PPI was significantly decreased when the users watched the contents in the arousal induced scenarios. Besides, the average of PPI was significantly increased when the users watched the content in the relaxation induced scenarios. From the results, the designed system, the real-time mobile emotional contents player, is useful to reflect emotional states into video contents, and is expected to control users’s emotional states as a interactive system.
The emotional content can be defined a two-way interactive content which can not only affect user’s emotion, but also reflect its emotions on contents. Recently, many researches about emotional contents have been studied actively, however, they required extra physiological sensors attachable types for recognizing user emotions. In addition, they achieved the color property changes in contents for reflecting user’s emotion.
In this study, I developed the real-time mobile emotional contents player that measures the user’s emotion and reflects the measured emotional states to multimedia contents played in smart-phones, concurrently. The PPG (Photoplethysmography) signal was adopted for measuring the emotional states of users when the video contents affects user’s emotional change. Without separated sensors, the PPG signals generated from the red values of the captured video images with the built-in a camera of smart-phones. PPI(Pulse to Pulse Interval) and HR(Heart Rate) were calculated from the generated PPG signals, and also the emotional states of users were classified as arousal or relaxation through the change of PPI.
In order to reflect the emotional states of users into video contents, the degree of the saturation and brightness were changed in real-time. In the content player, the demuxing and decoding modules were adopted by the customized FFmepgLibrary to control the levels of the saturation and brightness for each frames of the contents. By converting the color space of the each frame, the saturation and the brightness values were changed regarding to the arousal or relaxation states of users.
There were two experiment scenarios, the arousal induced and relaxation induced, using the developed mobile emotional contents player to verify the effectiveness. Comparing the normal experiment case that the users watched the normal video contents controlled by emotional states, in the two tests, the average of PPI was measured when the user watched the arousal contents that helps the user can feel more arousal, and relaxation contents that helps the users can feel more relaxation, respectively. The average of measured PPI was compared regarding to two experiments and conducted the paired-samples T test.
As a result, the average of PPI was significantly decreased when the users watched the contents in the arousal induced scenarios. Besides, the average of PPI was significantly increased when the users watched the content in the relaxation induced scenarios. From the results, the designed system, the real-time mobile emotional contents player, is useful to reflect emotional states into video contents, and is expected to control users’s emotional states as a interactive system.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.