초록

본 발명은 사용자의 학습 집중력을 지원하기 위한 방법 및 장치에 관한 것이다. 구체적으로, 본 발명은 사용자가 학습 컨텐츠를 시청하는 동안 생체 정보를 획득 및 분석하고, 사용자의 집중도 및 몰입도가 떨어진 경우 환기 시퀀스를 출력하며, 사용자의 집중도 변화에 따라서 환기 시퀀스의 강도 및 출력 요소 종류를 적응적으로 조정하기 위한 방법 및 장치에 관한 것이다.

대표청구항 ▼

사용자의 학습 집중력을 지원하기 위한 전자 장치의 동작 방법에 있어서, 상기 전자장치는 카메라, 마이크, 출력장치, 메모리, 송수신기 및 적어도 하나의 프로세서를 포함하며, 상기 출력장치는 디스플레이 및 스피커 중 하나 이상을 포함하고,컨텐츠를 출력하는 과정과,사용자의 얼굴을 포함하는 상반신에 대한 화상 이미지를 획득하는 과정과,상기 사용자의 화상 이미지를 획득할 당시의 사용자의 음성 정보를 획득하는 과정과, 상기 음성 정보 내 운율 특성, 음성 스펙트럼 특성을 분석하는 과정과,상기 화상 이미지에서 상기 사용자의 얼굴 미세 움직임으

사용자의 학습 집중력을 지원하기 위한 전자 장치의 동작 방법에 있어서, 상기 전자장치는 카메라, 마이크, 출력장치, 메모리, 송수신기 및 적어도 하나의 프로세서를 포함하며, 상기 출력장치는 디스플레이 및 스피커 중 하나 이상을 포함하고,컨텐츠를 출력하는 과정과,사용자의 얼굴을 포함하는 상반신에 대한 화상 이미지를 획득하는 과정과,상기 사용자의 화상 이미지를 획득할 당시의 사용자의 음성 정보를 획득하는 과정과, 상기 음성 정보 내 운율 특성, 음성 스펙트럼 특성을 분석하는 과정과,상기 화상 이미지에서 상기 사용자의 얼굴 미세 움직임으로부터 하나 이상의 심장 반응 유효 변수 및 감정 정보를 포함하는 생체 정보를 획득하는 과정과 - 상기 감정 정보는 상기 사용자의 얼굴 미세 움직임의 분석 결과 및 상기 음성 정보의 분석 결과에 기반하여 획득된 사용자의 감정 종류, 감정 비율의 정보를 포함함, 상기 하나 이상의 심장 반응 유효 변수로부터 상기 사용자의 집중도 수치 및 몰입도 수치를 획득하는 과정과,상기 사용자의 상기 집중도 수치의 분당 평균 값이 임계 집중도 수치 이하로 떨어지는지 여부 및 상기 몰입도 수치의 분당 평균 값이 임계 몰입도 수치 이하로 떨어지는지 여부에 기반하여 환기 시퀀스의 출력 여부를 결정하는 과정 - 상기 환기 시퀀스는 복수의 요소들로 구성됨,상기 환기 시퀀스의 출력을 결정한 경우, 상기 환기 시퀀스를 초기 설정된 강도 및 출력 요소 종류로 출력하는 과정 - 상기 출력 요소 종류는 상기 복수의 요소들 중 출력되는 하나 이상의 요소임,상기 집중도 수치의 변화에 기반하여 상기 환기 시퀀스의 강도 및 상기 출력 요소 종류를 조정하는 과정,상기 집중도 수치의 분당 평균 값이 상기 임계 집중도 수치 이상으로 회복된 경우 사용자의 인지 상태를 집중 상태로 판단하고 집중 상태의 사용자의 상기 몰입도 수치의 분당 평균 값이 상기 임계 몰입도 수치 이상으로 회복된 경우 사용자의 인지 상태를 몰입 상태로 판단하는 과정과, 상기 사용자의 인지 상태가 몰입 상태인 것으로 판단되면 상기 환기 시퀀스의 출력을 중단하는 과정을 포함하고, 상기 몰입 상태로 판단하는 과정은, 상기 사용자의 심박수 및 진폭 정보를 포함하는 상기 하나 이상의 심장 반응 유효 변수로부터 상기 사용자의 집중도 수치를 획득하는 과정과,획득된 사용자의 집중도 수치가 임계 집중도 수치 이상 유지 정도에 따라서 상기 집중도 수치와 구별되는 상기 몰입도 수치를 획득하는 과정을 포함하고, 상기 사용자의 몰입 상태는 사용자의 집중도 수치로부터 획득된 사용자의 몰입도 수치가 상기 임계 몰입도 수치 이상으로 회복되고 사용자의 감정 정보가 즐거움일 경우에 판단되는 것이며, 상기 전자 장치는, 상기 사용자가 즐거운 감정을 갖는 지를 판단하기 위해, 사용자의 영상을 수집하는 동작, 수집된 영상으로부터 표정 반응 요소를 추출하여 표정 유효 변수에 따른 감정 정보를 산출하는 영상 기반 감정 인식 동작, 수집된 영상으로부터 심박수를 포함한 심장 반응 유효 변수를 추출하여 상기 심장 반응 유효 변수에 따른 감정 정보를 산출하는 심장 반응 기반 감정 인식 동작, 수집된 음성 반응 유효 변수를 추출하여 상기 음성 반응 유효 변수에 따른 감정 정보를 산출하는 음성 반응 기반 감정 인식 동작 및 각 유효 변수에 따른 감정 정보를 처리하여 사용자의 감정 정보를 산출하는 멀티 모달 데이터 가공 동작을 수행하도록 구성되고, 상기 동작 방법은, 상기 집중도 수치의 변화, 상기 환기 시퀀스의 강도 및 상기 출력 요소 종류에 대한 시계열 맵핑 정보를 저장하는 과정,상기 시계열 맵핑 정보를 서버에게 송신하는 과정과,상기 서버로부터 누적된 시계열 맵핑 정보를 수신하는 과정을 더 포함하고,상기 집중도 수치의 변화에 기반하여 상기 환기 시퀀스의 강도 및 상기 출력 요소 종류를 조정하는 과정은 상기 누적된 맵핑 정보에 기반하여 수행되는 것으로서, 상기 누적된 맵핑 정보에 포함된, 조정 전후에 따라 상기 집중도 수치가 하락에서 상승으로 전환된 복수의 강도 및 출력 요소 종류 중에서 가장 낮은 강도 및 가장 적은 출력 요소 종류로부터 보다 높은 순서대로 적용함으로써 상기 환기 시퀀스의 강도 및 상기 출력 요소 종류를 조정하는 것이고, 상기 환기 시퀀스의 강도는, 상기 환기 시퀀스의 단위 시간 당 출력 빈도, 상기 환기 시퀀스의 시청각적 출력 강도 중 적어도 하나와 관련되는 것을 특징으로 하는,동작 방법.