초록 ▼

연구개발 목표 및 내용
최종 목표
비대면으로 정신건강문제를 관리하기 위해서, (1) 비대면으로 정서상태를 예측할 수 있는 멀티모달 데이터 셋을 구축하고, (2) 인지행동 중재치료 참여를 유도할 수 있는 실시간 모니터링 시제품 개발하며, (3) 멀티모달 데이터를 기반으로 하는 정서 상태를 인식하는 기술을 개발하고, (4) 플랫폼의 실증과 데모를 위한 뇌인지 행동의 특성분류를 위한 표준안을 개발함으로써, 실시간으로 인터랙티브하게 셀프 모니터링을 할 수 있는 시스템을 개발한다.

전체 내용
■ 기술개발 항목

연구개발 목표 및 내용
최종 목표
비대면으로 정신건강문제를 관리하기 위해서, (1) 비대면으로 정서상태를 예측할 수 있는 멀티모달 데이터 셋을 구축하고, (2) 인지행동 중재치료 참여를 유도할 수 있는 실시간 모니터링 시제품 개발하며, (3) 멀티모달 데이터를 기반으로 하는 정서 상태를 인식하는 기술을 개발하고, (4) 플랫폼의 실증과 데모를 위한 뇌인지 행동의 특성분류를 위한 표준안을 개발함으로써, 실시간으로 인터랙티브하게 셀프 모니터링을 할 수 있는 시스템을 개발한다.

전체 내용
■ 기술개발 항목
(1) 멀티모달 데이터 셋 수집 기술 개발 (모비젠)
- 각종 센서(스마트폰, PC 및 Wearable) 데이터 수집 기술 개발
- 데이터 수집 및 분석을 위한 클라우드 데이터 수집 기술 개발
(2) 정서상태 분석을 위한 멀티모달 데이터셋 구축 (모비젠)
- 다중센서 데이터를 포함한 멀티모달 데이터의 구축
- 노이즈, 편향성 제거 및 시간 및 공간 해상도 정규화 데이터 구축
(3) 멀티모달 데이터 기반 행동인식 기술 개발 (세종대, KETI)
- 다중 센서별 피처 모델링 및 피처별 상관관계 해석 모델 개발
- 다중센서/멀티모달 데이터의 자동 분류 모델 개발
(4) 뇌인지 행동특성 분류를 위한 표준안 개발 (세브란스)
- 행동특성 분류를 위한 표준안 개발
(5) 참여유도형 실시간 모니터링 시스템 시제품 개발 (모비젠)
- 참여유도형 모바일 서비스 시나리오 구현
- 인터랙티브 모니터링을 위한 데이터 시각화 플랫폼 구현

■ 연구개발내용
본 과제에서 수행하는 세부 연구개발 내용 및 세부적인 산출물은 다음과 같다.
(1) 멀티모달 데이터 셋 수집 기술 개발 (모비젠)
- 대상 센서 개발 타당성 조사 및 데이터 수집 타당성 분석 (센서 분석서)
. 스마트폰 센서 (위치, 가속도, 조도, 소음, 음성, 영상, 소셜액션, 심박) 가용성 분석
. 기타 보조 웨어러블 기기 및 PC의 센서 데이터 수집 타당성 분석
- 모바일 환경 및 배터리 사용을 고려한 데이터 전송 모듈 개발 (수집 Agent SW)
. 센서별 인코딩, 암호화, 압축 전송 모듈 개발
- 클라우드 기반 빅데이터 관리 서비스 개발 (클라우드형 빅데이터 관리/분석 SW)
. 데이터 분석 가공 모듈 개발
(2) 정서상태 분석을 위한 멀티모달 데이터셋 구축 (모비젠)
- 다중센서 데이터를 포함한 멀티모달 데이터의 구축 (기초 데이터셋)
- 노이즈, 편향성 제거 및 정규화 데이터 구축 (데이터셋)
- 시간 및 공간 해상도 정규화 데이터 구축 (데이터셋)
- 사용자의 정서상태 응답과 연결된 멀티모달 데이터 셋 구축 (데이터셋)
(3) 멀티모달 데이터 기반 행동인식 기술 개발 (세종대, KETI)
- 다중 센서별 피처 모델링 및 피처별 상관관계 해석 모델 개발 (피처모델) [세종대]
. 센서 종류별 피처 추출 기준 선택 및 상관성 조사
- 다중센서/멀티모달 데이터기반 정서상태 자동 분류 모델 개발 (분류모델) [세종대]
. 다중센서 데이터를 기반으로 하는 정서상태 예측 모델 개발
- 영상데이터 기반 행위 분석 모델 개발 (정서 분류 알고리듬 모듈) [KETI]
. 정서상태 분류하기 위한 영상 피처 모델링 및 피처 추출 알고리듬 개발
(4) 뇌인지 행동특성 분류를 위한 표준안 개발 (세브란스병원)
- 행동특성 분류를 위한 표준안 개발 (정서 분류 표준안)
. 수집 센서 데이터와 매칭되는 연관성 제시
- Digital Therapeutics 활용 매뉴얼 개발 (활용 매뉴얼)
. 임상 실증을 반영한 매뉴얼 개발
. 자가 모니터링을 위한 가이드라인 개발
- 디지털 행동평가 기술 활용 시나리오 개발 (시나리오 매뉴얼)
(5) 참여유도형 실시간 모니터링 시스템 시제품 개발 (모비젠)
- 참여 유도형 모바일 서비스 시나리오 개발 (모바일 서비스 SW)
. 개인화된 참여형 데이터 수집 인터페이스 개발
. 보안 개인정보 유출방지를 고려한 서비스 시나리오 구축
. 검사지 기반 인지행동 상태 데이터 획득용 콘텐츠 개발
- 인터랙티브 모니터링을 위한 데이터 시각화 플랫폼 구현 (자가 분석용 웹 SW)
. 개인의 장기간 자가 분석을 위한 시각적 데이터 분석 인터페이스 구현
. 클리닉 분석가를 위한 분석 인터페이스 구현
■ 과제수행방법
○ 주관기관의 빅데이터 플랫폼(IRIS) 연계/확장 개발
- IRIS Platform, OpenFx, OpenRefine, Data Profiler 등의 기존 플랫폼 활용
- IRIS 플랫폼은 2020년 4월, 클라우드형 데이터분석 서비스 오픈함.
○ 데이터 수집을 위한 협력 네트워크 활용
- 주관기관의 모기업, 모바일 보안을 위한 모바일 데이터 수집 네트워크 활용
- “모바일 키퍼” 서비스 (지란지교 시큐리티)
○ 데이터 품질 평가 및 보정 관련 연구과제와의 연계 수행
- “데이터 품질평가 및 보정“ 과제의 중간 산출물 활용, 데이터셋 구축시 품질 개선
○ 데이터 분석의 핵심 기술 확보 팀의 역량 활용
- 멀티모달 영상 데이터 분석 기술의 활용 (세종대, KETI)
- 영상을 통한 행동패턴 분석 경험 활용 (KETI)
○ 정신의학과 병원 현장의 실증 및 검증
- 정신의학과 클리닉 현장의 실증 및 적용가능성 검증 (용인 세브란스 병원)
○ 응용 및 확산을 위한 다양한 분야의 사업화 추진
- 정신의학과 클리닉 네트워크를 활용한 사업화 추진
- 모바일 건강 관리 앱(운동, 요가)의 연계를 통한 사업화 추진
- 온라인/모바일 상담 관련 서비스를 통한 사업화 추진
○ 데이터셋 공유 및 확산 추진
- 구축된 데이터는 AI-HUB를 통한 공개 및 공유 추진
- 국내 대표적인 데이터 유통 사이트인 K-DATA사이트를 통한 데이터 유통 추진

연구개발성과
○ 센서 데이터 분석서 (조사 보고서)
○ 센서 수집 에이전트 SW (단말 설치형 SW)
○ 클라우드형 빅데이터 관리/분석 SW (서버 설치형 서비스 SW)
○ 비대면 정서분석 데이터셋 (인공지능, 기계학습 활용 데이터셋)
○ 영상데이터 기반 분류 모듈 (데이터 분석 알고리듬)
○ 피처 모델 및 정서 분류 모듈 (데이터 분석 알고리듬)
○ 정서 분류 표준안 (표준안)
○ 임상 활용 매뉴얼 (매뉴얼)
○ 모바일 서비스 및 자가분석 SW 모듈 (모바일 SW)

연구개발성과 활용계획 및 기대 효과
○ 센서 데이터 분석서 (조사 보고서)
○ 센서 수집 에이전트 SW (단말 설치형 SW)
○ 클라우드형 빅데이터 관리/분석 SW (서버 설치형 서비스 SW)
○ 비대면 정서분석 데이터셋 (인공지능, 기계학습 활용 데이터셋)
○ 영상데이터 기반 분류 모듈 (데이터 분석 알고리듬)
○ 피처 모델 및 정서 분류 모듈 (데이터 분석 알고리듬)
○ 정서 분류 표준안 (표준안)
○ 임상 활용 매뉴얼 (매뉴얼)
○ 모바일 서비스 및 자가분석 SW 모듈 (모바일 SW)

(출처 : 요약문 7p)