초록 ▼

□ 연구개요
본 연구의 최종 목표는 영상정보와 센서정보를 통합하여 딥러닝 기반으로 단일 사용자의 행동 패턴과 다중 사용자 간의 상호작용을 인식하는 연구를 수행하였음. 이를 위해 영상신호를 통해 사용자의 관절 데이터를 추출하고, 웨어러블 기기를 통해 가속도, 자이로신호를 획득함. 획득된 이기종의 정보를 통합하여 행동 패턴을 인식할 수 있는 딥러닝 모델을 구축함. 딥러닝 모델로는 CNN과 LSTM 기반의 하이브리드 형태의 딥퓨전 네트워크를 활용하였으며 버클리 데이터베이스의 9가지 행동 인식에 대한 정확도는 모델별로 이미지만을 사용

□ 연구개요
본 연구의 최종 목표는 영상정보와 센서정보를 통합하여 딥러닝 기반으로 단일 사용자의 행동 패턴과 다중 사용자 간의 상호작용을 인식하는 연구를 수행하였음. 이를 위해 영상신호를 통해 사용자의 관절 데이터를 추출하고, 웨어러블 기기를 통해 가속도, 자이로신호를 획득함. 획득된 이기종의 정보를 통합하여 행동 패턴을 인식할 수 있는 딥러닝 모델을 구축함. 딥러닝 모델로는 CNN과 LSTM 기반의 하이브리드 형태의 딥퓨전 네트워크를 활용하였으며 버클리 데이터베이스의 9가지 행동 인식에 대한 정확도는 모델별로 이미지만을 사용한 모델은 평균 70.9%, 센서만을 사용한 모델은 84.7%인 반면 가속도 신호 데이터와 이미지를 입력으로 사용한 모델은 94.8%, 가속도 신호 데이터와 좌표 벡터를 입력으로 사용한 모델은 91.8%, 그리고 가속도 신호 데이터와 좌표 벡터, 그리고 이미지 데이터를 입력으로 사용한 모델은 93.1%의 성능을 보임. 이후 영상에서 사용자간 행동을 분석 하기 위하여 pose3D, Resnet, detectron 등의 알고리즘을 활용하여 밀고 당기기, 달리기 등의 행동 인식을 수행함.

□ 연구 목표대비 연구결과
(1차년도) 영상 신호와 가속도, 자이로 신호를 통합하는 멀티 모달 신호 기반 행동 패턴을 인식할 수 있는 딥러닝 모델을 구축하였음. 버클리 데이터베이스의 9가지 행동 인식에 대한 정확도는 모델별로 이미지만을 사용한 모델은 평균 70.9%, 센서만을 사용한 모델은 84.7%인 반면 가속도 신호 데이터와 이미지를 입력으로 사용한 모델은 94.8%, 가속도 신호 데이터와 좌표 벡터를 입력으로 사용한 모델은 91.8%, 그리고 가속도 신호 데이터와 좌표 벡터, 그리고 이미지 데이터를 입력으로 사용한 모델은 93.1%의 성능을 보임.
(2차년도) 기존의 행동 패턴 인식 연구는 서있기, 앉기, 뛰기 등 간단한 형태의 행동 인식이 주를 이뤘음. 본 연구에서는 물건을 옮긴다, 커피를 마신다 등과 같이 맥락을 파악하여 이를 인식할 수 있는 knowledge graph를 통해 이를 추론하고자 함. pose3D와 rCNN을 접목한 알고리즘을 3가지 영상으로 분석을 수행함. 비디오 1의 경우 약 47%, 비디오 2의 경우 100%, 비디오 3의 경우 100%로 나타났으며, slowfast의 경우에는 비디오 1의 경우 76%, 비디오 2의 경우 100%, 비디오 3의 경우 73%가 나타남을 확인할 수 있었음.
(3차년도) 다중 사용자간 상호작용 인식을 위해서는 상호작용을 설명할 수 있는 spatio-temporal 특징 정보가 정의되어야 함. subject ID와 관절 정보를 mapping 하고, 이를 통해 관절의 inter와 intra를 구분함. 이후 영상으로부터 각 관절 쌍의 spatial 특징 정보 (거리 및 동작)를 추출하고, 가속도 및 자이로 센서 정보를 moving window를 통해 세그먼트하여 temporal 특징으로 활용하였음.

□ 연구개발성과의 활용 계획 및 기대효과(연구개발결과의 중요성)
(1) 로봇, 가상의 아바타 개발의 기초 연구로 활용: 사용자 간 상호작용과 복잡한 상황에서의 행동 인식 기술이 개발이 되면 가정용 로봇과의 상호작용이나 VR/AR 기반의 가상의 아바타와의 상호작용을 위한 기초 연구로 활용이 가능함.
(2) 사람 간 상호작용 모니터링의 결과를 진단 및 치료에 활용 (자폐, 치매 등): 자폐아동의 대표적인 특징 중에 하나가 사람들과의 상호작용에 어려움을 겪는 것임. 자폐아동의 조기 진단을 위하여 행동 패턴을 모니터링하고 지속적인 치료를 통해 상호작용을 돕고 개선사항을 모니터링 하는 것이 중요함. 또한 치매의 경우 초기 진단과 모니터링이 중요한 질병임. 걸음걸이가 달라진다거나 음성이 변화한다거나 하는 등의 행동 패턴의 변화가 생길 때 이를 조기에 감지하고 모니터링하는 기술을 통해 치매 진행을 늦추거나 조절할 수 있음.

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 5
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 10
• 1) 정성적 연구개발성과(연구개발결과) ... 10
• 2) 세부 정량적 연구개발성과 ... 12
• 3) 목표 달성 수준 ... 12
• 4) 목표 미달 시 원인 분석 ... 12
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발결과의 중요성) ... 13
• 5. 연구개발성과의 관리 및 활용 계획 ... 13
• 6. 자체점검표 ... 14
• 7. 참고문헌 ... 14
• 끝페이지 ... 29