초록 ▼

□ 연구개요
본 연구과제는 사무실/연구실/실험실 내에서의 인간-사물 상호작용 기반 시각 정보 이해 기술을 개발하고 이를 기초로 최적 업무수행을 지원하는 스마트워크 기술을 연구한다. 즉, 폐쇄된 공간 내에서 최적 업무 수행을 지원하는 스마트워크 원천 기술 개발한다. 이를 위해 3가지를 고려하는데, Visual understanding, Human-Object Interaction(HOI) knowledge graph mining, 그리고 Optimiization이다. Visual understanding은 공간 내 업무 수행 정

□ 연구개요
본 연구과제는 사무실/연구실/실험실 내에서의 인간-사물 상호작용 기반 시각 정보 이해 기술을 개발하고 이를 기초로 최적 업무수행을 지원하는 스마트워크 기술을 연구한다. 즉, 폐쇄된 공간 내에서 최적 업무 수행을 지원하는 스마트워크 원천 기술 개발한다. 이를 위해 3가지를 고려하는데, Visual understanding, Human-Object Interaction(HOI) knowledge graph mining, 그리고 Optimiization이다. Visual understanding은 공간 내 업무 수행 정보를 시각 데이터로 수집하고 처리하여 사람과 사물 사이의 상호작용과 상황을 탐지하여 Record 형태로 저장 (사람, 동사, 사물, 상황, 시각)한다. 이때 필요한 것은 HOI 탐지 및 인식이다. Human-Object Interaction (HOI) knowledge graph mining with knowledge base는 탐지한 사람-사물 상호작용마다 그래프로 임베딩하고‘사람-사물 상호작용’을 분류/예측하는 모형 개발이다. 문자데이터로부터 업무 내 발생 가능한 HOI 지식 베이스 구축하고 HOI 지식 그래프 생성과 분류 및 예측하는 것을 포함한다. 마지막으로 Optimization은 매일 일련의 ‘사람-사물 상호작용’정보를 수집하여 불필요한 상호작용을 줄이고 사물의 위치를 옮겨 필요한 상호작용이 원활하게 일어나게 지원한다. 이는 업무 스케쥴링 최적화 문제와 공간 내 사물 위치 최적화문제를 푸는 것이다. 1차년도에는 HOI 탐지/인식 모듈 개발, HOI 지식 베이스 구축, HOI 지식 그래프생성/추론 모듈 개발, 2차년도에는 1차년도 결과물을 사무실/연구실/실험실에 적용하여 튜닝, 3차년도에는 2차년도 결과물을 토대로 업무 스케쥴링과 사물 위치 최적화 모듈 개발 적용이 목표다.

□ 연구 목표대비 연구결과
1차년도 변경 사항은 연구논문 투고 일정입니다. 1차년도에 “컴퓨팅 파워와 벤치마크 데이터에 따른 현존 HOI 인식 모형들 구현 및 경제성 평가 연구”의 내용으로 투고 계획하였으나, 학회 일정이 맞지 않아 7월에 투고 연기
(1) HOI 탐지/인식 모듈 개발: Tensorflow 기반 One-stage HOI 모듈 개발 및 튜닝; (2) HOI 지식 베이스 구축: 그림 4 우측 하단과 같이 Georgia Tech Egocentric Activity (GTEA) dataset에 annotation 작업을 통해 지식 베이스 축적 ;*GTEA는 4명의 다른 사람들의 7가지 유형의 일상생활을 1인칭 시점에서 찍은 장면들로 구성된 데이터세트로 28개의 비디오가 있으며, 각 비디오는 20개의 활동 instances로 구성됨
(3) HOI 지식 그래프 생성/추론 모듈 개발: 그림 4 좌측 하단과 같이 HOI 지식 그래프 생성 후 추론 모듈 개발 * 실제 오피스 내에서 카메라 센서를 설치하여 사람들의 활동을 일정 시간 단위 간격으로 촬영하고, 촬영한 사진들을 segmentation하고 object recognition을 하여 human-object interaction triplet을 언어로 추출하고, 시간에 따른 변화를 네트워크로 표현하고, 상호작용 분포를 파악함
2차년도 변경 사항은 연구논문 입니다. (1) 1차년도에 “컴퓨팅 파워와 벤치마크 데이터에 따른 현존 HOI 인식 모형들 구현 및 경제성 평가 연구”의 내용으로 KDD에 투고하였으나 accept가 되지 않아 수정보완하는 중이며 다른 국제학술대회에 투고 준비 중; (2) 추가로, 스마트업무수행과 유관한 Mass Customization 생산 패러다임에 대한 연구로 산업공학 Top-tier 학술지인 IJPR에 논문 투고/승인/온라인 게재됨; (3) 또한, 국내 학술대회에 관련 연구를 발표함
3차년도는 사무실, 연구실, 실험실의 3가지 환경에서의 개발 모듈 적용 및 튜닝을 목표로 합니다.
하지만, 실제 사무실, 연구실, 실험실 환경에서 데이터를 획득하기 어려우므로 다양한 대안 탐색
(1) Sim2Real 환경에서 데이터 획득; (2) 현존 데이터세트 내에서 사무실, 연구실, 실험실 장면 검색; (3) text-to-image 모형으로 사무실, 연구실, 실험실 장면 생성
*시도가 늘어나면서 클라우드상 실험 비용이 커지므로 워크스테이션을 구비하여 연구 진행
최종적으로 다음과 같은 결과를 마련함: (1) “From words to Actions: Learning Transferable Object Affordance Models from Natural Language” 논문을 작성: 이미지에서의 물체들을 인코딩하고, 언어에서의 물체들을 인코딩하여 물체들(개념들) 간의 거리가 가까운 이미지 물체들과 언어 물체들을 매칭 그 결과, human-object interaction 관점에서 시각정보 이해를 하고 그 이해의 정도에 따라 scoring을 함
(2) “Optimal Transport in Multimodal Representation: A Contrastive Coupling Approach for Object Embedding” 논문을 작성 후 CVPR 투고: 기존 CLIP을 보강한 CLOC 모형을 CVPR에 제안하고, 이 모형은 기존 CLIP보다 object 간의 차이를 더 극명하게 알려줄 수 있음

□ 연구개발성과의 활용 계획 및 기대효과(연구개발결과의 중요성)
1.성과 관리 추진체계: (1) 데이터세트와 개발 모형은 오픈소스의 형태로 github에 정리해서 publish (데이터세트: Raw data 제공 혹은 API 형태로 Raw data에 접근할 수 있게 함;개발 모형: API 형태로 접근할 수 있게 함); (2) 논문의 내용 중 open하지 않는 부분에 대해서는 특허 출원 및 등록 추진 (Open: DOIN이나 CLOC과 같은 새로운 모형에 대한 부분은 학술 논문으로 발표하기에 특허 출원 및 등록하기에 어려울 수 있다고 판단함; Closed: Dataset 구축 알고리즘은 특허 출원 및 등록을 하여 원천 기술을 확보하려고 함)
2.예상되는 연구개발성과의 활용분야, 활용방안: (1) Automatic Planning에 assistive technology로 활용: 기계가 시각 정보를 이해하고 이를 다른 기계나 사람이 일할 수 있는 instruction set을 만드는데 활용 가능; (2) Synthetic data generation: Sim2Real 환경에서 학습 효과를 향상하는데 활용; 일반적으로 데이터 부족이나 부재의 문제가 있는 분야에 활용 가능; 특히, IRB 과정을 거쳐야 하는 인간 및 생물 대상 연구에서 활용 가능
3. 추가연구의 필요성, 타 연구에의 응용: (1) Human-Object Interaction 기반의 시각 정보 이해: 이는 단순히 스마트워크뿐만 아니라 인간이 관여되는 모든 분야에 활용할 수 있음. 예를 들어, 장애인 보조 연구에 응용할 수 있음; (2) 스마트워크: instruction set을 만들어 내는 부분은 현재 활발히 연구 중인 LLM으로 활용한 planning과 reasoning에 응용될 수 있음
4. 기업화 추진방안, 기술이전 등을 기재: (1) Instruction set을 만들어내는 기업화 추진 예정

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 7
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 11
• 1) 정성적 연구개발성과(연구개발결과) ... 11
• 2) 세부 정량적 연구개발성과 ... 11
• 3) 목표 달성 수준 ... 11
• 4) 목표 미달 시 원인 분석 ... 12
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발결과의 중요성) ... 12
• 5. 연구개발성과의 관리 및 활용 계획 ... 13
• 6. 자체점검표 ... 14
• 7. 참고문헌 ... 14
• 끝페이지 ... 14