초록 ▼

□ 연구개발 목표 및 내용
○ 최종 목표
본 과제의 최종 목표는 지능형 로봇과 사람 간 능동적 사회적 상호작용을 위한 다중로봇 자율주행, 사회적 상호작용, 실시간 임베디드 모듈 기술을 개발하는 것이다. 개발 기술은 기존의 수동적 로봇-인간 상호작용의 실용적 한계를 극복하기 위해, 다중로봇 자율주행 기술을 접목한 새롭고 실용적인 능동적 사회적 상호작용이 가능한 기술이다. 원천기술인 3차원 Semantic Scene 재구성 기술을 응용하여 다중로봇 자율주행 기술 및 사회적 상호작용 기술들을 개발하고, 실제 로봇 플랫폼 적용을

□ 연구개발 목표 및 내용
○ 최종 목표
본 과제의 최종 목표는 지능형 로봇과 사람 간 능동적 사회적 상호작용을 위한 다중로봇 자율주행, 사회적 상호작용, 실시간 임베디드 모듈 기술을 개발하는 것이다. 개발 기술은 기존의 수동적 로봇-인간 상호작용의 실용적 한계를 극복하기 위해, 다중로봇 자율주행 기술을 접목한 새롭고 실용적인 능동적 사회적 상호작용이 가능한 기술이다. 원천기술인 3차원 Semantic Scene 재구성 기술을 응용하여 다중로봇 자율주행 기술 및 사회적 상호작용 기술들을 개발하고, 실제 로봇 플랫폼 적용을 위한 11TFOPS-2Gbps급 CPU-GPU-FPGA 통합형 실시간 임베디드 모듈을 개발하고자 한다. 본 과제를 통해 도출될 핵심 기술은 Semantic SLAM을 위한 3차원 Semantic Scene 재구성 기술, 다중 로봇 Semantic SLAM을 위한 로봇 간 상호작용 기술, 다중 로봇 서비스 구현을 위한 임무 계획 기술, 사회적 상호작용에 의한 아동-로봇 교육 서비스 기술, CPU-GPU-FPGA 통합형 실시간 임베디드 모듈 기술이다.

○ 전체 내용
원천 기술인 실시간 3차원 공간 인식 및 확률적 의미적 SLAM을 위한 다중 사물 관측 모델 기술, 의미적 특징 기반 3D 자세 추정 최적화 기술, 3차원 의미적 장면 기반 문장생성 기술을 이용하여 5가지 핵심기술들을 개발한다. Semantic SLAM을 위한 3차원 Semantic Scene 재구성 기술, 사회적 상호작용에 의한 아동-로봇 교육 서비스 기술, 다중 로봇 서비스 구현을 위한 임무 계획 기술, 다중로봇 Semantic SLAM을 위한 로봇 간 상호작용 기술은 CPU-GPU-FPGA 통합형 실시간 임베디드 모듈에 포팅이 되어 실제 환경에서 동작 가능하도록 개발됨. 핵심기술 별 연차별 개발 내용은 아래와 같다.

● Semantic SLAM을 위한 3차원 Semantic Scene 재구성 기술
- Semantic Feature Extraction을 위한 Object 검출 향상 및 실시간성 확보를 위한 YOLO v4 기반 Multi-object 검출 기술 개발
- Dynamic Semantic Scene 재구성 기술 기반 Visual SLAM 구조
- Computational Efficient Dynamic Semantic Scene 기반 Visual SLAM 기술
- 다중로봇 Semantic SLAM을 위한 로봇 간 상호작용 기술
- Commonly Semantic Object 정보 병합 기술 개발
- Commonly Semantic Scene 기반 3D 지도 병합 기술 개발
- Deep Learning 기반 3D 통합 지도 최적화 기술 개발
● 다중 로봇 서비스 구현을 위한 임무 계획 기술
- 임무 계획을 위한 도메인 온톨로지 및 추론 알고리즘 개발
- Temporal Logic 기반 유연한 다중 로봇 임무 계획
- Semantic Scene 기반 계층적 임무 계획 설계 및 구현
● 사회적 상호작용에 의한 아동-로봇 교육 서비스 기술
- 사회적 상호작용을 위한 Digital Knowledge 설계 및 자연어 표현 기술
- 심층학습을 위한 Digital Knowledge 모델링
- 아동-로봇 사회적 상호작용을 위한 맞춤형 메시지, 데이터, 자료 등 생성
● CPU-GPU-FPGA 통합형 실시간 임베디드 모듈 기술
- 이기종 프로세서 통합형 구조의 로봇 탑재형 임베디드 H/W 플랫폼 개발
- 인공지능 컴퓨팅 프로세서 연동을 위한 환경 구축 및 인터페이스 개발
- 센서 데이터 전처리 알고리즘 개발 및 FPGA 로직 구현

○ 1차 년도
◎ 목표
● 인공지능 컴퓨팅 프로세서 연동을 위한 환경 구축 및 인터페이스 개발
● Temporal Logic 기반 유연한 다중 로봇 임무 계획
● 심층학습을 위한 Digital Knowledge 모델링
● Semantic Feature로 구성된 3D Graph Optimization, 매칭 및 Loop closing 기술 검증 및 적용
● Dynamic Semantic Scene 재구성 기술 기반 Visual SLAM 구조
● Commonly Semantic Scene 기반 3D 지도 병합 기술 개발
● 아동-로봇 상호작용을 통한 영어 능력 발달 지원 프레임워크 개발

◎ 내용
● 로봇 주변 장치 모듈들의 인터페이스를 위한 디바이스 드라이버 및 데이터의 실시간 융합 처리 및 고속병렬처리
● FPGA용 센서 인터페이스 로직 설계
● 강인한 작업계획을 위해서 시간적인 불확실성에서 시간적 제약을 고려한 작업계획 기술
● 불확실성과 제어 가능성 (약함, 강함 및 동적)을 가진 시간적 그래프 표현한 작업계획 기술
● 시멘틱 맵을 이용한 Graph Neural Network 기반 자연어 생성
● Knowledge Map 또는 RDF/OWL 기반의 Ontology 설계 및 TDB 엔진 구축
● Data association을 고려한 3차원 Semantic 특징으로 구성된 Graph 최적화 기술 검증 및 적용
● 휴대가 용이한 저해상도 카메라를 이용한 향상된 visual odometry 기술 검증 및 적용
● 카메라의 파라미터가 다를 경우에도 동작 가능한 domain adaptive learning 구조 및 학습 네트워크 검증 및 적용
● ORB 특징점을 기반으로 Local Map을 구성하며 이때 1차년도에 개발된 Dynamic Semantic Scene 재구성 기술을 활용함.
● 확률적 모델을 기반으로 Semantic 정보 중 동적 물체의 비중을 계산하며, 비중이 적은 공간을 Key Frame으로 설정하며 Back-end에서 활용
● Hierarchical Deep Generative 모델을 이용하여 로봇 간 공통으로 사용할 수 있는 Object, Scene, Area 인식 기술 개발
● 동적 환경의 불확실성을 극복을 위한 로봇 간 공유된 Object, Scene, Area를 기반으로 효율적 임무 수행을 위한 통합 환경 지도 작성 및 업데이트 기술 개발
● 아동의 언어와 행동 요소를 기반으로 영어 능력 발달 측정 척도 개발
● 아동의 영어 문장 생성 수준에 따른 로봇 기반 피드백 모델 설계
● 아동의 언어적 인지적 사회ž정서적 발달 평가 척도 개발

○ 2차 년도
◎ 목표
● 센서 데이터 전처리 알고리즘 개발 및 FPGA 로직 계획
● Semantic Scene 기반 계층적 임무 계획 설계 및 구현
● 아동-로봇 사회적 상호작용을 위한 맞춤형 문항 생성
● 3차원 Graph Map으로 표현되는 Scene에 대한 Natural Language Description 기술 검증 및 적용
● Computational Efficient Dynamic Semantic Scene 기반 Visual SLAM 기술
● Deep learning 기반 3D 통합 지도 최적화 기술 개발
● 아동-로봇 상호작용을 통한 영어 능력 발달 지원 프레임워크 개발

◎ 내용
● 인공지능 추론 엔진 분석 및 Deep learning 기반 인공지능 추론 S/W 구동 모듈 설계
● 임베디드형 인공지능 컴퓨팅 프로세서 모듈의 로봇 적용을 통한 실환경 기반 성능 검증
● FPGA용 센서 전처리 알고리즘 개발 및 FPGA 로직 구현
● 계층적 작업계획 분석과 수행에 있어서 Top-down Hierarchical Planning (HTN) and/or Bottom-up 계층적 임무계획 아키텍처 설계
● PDDL Domain/Problem 임무 수행 실패에 유연한 동적, 계층적 임무계획 방법 설계
● 획득한 3차원 시멘틱 환경 정보로 활용 가능한 문항 생성 추론 엔진 개발
● 얼굴(Tag)인식을 통한 개인별 질의/응답 지식 데이터베이스 구축
● Graph로 표현되는 3D Scene에 적합한 Deep learning 기법 및 이를 이용한 Natural Language Description 기술 검증 및 적용
● Natural Language 문장 생성을 위한 Graph Convolution Neural Network 기반 네트워크 구조 및 학습 기법 검증 및 적용
● 단일 이미지에서 얻어진 소규모의 Graph Map 뿐만 아니라, Navigation을 통해 얻어지는 다수의 물체를 포함한 Map에서도 문장생성 가능한 기술 검증 및 적용
● Human Detection 성능 향상을 통해 검출 시간 최소화 (YOLO v4 + Detectron2)
● BlockGAN을 이용한 Generator 네트워크 경량화
● Dynamic Semantic Object Weighted Score 부여
● Computational Efficient Unsupervised Learning 네트워크 구성
● Key Frame 선정 및 Back-end 구조 최적화
● 3차원 지도병합 파라미터인 6DoF 오차를 이용한 학습용 비용 함수 설정 기술 개발
● 3차원 통합 지도의 특징점 회귀분석을 위한 Sematic CNN 기술 개발
● 3차원 통합 지도의 잡음 제거 및 동적 환경요소로 인해 저하된 통합 지도 품질 향상을 위한 Semantic Autoencoder 기술 개발
● 아동의 영어 능력 발달 지원 프레임워크의 시범 적용 및 사용성 평가
● 아동의 언어 및 행동 데이터 수집 및 분석 프로세스의 타당성 검증

○ 3차 년도
◎ 목표
● 인공지능 컴퓨팅 프로세서 연동을 위한 환경 구축 및 인터페이스 개발
● Temporal Logic 기반 유연한 다중 로봇 임무 계획
● 심층학습을 위한 Digital Knowledge 모델링
● Semantic Feature로 구성된 3D Graph Optimization, 매칭 및 Loop closing 기술 검증 및 적용
● Dynamic Semantic Scene 재구성 기술 기반 Visual SLAM 구조
● Commonly Semantic Scene 기반 3D 지도 병합 기술 개발
● 아동-로봇 상호작용을 통한 영어 능력 발달 지원 프레임워크 개발

◎ 내용
● 로봇 주변 장치 모듈들의 인터페이스를 위한 디바이스 드라이버 및 데이터의 실시간 융합 처리 및 고속병렬처리
● FPGA용 센서 인터페이스 로직 설계
● 강인한 작업계획을 위해서 시간적인 불확실성에서 시간적 제약을 고려한 작업계획 기술
● 불확실성과 제어 가능성 (약함, 강함 및 동적)을 가진 시간적 그래프 표현한 작업계획 기술
● 시멘틱 맵을 이용한 Graph Neural Network 기반 자연어 생성
● Knowledge Map 또는 RDF/OWL 기반의 Ontology 설계 및 TDB 엔진 구축
● Data association을 고려한 3차원 Semantic 특징으로 구성된 Graph 최적화 기술 검증 및 적용
● 휴대가 용이한 저해상도 카메라를 이용한 향상된 visual odometry 기술 검증 및 적용
● 카메라의 파라미터가 다를 경우에도 동작 가능한 domain adaptive learning 구조 및 학습 네트워크 검증 및 적용
● ORB 특징점을 기반으로 Local Map을 구성하며 이때 1차년도에 개발된 Dynamic Semantic Scene 재구성 기술을 활용함.
● 확률적 모델을 기반으로 Semantic 정보 중 동적 물체의 비중을 계산하며, 비중이 적은 공간을 Key Frame으로 설정하며 Back-end에서 활용
● Hierarchical Deep Generative 모델을 이용하여 로봇 간 공통으로 사용할 수 있는 Object, Scene, Area 인식 기술 개발
● 동적 환경의 불확실성을 극복을 위한 로봇 간 공유된 Object, Scene, Area를 기반으로 효율적 임무 수행을 위한 통합 환경지도 작성 및 업데이트 기술 개발
● 아동의 언어와 행동 요소를 기반으로 영어 능력 발달 측정 척도 개발
● 아동의 영어 문장 생성 수준에 따른 로봇 기반 피드백 모델 설계
● 아동의 언어적 인지적 사회ž정서적 발달 평가 척도 개발

□ 연구개발성과
ㅇ 사회적 상호작용 기반 다중로봇 자율주행 기술 및 11TFOPS-2Gbps급 CPU-GPU-FPGA 통합형 임베디드 모듈 개발
ㅇ End Product
- Semantic SLAM을 위한 3차원 Semantic Scene 재구성 알고리즘(SW)
- 다중로봇 Semantic SLAM을 위한 로봇 간 상호작용 알고리즘(SW)
- 다중 로봇 서비스 구현을 위한 임무 계획 알고리즘(SW)
- 사회적 상호작용에 의한 아동-로봇 교육 서비스 알고리즘(SW)
- CPU-GPU-FPGA 통합형 실시간 임베디드 모듈(HW)

□ 연구개발성과 활용계획 및 기대 효과
ㅇ (정부 지원 필요성) 사회적 상호작용 기반 다중로봇 자율주행 기술은 4차산업혁명 시대의 로봇 및 인공지능 분야에 필수적인 핵심기술이므로 글로벌 서비스 로봇 시장 조기선점 및 핵심기술 확보를 위해 국가 전략 차원에서 반드시 구현되어야 할 기술이다.
- 물류와 같은 서비스 로봇 기술에 대한 수요가 많아지고 있어 인공지능과 같은 핵심기술 확보를 위한 정부 지원이 필요하다.
- 특히, 상용화 수준의 기술개발을 위해서는 다양한 하드웨어를 도전적으로 고려해야하기 때문에 정부지원을 통한 안정적 재원 확보가 필요하다.
ㅇ (기술적 측면) 사회적 상호작용 기반 다중로봇 자율주행 기술은 11TFOPS-2Gbps급 CPU-GPU-FPGA Co-Processing 기술과 동적 및 비정적 환경에서의 다중 로봇 Semantic Scene 재구성 기술이 확보될 경우 해당 분야 원천 기술 확보와 더불어 기술적으로 큰 파급효과를 가져올 것이다.
- 11TFOPS-2Gbps급 CPU-GPU-FPGA Co-Processing 기술은 많은 계산량을 요구하는 Deep Learning 기술의 실시간 수행이 가능하기 때문에 기술적 파급력과 실용성이 매우 클 것으로 예상된다.

(출처 : 요약문 5p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 3
• 요 약 문 ... 5
• 목차 ... 11
• 1. 연구개발과제의 개요 ... 12
• 1.1 연구개발의 개념 ... 12
• 1.2 핵심기술의 구성 및 필요성 ... 13
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 15
• 2.1 Semantic SLAM을 위한 3차원 Semantic Scene 재구성 기술 (3차원 의미적 장면 해석) ... 15
• 2.2 다중 로봇 Semantic SLAM을 위한 로봇 간 상호작용 기술 (다중로봇 SLAM) ... 48
• 2.3 사회적 상호작용 기반 다중로봇 자율주행을 위한 원천기술 검증 및 적용 ... 89
• 2.4 다중 로봇 서비스 구현을 위한 임무 계획 기술 (다중로봇 임무 계획) ... 96
• 2.5 사회적 상호작용에 의한 아동-로봇 교육 서비스 기술 (사회적 상호작용) ... 105
• 2.6 CPU-GPU-FPGA 통합형 실시간 임베디드 모듈 기술 ... 116
• 2.7 전체 수행과정 ... 146
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 162
• 1) 연구수행 결과 ... 162
• 2) 목표 달성 수준 ... 173
• 4. 목표 미달 또는 미흡한 사항에 대한 원인분석 ... 175
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 176
• 6. 연구개발성과의 관리 및 활용 계획 ... 178
• 1) 향후 5년간 성과활용·확산 활용방안 및 계획(활동계획) ... 179
• 2) 주요 성과활용 (기대)성과목표 ... 181
• 3) 성과활용·관리 추진체계 ... 182
• 4) 기타 ... 183
• 7. 연구개발성과에 대한 후속연구 및 추가 개발 계획 ... 184
• 8. 연구개발비 사용실적 ... 185
• 끝페이지 ... 203