초록 ▼

□ 연구개발 목표 및 내용
◼ 최종 목표
①학습되지 않은 상황을 멀티 모달 데이터를 통해 인지하고 ②실시간으로 발생하는 규칙의 변경, 유동적 상황, 이상상태 등에 유연하게 대처 가능하며 ③일시적인 분석, 이해, 대응에 어려움은 있으나 이러한 어려움을 최소화하면서 변화된 상황에 적응할 수 있고 지속적으로 자가 개선이 가능한 메모리 기반 자율 발달형 인지 아키텍처(SAMMICA: Situation-aware Adaptive Memory-augmented MetaInteractive Cognitive Architecture)를

□ 연구개발 목표 및 내용
◼ 최종 목표
①학습되지 않은 상황을 멀티 모달 데이터를 통해 인지하고 ②실시간으로 발생하는 규칙의 변경, 유동적 상황, 이상상태 등에 유연하게 대처 가능하며 ③일시적인 분석, 이해, 대응에 어려움은 있으나 이러한 어려움을 최소화하면서 변화된 상황에 적응할 수 있고 지속적으로 자가 개선이 가능한 메모리 기반 자율 발달형 인지 아키텍처(SAMMICA: Situation-aware Adaptive Memory-augmented MetaInteractive Cognitive Architecture)를 이용한 인공지능 기술 개발 핵심 기술 목표
1) 멀티모달 센서 기반 새로운 상황과 이상 상황 인지 기술
2) 인공지능이 처한 상황에서 수행 가능 태스크 파악 능력 학습
3) 변화하는 상황에 능동적 적응 자가 개선 기술
4) 오픈월드 문제에 적용을 통한 실증 및 성능 검증
5) (공개SW과제)오픈소스 저장소 10개 이상, 추천 50개 이상

◼ 전체 내용
1) 멀티모달 센서 기반 새로운 상황과 이상 상황 인지
- 물체와 공간의 의미기억으로 활용 가능한 3D scene graph를 이용한 물체들의 정보와 물체들 간의 위치관계를 실시간으로 파악할 수 있는 기술
- 물체 의미기억인 WS-DNN을 이용한 단어 간의 상관관계를 제공할 수 있는 추론 기술
- 불완전한 센서 기반 환경에서 측정된 시계열 데이터에서 이상 상황 예측 기술
- RRN 및 CRRN을 이용한 센서 시계열 신호 및 이미지 정보 기반 이상 상황 파악 기술
- 바닥 마찰 계수 인지 알고리즘
- 로봇 사용 가능한 기능 변화 인지 알고리즘
- 카메라의 내부 상태 이상 인지 알고리즘
2) 인공지능이 처한 상황에서 수행 가능 태스크 파악 능력 학습
- 군집화 기술 기반 상황 분류 알고리즘
- 제로샷 러닝 기술
- s-DRN 기반의 현재 상황 파악 및 학습한 상황과 공진 상태에 따른 유사도 파악 기술
- EDM 기반 개별 작업 상황으로부터 전체 작업 상황을 추출하는 기술
- 현재 위치와 가장 비슷한 위치의 과거데이터를 추출하는 기술
3) 변화하는 상황에 능동적 적응 자가 개선
- 학습되지 않은 상황에 대한 사람의 지식을 신경망에 직접 전달하여 학습하는 기술
- 메타러닝 기반 강화학습을 통해 변화하는 환경에 빠르게 적응하는 인공지능 기술 개발
- 상황이 변화하는 환경에서 상황 변화에 적응이 가능한 멀티 에이전트 강화학습 알고리즘 기술
- 기상 변화에 적응하는 자율주행 자가 학습 알고리즘 개발
- 카메라 내부 상태 이상 시 이미지 복원 알고리즘
위 기술들의 성능을 검증, 활용하기 위한 예상 시나리오는 다음과 같음.
- 변화하는 환경에서 지능형 로봇을 이용한 전력설비 검사
- 실내 혹은 실외의 기상 변화 상황에서의 자율주행
- 유동적으로 변화하는 상황에서의 멀티 에이전트 게임
- 가정 환경에서 방 정리 서비스 및 서빙 로봇

◼ 1단계(2020-2021)
❏ 목표
- 전력구 시뮬레이션 환경에서 SAMMiCA 기반 자가 개선 능력 검증
- 변화하는 주변 상황에 따른 SAMMiCA 기반 자율 주차/주행 기술 개발
- 다양한 상황 변화에 따른 SAMMiCA 기반 AI 축구게임 기술 개발
- 다양한 가정환경에서 SAMMiCA 기반 로봇 홈서비스 제공 기술 개발
- 새로운 상황 및 3차원 공간에서 물체들의 정보와 물체들 간의 위치 관계를 실시간으로 파악할 수 있는 기술
- 단어 간의 상관관계를 제공할 수 있는 추론 기술
- 현재 상황 파악 및 학습한 상황과 유사도 파악 기술
- 개별 작업 상황으로부터 전체 작업 순서를 알맞게 추출하는 기술
- 변화하는 상황에 능동적 적응 자가 개선
- 메타러닝 기반 강화학습을 통해 변화하는 환경에 빠르게 적응하는 인공지능 기술
- MLP 기반 바닥 마찰 계수 인지 알고리즘
- CRN 기반 군집화 기술 기반 상황 분류 알고리즘
- 환경 변화에 적응 가능한 TPHCT with Hyper Network 강화학습 알고리즘
❏ 내용
주요 기능(또는 규격)
- FSOD와 연계된 3D scene graph를 이용하여 주변 환경에 존재하는 물체들의 정보와 물체들의 위치 관계를 그래프 형태의 메모리로 표현
- 도로의 경사가 변화된 상황에서 도로 지면 검출 기술
- 이미지 및 센서 데이터 기반 상황 변화 검출 기술
- Pseudo value를 생성할 수 있는 pre-trained network를 학습하고, 이를 통해 Self-training을 활용한 결측치 생성 정확도 향상
- 카메라 포즈 추정 기술 및 이상 영역 추정 기술을 통한 비정상 영상 복원
- 약-지도(Weakly sueprvised) 학습 기반 누수 검출
- CNN 네트워크를 통해 추출한 의미 벡터의 기하학적 특징을 고려한 SVM 기반 판별자를 활용한 비지도 도메인 적응 기술
- 도로에 나타난 새로운 (Unseen) 장애물 실시간 검출 모델 개발
- 지식 전이 기반 차선 복원/추론 기술
- 단어 그루핑을 통한 상관관계 지식 확장 기술
- 상황 데이터 특징 추출을 위한 자기 지도 학습(self-supervised learning) 기술
- 일화기억 장기 메모리를 통한 학습되지 않은 작업 순서 추출 기술
- 이상감지와 사람의 심볼 정보를 통한 새로운 환경 정보 군집화 및 적응적 학습기술
- 3차원 지도 기반 환경 내 물체 변화 검사 기술
- 메타러닝 기반 강화학습을 통한 상황 변화에 빠르게 적응하는 알고리즘
- 새로운 객체 분류를 위한 증진적 퓨샷 이미지 분류 기술 개발
- MLP 기반 바닥 마찰 계수 인지 알고리즘
- CRN 기반 군집화 기술 기반 상황 분류 알고리즘
- 환경 변화에 적응 가능한 TPHCT with Hyper Network 강화학습 알고리즘
- 시뮬레이션 환경의 학습 결과를 실제 환경에 적용하는 Sim2Real 기술
- 최적경로 생성을 위한 강화학습 및 전이학습 기술
주요 성능치
- 상황 변화가 주어졌을 때 이상 상태로 인지하는 정확도 80% 이상
- 변화된 상황에 대해 장기 메모리 기반 상황 분류 정확도 80% 이상
- 변화한 상황에서 능동적 적응 학습 작업 성공률 60% 이상
- 변화한 상황에서 능동적 적응에 필요한 Trial Episode 수 100회 이하
- 전력구 시뮬레이션 환경 이상발생시 전력구 검사로봇의 검사정확도 감소율 39% 미만
- 변화한 상황에서 자율주행 이동체 자율 주차/주행 성공률 85% 이상
- 양 팀에 공평하게 작용하는 상황 변화 발생 하 AI 축구 경기 승률 60% 이상
- 양 팀에 공평하게 작용하는 상황 변화 발생 하 AI 축구 경기 평균 득실차 1.0 이상
- 변화한 상황에서 로봇 홈서비스 제공 작업 수행 성공률 70% 이상

◼ 2단계(2022-2023)
❏ 목표
- 시계열 센서 신호 및 이미지 정보 기반 이상 환경 파악 기술
- 멀티모달 센서로부터 학습되지 않은 상황을 파악하는 기술
- 로봇 사용 가능한 기능 변화 인지 알고리즘
- 제로샷 러닝 기술
- 도메인 일반화 기술
- 학습되지 않은 물체에 빠르게 적응하는 Few-Shot Class Incremental Object Detector (FSCI-OD) 개발
- 전력구 실제 환경에서 SAMMiCA 기반 자가 개선 능력 검증
- 다양한 상황 변화에 적응하는 SAMMiCA 기반 자율주행 알고리즘 개발
- 다양한 상황 변화에 따른 SAMMiCA 기반 AI 축구게임 기술 고도화
- 다양한 가정 환경에서 실제 로봇 플랫폼을 활용한 SAMMiCA 기반 로봇 홈서비스 제공
❏ 내용
주요 기능(또는 규격)
- FSOD와 연계된 3D scene graph를 이용하여 주변 환경에 존재하는 물체들의 정보와 물체들의 위치 관계를 그래프 형태의 메모리로 표현
- 도로 위 사고현장 인식 기술 개발
- 교통 신호등 인식 기반 자율주행 기술 개발
- 센서 고장에 적응 가능한 자율주행 센서 융합 기술 개발
- 시계열 센서 신호 및 이미지 정보를 기반으로 이상상태 검출을 통해 현재 상황을 정상, 비정상으로 분류
- 현재 상황이 이상 상태로 분류되지 않은 경우에서 입력된 정보를 바탕으로 에이전트가 놓인 상황을 분류
- 멀티모달 정보를 기반으로 현재 상황 클러스터링 및 이전에 학습한 상황들과 계층적 클러스터링
- 개별 작업 상황을 기반으로 학습했던 전체 작업 순서 중 가장 비슷한 것을 추출
- 환경 정보 및 세부 작업 정보 기반 작업 수행 메타 학습 기술 개발
- 처음 보는 환경을 인식할 경우 강화학습으로 빠르게 새 환경에 적응하는 기능
- 로봇이 사용 가능한 기능이 변화할 때 이를 인지할 수 있는 기술
- 제로샷 러닝을 효율적으로 할 수 있는 기술
- 다양한 도메인을 스스로 생성 및 학습하여 새로운 도메인에서 강인하게 동작 가능한 기술
- 로봇 기능 변화에 대응 가능한 강화학습 알고리즘
- 기존 환경에서 학습한 모델을 바탕으로 변화된 환경에서도 적응이 가능한 전이 학습 방법 개발
- 모방학습 및 강화학습의 융합을 통해 이상 상황에 강인한 자율주행 기술 개발
주요 성능치
- 상황 변화가 주어졌을 때 이상 상태로 인지하는 정확도 90% 이상
- 변화된 상황에 대해 장기 메모리 기반 상황 분류 정확도 90% 이상
- 변화한 상황에서 능동적 적응 학습 작업 성공률 80% 이상
- 변화한 상황에서 능동적 적응에 필요한 Trial Episode 수 50회 이하
- 전력구 시뮬레이션 환경 이상발생시 전력구 검사로봇의 검사정확도 감소율 33% 미만
- 변화한 상황에서 자율주행 이동체 자율 주행 성공률 90% 이상
- 변화한 상황에서 자율주행 이동체 자율 주행 성공 감소율 25% 이하
- 양 팀에 공평하게 작용하는 상황 변화 발생 하 AI 축구 경기 승률 90% 이상
- 양 팀에 공평하게 작용하는 상황 변화 발생 하 AI 축구 경기 평균 득실차 5.0 이상
- 변화한 상황에서 작업 수행 성공 개선률 15% 이상

□ 연구개발성과
- 3D scene graph를 이용하여 물체정보와 물체의 위치관계를 실시간으로 파악하는 알고리즘 (SW)
- 센서 신호 및 이미지 정보 기반 이상 상태 검출 알고리즘 (SW)
- 센서 값이 일부 비어있는 경우, 비어있는 값을 채우는 상황 예측 알고리즘 개발(SW)
- 변화하는 환경에서 강인하게 작동하는 카메라 외부 변수 추정 및 복원 알고리즘 (SW)
- 비지도 적응 알고리즘(SW)
- 입력된 상황 정보를 바탕으로 현재 놓여진 상황을 분류 가능한 군집화 알고리즘 (SW)
- Word Similarity DNN(WS-DNN)을 이용한 단어 간 상관관계 지식 확장 알고리즘 (SW)
- 시계열 작업 순서 추출 알고리즘 (SW)
- 새로운 환경 적응학습을 위한 이상 환경 데이터셋(Dataset)
- 3차원 환경의 물체 변경 감지 알고리즘(SW)
- 메타러닝 기반 강화학습을 통해 변화하는 환경에 빠르게 적응하는 인공지능 알고리즘(SW)
- 환경변화에 적응 가능한 자가개선 알고리즘 (SW)
- 시뮬레이션 환경 및 해당 환경에서 수집한 데이터셋 (SW, Data)
- 이를 통합한 메모리 기반 자율 발달형 인지 아키텍처 SAMMICA (SW)
- 안전한 자율주행을 위한 장애물 검출 및 깊이 정보 예측이 실시간으로 동시에 가능한 통합 네트워크 (SW)
- LiDAR기반 ground segmentation 기술 개발 (SW)
- 이미지의 시계열 정보를 이용한 딥러닝 네트워크 기반 차선 검출 능력 향상 소프트웨어(SW)
- 가변적 환경에서의 자율주행을 위한 증진적 퓨샷 이미지 분류 기술 (SW)
- 게이트 순환 신경망을 결합한 심층-큐-네트워크와 동작 건너뜀을 활용한 모바일 로봇 경로학습 (SW)
- 모방학습 및 강화학습 기반 종단간 자율주행 시스템 (SW)
- 에이아이 축구를 위한 2단계 이기종 중앙집중식 학습 알고리즘 (SW)
- Scenario3-Recognizer 시뮬레이션 환경 변화 인지 모듈 (SW)
- 인공지능 축구 환경 경기장 바닥 마찰 변화 인지 프로그램 (SW)
- 자기 지도 학습을 통한 인공지능 축구 특징 추출기 (SW)
- 에이아이 축구를 위한 하이퍼 네트워크를 사용하는 2단계 이기종 중앙집중식 학습 알고리즘 (SW)
- 경기장 상태 변화 및 선수 수의 변화에 적응 가능한 강화학습 기술 V.2 (SW)
- 에이전트 기능 변화 인지 기술 (SW)
- 제로샷 러닝 알고리즘 (SW)
- 축구 팀의 일부 기능 변화에 적응 가능한 강화학습 기술 V.1 (SW)
- AI 축구 교육 컨텐츠 V.2 (SW)
- SAMMiCA 기반 AI 축구 기술 V.2 (SW)

□ 연구개발성과 활용계획 및 기대 효과
- 수요처
1) 인공지능 서비스 개발/제공자
2) 서비스 로봇 공급/생산자
- 적용 시스템 및 활용 방안
1) 전력구 내 변화된 상황을 대처하기 위한 AI 기술: 765∼154㎸의 초고압 전력이 각 지역 변전소로 전달되는 통로인 전력구 내 빈번히 발생하는 폭발 사고 또는 침수 등에 인공지능 로봇을 투입하여 변화된 상황 파악 및 조속히 문제를 해결
2) 자율주행 자동차 알고리즘 설계에 활용: 자율주행 자동차는 학습한 상황 외에도 급박하게 변화하는 상황과 경험하지 못한 환경에서도 강인하게 동작
3) 가정환경 로봇 서비스 활용: 다양한 작업을 미리 로봇에 학습시킨 후, 지식을 전이하고 학습했던 환경과 다른 각 가정환경에 적응하면서 적합한 작업 지능을 구축
4) 서비스 로봇 활용: 서비스 로봇을 개발하고 실제 환경에 배치하였을 때 학습했던 환경과 다른 상황을 맞이하게 되는데 그러한 상황에서도 빠르게 적응하고 어려움을 최소화하면서 사람에게 실시간으로, 안정적으로 서비스를 제공
5) AI 게임: 시시각각 변화하는 게임 환경에서 자가적응하며 사용자에게 서비스를 제공하거나 다른 인공지능 게임 에이전트와 경쟁 가능한 인공지능 게임 에이전트 개발
- 기술적 파급효과
1) 범용 지능(General Intelligence)의 가능성 제시: 새로운 상황을 빠르게 인지하고, 어려움을 최소화 하며 실시간으로 변화하는 상황에 대처하는 지능 알고리즘을 개발
2) 인공지능 기반 서비스 핵심 기반 기술 확보: 인공지능 기반 서비스의 핵심 기술은 학습하지 않은 상황에서 서비스 대상자에게 유연하고 의미 있는 서비스를 제공을 실현하는 것
- 경제적 파급효과
1) 인공지능 기술 산업 발전에 기여: 변화하는 상황을 인지하고, 어려움을 최소화하며 실시간으로 발달해 가는 인공지능 기술은 기존 기술의 가장 큰 한계를 극복하고 인공지능 기술이 다음 단계로 진일보할 수 있는 기술
2) 인공지능 기반 서비스 시장 활성화 선도 역할 수행: 현재 정해진 도메인 내의 좁은 범위에 적용되고 있는 인공지능 기반 서비스는 변화하는 상황 인지, 새로운 상황에 대처, 실시간 발달형 메모리 등의 핵심 기술이 확보될 경우, 반복적이고 단조로운 대부분의 업무를 대체할 것으로 예상
- 공개 SW R&D 전략과 활성화 방안
1) 본 과제는 경쟁형 과제로, 경쟁 컨소시엄 간의 평가 공정성을 위해 1단계(2차년도)까지는 국내 기업에만 공개 예정
2) 2차 년도 평가 이후, 소스 코드 및 학습 데이터를 Github 등의 플랫폼을 통해 공개 예정
3) 소프트웨어 개발 단계부터 소프트웨어 공개를 고려함. 본 과제 시작 시 Github 비공개 플랫폼에 Repository를 개설한 뒤 각 세부에 전달하여 배포하도록 함.
4) API 사용 환경과 사용법을 문서화하여 함께 배포 및 Creative Commons License 적용.
5) 각 세부 및 과제 통합 시점에서 형상관리를 계속해서 진행함. 업데이트 주기를 1년 ~ 2년으로 하여 지속적으로 버전을 관리하여 공개 소프트웨어의 원활한 활용이 가능하도록함

(출처 : 요약문 4p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 2
• 요 약 문 ... 4
• 목차 ... 9
• 1. 연구개발과제의 개요 ... 10
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 11
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 87
• 1) 연구수행 결과 ... 87
• 2) 목표 달성 수준 ... 113
• 4. 목표 미달 또는 미흡한 사항에 대한 원인분석 ... 115
• 1) 목표 미달 또는 미흡한 연구결과에 대한 원인(사유) 자체분석 내용 ... 115
• 2) 미달 또는 미흡한 결과물에 대한 보완 활동 ... 115
• 3) 연구개발 과정의 성실성 ... 116
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 116
• 6. 연구개발성과의 관리 및 활용 계획 ... 120
• 1) 향후 5년간 성과활용·확산 활용방안 및 계획(활동계획) ... 121
• 2) 주요 성과활용 (기대)성과목표 ... 122
• 3) 성과활용·관리 추진체계 ... 123
• 4) 기타 ... 123
• 7. 연구개발성과에 대한 후속연구 및 추가 개발 계획 ... 123
• 8. 연구개발비 사용실적 ... 127
• 끝페이지 ... 174