초록 ▼

연구개발 목표 및 내용
최종 목표
◦ 복잡한 환경에서 멀티모달 정보(시각 및 촉각 정보)를 기반으로 비정형 물체를 포함한 다양한 물체를 조작할 수 있는 로봇 손의 조작 인공지능 기술과 단위작업들을 효율적으로 수행하는 절차를 학습하는 기술 개발
◦ 각 기관별로 시나리오 구현을 위한 핵심 기술들을 단계적으로 개발하며, 이들 기술들의 융합을 통해서 고도의 조작지능 기술을 구현하여 제안된 다양한 시나리오를 수행함

전체 내용
◦ 1차년도
- 사람의 반복적인 시연으로부터 로봇이 그리퍼를 활용하여 조작 방

연구개발 목표 및 내용
최종 목표
◦ 복잡한 환경에서 멀티모달 정보(시각 및 촉각 정보)를 기반으로 비정형 물체를 포함한 다양한 물체를 조작할 수 있는 로봇 손의 조작 인공지능 기술과 단위작업들을 효율적으로 수행하는 절차를 학습하는 기술 개발
◦ 각 기관별로 시나리오 구현을 위한 핵심 기술들을 단계적으로 개발하며, 이들 기술들의 융합을 통해서 고도의 조작지능 기술을 구현하여 제안된 다양한 시나리오를 수행함

전체 내용
◦ 1차년도
- 사람의 반복적인 시연으로부터 로봇이 그리퍼를 활용하여 조작 방법을 학습하는 모방학습 기술 개발
- 고자유도 로봇 손을 사용한 시각 정보 기반의 물체 파지 계획 기술 개발
◦ 2차년도
- 목표하는 작업을 수행하기 위한 4가지 이상의 단위작업에 대해 절차 학습 기술 개발
- 시각과 촉각을 포함한 멀티모달 정보 기반으로, 고자유도 로봇 손을 사용한 물체의 파지 및 조작 기술 개발
◦ 3차년도
- 소수 시연 데이터만을 이용하는 모방학습 기반의 비정형 물체 조작 기술 기발
- 학습하지 않은 도메인에서도 강인하게 동작하는 전이학습 방법 연구
◦ 4차년도
- 8가지 이상의 단위작업으로 구성된 사람의 시연을 관찰하여 목표 작업을 수행하는 작업 절차를 학습하는 인공지능 기술 개발
- 시각과 촉각 정보 기반으로 고자유도 로봇 손을 사용하여 도구를 파지하고, 도구를 조작하는 학습 기술 개발

0단계 목표
◦ 멀티모달 정보(시각 및 촉각 정보) 기반의 로봇 손의 조작 인공지능을 사용하여 다양한 물체를 조작하는 기술 개발 및 문제 해결 절차를 학습할 수 있는 기술 개발
- 일련의 여러 하위 작업을 조합하여 절차를 스스로 학습하는 기술
- 물리적 상호작용을 학습함으로써 정리정돈 서비스를 제공할 수 있는 통합 인공지능 기술
- 다른 작업 환경과 새로운 도메인의 물체에 적용 가능한 메타 및 지식 전이학습 기술
- 심층 강화학습 기반으로 촉각이 가능한 로봇 손을 이용한 다중작업 인공지능 기술
◦ 각 기관 별로 핵심 기술들을 개발하여 제안된 목표 시나리오 수행
- 각 기관들의 연구내용을 활용하여 상자에 물체 담기, 3차원 퍼즐풀기, 정리정돈 서비스, 도구를 활용한 조작, 게임기 조작 등의 5가지 시나리오와 Amazon robotics challenge에 활용함
◦ 본 과제를 통해 얻은 데이터셋 등은 공개하여 국내 및 해외 연구자들이 질 좋은 데이터셋으로 연구할 수 있도록 함
내용
◦ 1차년도
- 사람의 반복적인 시연으로부터 로봇이 그리퍼를 활용하여 사전 정보가 없는 정형물의 조작 방법을 학습하는 모방학습 기술 개발
- 물체 조작 시의 물리적 상호작용을 학습하기 위한 기반 연구로서, RGB 영상 기반 확률적 정책 학습 및 로봇 파지를 위한 전이학습 기술 개발
- 상자에 물체를 담기 위해 필요한 행동과 그 행동에 적합한 물체들에 대해 입력 도메인 시프트가 일어나도 해결 가능한 강인한 전이학습 방법 연구
- 고자유도 로봇 손을 사용한 정형물 파지를 위하여 RGB-D 기반의 멀티모달 정형물 인식 기술 및 심층 강화학습과 모방학습을 이용한 파지 계획 기술 개발
◦ 2차년도
- 멀티모달 정보를 활용한 깨지기 쉬운 정형물을 다루는 4가지 이상의 단위작업 (예, 파지, 이동, 밀기, 놓기)를 각각 학습한 뒤, 목표하는 작업을 수행하기 위한 작업 절차를 스스로 학습하는 기술 개발
- 상자에 물체를 담는 작업을 강인하게 수행하기 위하여 로봇 손과 물체 또는 물체와 주변 물체와의 물리적 상호작용 학습하는 기술 개발
- 불확실성의 최대화를 이용한 능동 학습으로 경험하지 못한 데이터를 학습하여 구조 및 조립 방법이 다양한 3D 퍼즐을 해결 가능한 전이학습 방법 연구
- RGB-D와 촉각을 포함한 멀티모달 센싱 기반으로, 고자유도 로봇 손을 사용하여 정형물을 적응적으로 파지하고, 제약된 물체의 조작 방법을 학습하며, 사전에 주어진 물체 간의 상호관계 정의로부터 물체들의 현 상태를 추정하는 기술 개발
◦ 3차년도
- 멀티모달 정보를 바탕으로 소수의 시연 데이터만을 이용하는 모방학습을 기반으로 비정형 물체를 조작하는 단위작업을 학습하고, 강화학습을 통하여 습득한 조작 방법의 성능을 향상시킬 수 있는 학습기술 개발
- 물리적 상호작용 학습에 기반하여 단순한 파지에 의한 정리뿐만 아니라, 수건을 갠다거나 선을 정리하는 등의 다양한 작업들을 수행하기 위한 사용자 시연 기반의 역강화학습 기술 개발
- 가사도구의 모양과 쓰임새를 동시에 학습하는 계층적 메타학습 연구 및 전이학습 연구
- 이동이 가능한 센서 헤드와 능동 학습을 사용하여 RGB-D와 촉각을 포함한 멀티모달 센서 데이터로부터 3차원 비정형 물체를 파지할 수 있도록 하는 기술개발
◦ 4차년도
- 로봇이 사람의 8가지 이상의 단위작업을 시각만을 이용하여 관찰하여 그들을 학습하고, 목표 작업을 달성하는 작업 절차를 학습하는 인공지능 기술 개발
- 방 정리를 위한 물리적 상호작용 학습 기반의 로봇 조작 기술 학습 프레임워크 개발
- 다중 환경 적용 가능한 메타학습 및 전이학습 기반의 조작지능 플랫폼 개발
- RGB-D와 멀티모달 센싱 기반으로, 고자유도 로봇 손을 사용하여 사전에 상호관계 정의가 주어지지 않은 부정형 물체군으로 이루어진 도구를 적응적으로 파지하고, 이로부터 얻은 물체 간의 상호관계 정보와 전이학습을 이용하여 도구 조작을 학습하는 기술 개발

연구개발성과
◦ 정량적 성과
- 4년간 총 국내외 논문 28건, 국내외 학술대회 111건, 국내외 특허 출원 19건, 국내 특허 등록 5건, 프로그램 등록 6건, 기술문서 6건 등의 성과를 보임.
- 총 11개의 정량적 성능지표 또한 모두 달성하였으며, 일부 인증이 필요한 항목은 공인 인증을 통해 성능을 인증받음.
- 본 과제 수행 중에 얻은 데이터셋 255GB와 코드 15건을 공개하여 추후 비슷한 연구를 진행하는 연구팀에서 활용 가능하도록 함.
◦ 정성적 성과
- 다양한 시나리오를 수행함으로써 로봇이 더욱 다양한 분야에서 활용될 수 있음을 보임. (상자에 물체 담기, 3차원 퍼즐 조립, 책상 정리, 방 정리, 요리, 게임)
- 당초 예정이었던 ARC(Amazon robotic challenge)는 더 이상 개최되지 않으므로, RoboCup, WRS(world robot summit), SteamCup 등 홈 서비스 분야에서의 국제대회에 4년간 10회 참가하여 우수한 성적을 거둠. 이를 통해 한국의 AI 및 로봇 기술이 타국에 뒤지지 않음을 보였음.

연구개발성과 활용계획 및 기대 효과
◦ 활용 계획
- 로봇 팔에 인공지능 기술을 접목하여 기존의 산업 현장에서 적용하지 못했던 물류 작업 등의 현장에 투입됨으로써 공장의 자동화에 기여
- 모바일 매니퓰레이터에 지능을 부여하여 기존의 청소로봇이 바닥 청소만을 수행했던 것을 넘어 가정 내의 다양한 청소 및 집안일을 수행하는 서비스 로봇으로 활용
◦ 기대 효과
- 본 과제에서 개발한 기술은 로봇 이외의 다양한 분야의 연구에도 활용 가능
- 로봇이 제공할 수 있는 작업 및 서비스의 양적 및 질적 향상
- 위험한 작업이지만 로봇이 수행하기 어려워서 인간이 수행하고 있던 작업들을 로봇이 대체함으로써 산업재해가 줄어들 것으로 기대함
- 개발한 연구 결과물의 공유를 통해 국내외 연구자들과 연구 내용을 교류함으로써 인공지능 기술의 발전에 기여하여 인공지능 기술의 활발한 상용화를 기대함
◦ 공개 SW R&D 전략과 활성화 방안
- 오픈소스 저장소 관리: GitHub, SourceForge 등 오픈소스 저장소 등록/관리
- 오픈소스 커뮤니티 개설 및 운영: 공개 SW커뮤니티 운영 및 GitHub, SourceForge 연동을 통해 공개자료에 대한 활용 지원, 의견수렴, 교육/세미나/경진대회와 연계

(출처 : 요약문 8p)