초록 ▼

□ 연구개발 목표 및 내용
◼ 최종 목표
최근 딥러닝을 기반으로 ICT 기술이 한층 발전하고 있으며, 딥러닝을 기반으로 하는 강화 학습(Reinforcement Learning)은 드론, 로봇, 자율 자동차, 스마트팩토리에서의 최적 제어를 위해 폭넓게 활용되기 시작했다. 본 과제에서는 단일 IoT 디바이스가 아니라 동일 타입의 지능형 멀티 IoT 디바이스가 여러 에지 도메인(Edge Domain)으로 산재되어 있을 때, 연합 강화 학습(Federated Reinforcement Learning)을 기반으로 지능형 멀티 I

□ 연구개발 목표 및 내용
◼ 최종 목표
최근 딥러닝을 기반으로 ICT 기술이 한층 발전하고 있으며, 딥러닝을 기반으로 하는 강화 학습(Reinforcement Learning)은 드론, 로봇, 자율 자동차, 스마트팩토리에서의 최적 제어를 위해 폭넓게 활용되기 시작했다. 본 과제에서는 단일 IoT 디바이스가 아니라 동일 타입의 지능형 멀티 IoT 디바이스가 여러 에지 도메인(Edge Domain)으로 산재되어 있을 때, 연합 강화 학습(Federated Reinforcement Learning)을 기반으로 지능형 멀티 IoT 디바이스들을 최적 제어하기 위한 네트워크 구조, 프로토콜, 연합 강화 학습 기법에 대한 연구하였다. 또한, 에지 컴퓨팅 환경에서 지능형 멀티 IoT 디바이스 제어를 위한 연합 강화 학습 S/W 프레임워크를 전체 연구기간 동안 개발하였다. 개발한 프레임워크 위에서 단순한 시뮬레이션뿐만 아니라, 실제 IoT 디바이스들을 활용하여 본 과제에서 제안하는 다양한 연합 강화 학습 기법들의 성능 평가를 수행하였다.

◼ 전체 내용
본 제안 과제에서는 지능형 멀티 IoT 디바이스들이 여러 에지 도메인으로 산재되어 있을 때, 연합 강화 학습을 기반으로 그러한 디바이스들을 최적 제어하기 위한 연합 강화 학습 네트워크 구조, 프로토콜, 학습 가속화 기법에 대한 연구를 수행한다.
이를 위하여, 1차 년도에는 연합 강화 학습 가속화를 위한 다양한 경험 공유 및 모델 전이 기법 개발을 수행한다. 본 과제에서는 강화 학습 알고리즘으로 주로 Actor-Critic 기반의 PPO 등을 사용하며, 행동제어를 담당하는 Actor 모델 및 행동 제어의 평가를 담당하는 Critic 모델을 최적화하기 위하여 사용하는 여러 정보를 마스터애게 전달하여 글로벌 모델을 학습하는 데 활용하고 다시 각 작업자에게 해당 정보를 전달함으로써 경험을 공유 하도록 한다. 또한, 모델의 동기화를 위해 각 작업자가 보유하고 있는 Actor 모델의 은닉 계층 파라미터를 마스터의 글로벌 모델 및 다른 작업자들에게 전달하는 모델 전이 기법 연구를 수행할 계획이다.
2차 년도에는 계층적 연합 강화 학습 구조 및 계층화된 비동기적 모델 동기화 프로토콜 연구를 진행한다. 계층적 연합 강화 학습 구조를 설계하기 위하여, 로컬 지역에 있는 디바이스 들의 경험 정보를 1차적으로 먼저 에지 서버에서 취합하여 가공된 요약 정보를 클라우드의 마스터로 전달하는 구조를 설계한다. 한편, 이와 같은 계층적 환경에서도 전체적인 강화 학습 성능이 올바르게 유지될 수 있는 모델 동기화 기법 연구를 수행한다. 특징, 계층적 연합 강화 학습 구조에서 지능형 IoT 디바이스들의 시스템 이질적 특성을 극복하면서 Stale Gradient 문제를 해소하는 네트워크 프로토콜 및 모델 동기화 방법 연구를 수행한다.
3차 년도에는 지능형 IoT 디바이스들로부터 수집되는 학습 데이터의 통계적 Non-IID 특성 극복을 위한 연구를 진행한다. 즉, 각각의 지능형 IoT 디바이스로부터 수집되는 데이터의 통계적 Non-IID 특성을 고려한 1) 디바이스별 상태 정보 전처리 기법, 2) Non-IID 통계적 특성을 고려한 디바이스별 상이한 보상 체계 개발, 3) 딥러닝 모델의 일반화 성능을 높이기 위한 모델 최적화 방안을 연구할 계획이다. 또한, 3개년동안 지속적으로 개발해 온 연합 강화 학습 프레임워크 S/W를 고도화하고 다양한 지능형 IoT 디바이스에 대하여 다양한 제어 목표에 대한 학습을 수행할 수 있는 토대를 완성할 예정이다.

□ 연구개발성과
강화 학습을 기반으로 동일 제어 목적을 지닌 멀티 로봇, 멀티 드론, 멀티 IoT 디바이스 등의 행동 제어에 관한 사례가 늘어가고 있다. 특히, 산업용 로봇팔에 대한 공정 제어 학습, 다양한 게임 행위 제어 등에 강화 학습이 적용되고 있으며, 그림 9(c)에서처럼 다양한 도메인에 설치되어 자신의 역할을 담당하는 다수의 지능형 IoT 디바이스들의 최적 제어에 대한 산업체 요구가 증대되고 있다. 본 연구는 이와 같은 학계와 산업체의 요구에 부합하는 주제로서 계층적 연합 강화 학습의 네트워크 구조, 프로토콜, 연합 강화 학습 기법을 제안하여 다중 에지 도메인에 산재된 멀티 IoT 디바이스들의 최적 제어 성능을 고도화에 기여할 수 있다.

□ 연구개발성과 활용계획 및 기대 효과
본 과제의 연구책임자(RFC 5181, 5270, 7864 저자)가 활발히 활동 중인 IETF 국제 표준화 기구에서는 최근 “AI in/for Network” 주제를 활발히 논의 중이다. 또한, IEEE NETWORK (Sept. /Oct. 2019) 매거진 최신호에서는 Special Issue로 “Edge Intelligence for the Industrial Internet of Things”을 선정하였다. 본 과제의 연구 목표는 이러한 주제들과 관련되는 것으로서 에지 네트워크에 연결된 지능형 IoT 디바이스들의 효율적인 제어를 위한 연합 강화 학습 기법 연구를 동시에 수행한다.
본 연구과제는 서로 다른 학문 분야인 컴퓨터네트워크와 인공지능의 융합연구 주제에 관한 학문적, 산업적 성과를 창출할 것으로 기대한다. 본 과제의 성과를 국내외 유명 학회발표 및 국내외 저명 저널에 출판하고 적극적인 특허 출원/등록을 통하여 핵심기술의 지식재산권 확보와 국제표준화로의 연계 등을 통해 연구원들의 경쟁력 강화와 산업체에서 주도적인 역할을 기대 할 수 있다. 이로써, 컴퓨터네트워크 융합 연구 분야에 기술적 진보를 이끌고, 5G/6G 네트워크 관련 사업 활성화에 기여할 수 있다.

(출처 : 요약문 2p)

목차 Contents

• 표지 ... 1
• 요 약 문 ... 2
• 목차 ... 4
• 1. 연구개발과제의 개요 ... 5
• 1) 최종 목표 ... 5
• 2) 주요 연구 변경사항 ... 5
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 5
• 1) 1차년도 ... 5
• 2) 2차년도 ... 5
• 3) 3차년도 ... 6
• 4) 4차년도 ... 6
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 6
• 1) 연구수행 결과 ... 6
• 2) 목표 달성 수준 ... 17
• 3) 목표 미달 시 원인 분석 ... 17
• 4. 연구개발성과의 관련 분야에 대한 기여 정도 ... 18
• 5. 연구개발성과의 관리 및 활용 계획 ... 18
• 1) 학문발전 공헌도 및 기술적 파급효과 ... 18
• 2) 본 제안 연구의 기술적 파급효과 ... 18
• 6. 참고문헌 ... 19
• 끝페이지 ... 21