초록 ▼

□ 연구개발 목표 및 내용
◼ 최종 목표
기존의 비효율적인 강화학습 및 모방학습 기반 자율 주행 기법에 대한 대안으로, 고위험 상황 시뮬레이션을 통한 효율적인 모방학습 기법을 제안하며, 소수의 전문가와 다수의 비전문가가 비동기적으로 알고리즘을 학습시키는 새로운 인간-기계 협업 모델을 통해 제안된 기법을 실증한다. 이를 위해 (1) 시뮬레이션 플랫폼에서 고위험 상황 데이터셋을 크라우드소싱으로 생성하고 검증할 수 있도록 하는 인터페이스를 개발하고, (2) 모방학습 알고리즘이 수집된 고위험 상황을 최적의 생성적 대립쌍 (gen

□ 연구개발 목표 및 내용
◼ 최종 목표
기존의 비효율적인 강화학습 및 모방학습 기반 자율 주행 기법에 대한 대안으로, 고위험 상황 시뮬레이션을 통한 효율적인 모방학습 기법을 제안하며, 소수의 전문가와 다수의 비전문가가 비동기적으로 알고리즘을 학습시키는 새로운 인간-기계 협업 모델을 통해 제안된 기법을 실증한다. 이를 위해 (1) 시뮬레이션 플랫폼에서 고위험 상황 데이터셋을 크라우드소싱으로 생성하고 검증할 수 있도록 하는 인터페이스를 개발하고, (2) 모방학습 알고리즘이 수집된 고위험 상황을 최적의 생성적 대립쌍 (generative adversarial)으로써 모범 데모와 함께 학습하도록하는 알고리즘을 개발하며, (3) 시뮬레이션 플랫폼과 실증 데이터를 통해, 제안된 방식이 솔루션 공간를 탐색 하는데 걸리는 시간을 현저히 줄이고, 오류 합성 현상을 막음으로써 효율적이고 안전한 모방학습을 가능하게 함을 보이고 데이터 셋과 플랫폼을 공개 및 배포한다.

◼ 전체 내용
자율 주행 시뮬레이션 플랫폼에서 고위험 상황 데이터셋을 생성하고 검증할 수 있는 크라우드소싱 인터페이스를 개발, 생성적 고위험 상황 (대립쌍) 예제를 모범 데모와 함께 학습하도록 하는 변형된 모방학습 알고리즘을 개발, 및 제안된 방식이 탐색 시간과 오류 합성 현상을 현저히 줄임으로써 효율 적이고 안전한 새로운 방식임을 실증 데이터를 통해 검증한다.
- 1차년도 연구목표: 자율 주행 시뮬레이션 플랫폼에서 고위험 상황 데이터셋을 높은 정확도와 신뢰도로 어노테이션(annotation)할 수 있는 인터렉션 기법을 조사하고, 이를 통해 데이터셋을 생성하고 검증할 수 있는 크라우드소싱 인터페이스를 개발한다. 개발된 인터페이스의 사용성은 작업 수행 시간 비교 및 참여자 사후 설문조사를 통해 측정하고, 인터페이스로부터 생성된 데이터셋의 정확도와 신뢰도 평가는 전문가 및 크라우드소싱을 통해 평가자-간-신뢰도(inter-rater reliability) 값을 통해 측정 하여 평가한다.
- 2차년도 연구목표: 크라우드소싱한 고위험 상황 예제를 전문가가 사전에 제작한 모범 데모와 결합하여 최적의 보상값(reward)을 추적하는 정책 함수를 학습하도록 하는 모방학습 알고리즘을 개발한다. 주어진 리스크에서 최대의 이득을 혹은 주어진 이득에서 최소의 리스크를 얻도록 설계하는 Mean- variance analysis 기법에 착안해, 모방학습의 목적 함수에 고위험 정보를 다루는 패널티 함수를 추가한다.
- 3차년도 연구목표: 자율주행 시뮬레이션을 할 수 있는 웹 기반 크라우드소싱 플랫폼과, 전문가 자문 을 통한 실증 데이터를 제작함으로써, 제안된 기술이 end-to-end 시스템에서 기대한대로 작동할 수 있는 웹 기반 환경을 구축한다. 구축된 환경에서 효율적이고 안전한 자율주행 모방학습을 가능하게 함을 보이고, 시스템을 통해 수집한 데이터셋을 플랫폼과 함께 공개 및 배포한다.

◼ 1단계
❏ 목표
자율 주행 시뮬레이션 플랫폼에서 고위험 상황 예제 데이터셋을 높은 정확도와 신뢰도로 어노테이션(annotation)할 수 있는 인터랙션 기법을 개발하고, 이를 통해 데이터셋을 생성하고 검증할 수 있는 크라우드소싱 인터페이스를 개발한다.
❏ 내용
CARLA 오픈소스 시뮬레이터 환경 구축 ⇒ 비전문가 사용자가 빠르게 예제를 생성할 수 있는 시뮬레이터 인터랙션의 개발 ⇒ 전문가로부터 모범 예제 제작 ⇒ 모범 예제로부터 test state 를 샘플링 ⇒ MTurk와 연동하여 test state들에 대한 고위험 예제 대규모 생성

◼ 2단계
❏ 목표
크라우드소싱을 통해 효율적으로 생성한 고위험 상황 예제를 모범 데모와 결합 하는 형태로 최적의 보상값(reward)을 추적하는 정책 함수를 학습하도록 하는 모방학습 알고리즘 을 개발한다.
❏ 내용
전문가 모범 예제를 사용한 모방학습의 기초 알고리즘 구축 ⇒ 크라우드소싱한 고위험 예제를 고려하는 업데이트된 알고리즘 개발 ⇒ 전문가 데모 궤적 샘플의 복잡도에 대한 정확도 측정

◼ 3단계
❏ 목표
자율주행 시뮬레이션을 할 수 있는 웹 기반 크라우드소싱 플랫폼을 고도화하고, 전문가 자문을 통한 실증 데이터를 제작함으로써, 제안된 기술이 end-to-end 시스템에서 기대 한대로 작동할 수 있는 웹 기반 환경을 구축한다.
❏ 내용
개발된 모방학습 알고리즘에 적합한 고위험 예제를 생성하도록 크라우드소싱 인터페이스를 고 도화 ⇒ 업데이트된 데이터셋을 통한 알고리즘 고도화 ⇒ 검증, 정제, 공개, 및 배포

◼ 4단계
❏ 목표
연구 내용을 정리하고 연구 개발 성과의 활용 계획과 기대 효과를 예측한다.
❏ 내용
모방학습 기반뿐 아니라 LSTM 모델에서 고위험 예제를 활용할 경우 자동차 사고 예측의 정확도가 높아질 수 있음을 확인하고 이에 대한 내용을 정리, 및 공개

□ 연구개발성과
총 5편의 논문 발표 (모두 “2018년 한국정보과학회 소프트웨어 분야 우수학술대회 목록”에서 최우수 혹은 우수학술대회에 해당)
- Jean Y. Song*, Sangwook Lee*, Jisoo Lee, Mina Kim, and Juho Kim. "ModSandbox: Facilitating Online Community Moderation Through Error Prediction and Improvement of Automated Rules. " In Proceedings of the ACM/SIGCHI Conference on Human Factors in Computing Systems (CHI 2023). (* Equal contribution)
- Yoonjoo Lee, John Joon Young Chung, Taesoo Kim, Jean Y. Song, and Juho Kim. "Promptiverse: Scalable Generation of Scaffolding Prompts through Human-AI Knowledge Graph Annotation. " In Proceedings of the ACM/SIGCHI Conference on Human Factors in Computing Systems (CHI 2022).
- Sunjae Lee, Hayeon Lee, Hoyoung Kim, Sangmin Lee, Jeong Woon Choi, Yuseung Lee, Seono Lee, Ahyeon Kim, Jean Y. Song, Sangeun Oh, Steven Y. Ko, and Insik Shin. "FLUID-XP: Flexible User Interface Distribution forCross-Platform Experience. " In Proceedings of the International Conference On Mobile Computing And Networking (MobiCom 2021).
- Zhefan Ye, Jean Y. Song, Zhiqiang Sui, Stephen Hart, Jorge Vilchis, Arbor, Walter S. Lasecki, and Odest C. Jenkins. "Human-in-the-loop Pose Estimation via Shared Autonomy. " In Proceedings of the ACM International Conference on Intelligent User Interfaces (IUI 2021). Best Paper Honorable Mention
- Stephan J. Lemmer, Jean Y. Song, and Jason J. Corso. "Crowdsourcing More Effective Initializations for Single-target Trackers Through Automatic Re-querying. " In Proceedings of the ACM/SIGCHI Conference on Human Factors in Computing Systems (CHI 2021).

□ 연구개발성과 활용계획 및 기대 효과
- 기대효과 : 자율주행 기술은 운전에 대한 노동을 줄여줄 뿐 아니라, 궁 적으로 운전 미숙으로 인한 사고의 위험을 줄일 수 있을 것이라는 기대에 많은 관심을 받고 있다. 이러한 흐름에 있어 본 연구는 자율주행 기술의 실제 활용에 병목이 될 수 있는 학습 효율성과 신뢰도 문제를 해결하는 새로운 방안 을 제안함으로써 학술적, 사회적, 산업적으로 큰 파급력을 가질 것으로 기대된다.
- 활용방안: 본 연구에서 수집하고 가공한 데이터는 Tesla, Waymo 등 자율주행 차량의 개발용 모방학 습 및 강화학습 기술을 위한 테스트 데이터로 활용 가능할 뿐 아니라, 더 고도화 된 데이터 수집 인터 페이스의 개발을 위한 기준점으로써의 역할을 수행할 수 있다. 또한 본 연구에서 개발한 크라우드소 싱 인터페이스는 고위험 상황 예제의 제작 뿐 아니라 다양한 자율주행 시뮬레이션을 크라우드소싱하 는데 활용됨으로써 학계 및 산업계에서 다양하게 기여할 수 있다.

(출처 : 요약문 2p)

목차 Contents

• 표지 ... 1
• 요약문 ... 2
• 목차 ... 5
• 1. 연구개발과제의 개요 ... 6
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 7
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 9
• 1) 연구수행 결과 ... 9
• 2) 목표 달성 수준 ... 10
• 4. 연구개발성과의 관련 분야에 대한 기여 정도 ... 10
• 5. 연구개발성과 및 활용 계획 ... 10
• 1) 연구성과 ... 10
• 2) 연구성과 활용계획 ... 11
• 6. 참고문헌 ... 11
• 끝페이지 ... 12