초록 ▼

□ 연구개발 목표 및 내용
◼ 최종 목표
• 적은 양의 학습데이터를 활용한 다양한 학습 상황/목표 하에서 적합한 세부 요소 기술에 대해 소량의 데이터 상황에서도 학습 성능을 향상시킬 수 있는 알고리즘 개발을 목표로 함
• 심층 신경망 모델이 소량의 데이터를 이용한 학습만으로도 새로운 작업을 수행할 수 있도록 모델을 다양한 도메인 혹은 다양한 작업의 데이터로 학습시키는 메타훈련 기반의 소수샷학습 알고리즘 개발
• 여러 작업들이 순차적으로 수행 될 때 선행 학습된 모델과 선행 학습 시에 추출된 유용한 정보를 활용하

□ 연구개발 목표 및 내용
◼ 최종 목표
• 적은 양의 학습데이터를 활용한 다양한 학습 상황/목표 하에서 적합한 세부 요소 기술에 대해 소량의 데이터 상황에서도 학습 성능을 향상시킬 수 있는 알고리즘 개발을 목표로 함
• 심층 신경망 모델이 소량의 데이터를 이용한 학습만으로도 새로운 작업을 수행할 수 있도록 모델을 다양한 도메인 혹은 다양한 작업의 데이터로 학습시키는 메타훈련 기반의 소수샷학습 알고리즘 개발
• 여러 작업들이 순차적으로 수행 될 때 선행 학습된 모델과 선행 학습 시에 추출된 유용한 정보를 활용하여 새로운 작업에 빠르게 적응할 수 있는 전이학습 알고리즘 개발
• 소량의 분류 데이터로 목표하는 학습 성능 달성이 어려울 때 미분류 데이터에서 추출한 특징을 활용하여 학습 성능을 향상시키는 준지도/자기지도/능동/빅데이터가공 학습 알고리즘 개발
• 각 요소기술의 세부 기술 연계를 통한 학습 적용 범위 확장 및 학습 성능 향상 및 실제 산업 데이터에 대한 시스템 단위 동작 SW 제공

◼ 전체 내용
• 소량의 데이터를 활용하는 메타훈련 기반의 소수샷학습 알고리즘
거리 기반, 모델 기반, 최적화 기반의 기존 메타학습 알고리즘 분석과 더불어 피처 공간의 투영 기술을 활용하는 새로운 소수샷학습 기법의 성능 향상 가능성 연구
자기지도학습 등을 활용하여 기존 에피소드 기반의 훈련 기법을 능가하는 메타훈련 기법 연구
간단하면서도 귀납적 편향성 축적이 강화될 수 있는 추가 모듈구조 연구
주어진 작업에 구체화된 조건형성 특성이 우수한 추론 모델 개발
귀납적 편향성과 작업적응 능력의 관계 분석
작업 특화 조건형성(task-conditioning) 시 선형 피처 공간 투영을 능가하는 비선형 투영 기술 개발
• 선행 지식과 새로운 정보를 융합하는 빠른 전이학습 알고리즘
새로운 작업의 데이터를 선행 학습된 모델로 처리하여 얻은 정보(피처, 은닉층 신호 등)와 새로운 작업의 데이터에 대해 독립적으로 추출한 지식을 융합하는 모듈 도입 및 학습 기술 개발
· 상기 독립적인 지식을 빠르게 추출하기 위한 추가 신경망 모듈 도입을 포함한 새로운 신경망 구조 및 학습 기술 연구
· 융합된 지식을 바탕으로 신경망의 파라미터, 하이퍼파라미터 혹은 추가적인 신경망의 구조적 특성을 변화시키는 미세 조정 기법 연구
· 새로운 작업들이 순차적으로 제시되는 연속학습 상황에서 점진적 미세 조정 기법 개발
• 미분류 데이터에서 추출한 특징을 활용하여 성능을 향상시키는 학습 알고리즘
· 행렬채움 방식을 적용한 데이터의 관계 그래프를 도출하고 이를 통해 미분류 데이터를 학습에 활용하는 준지도학습 알고리즘 개발
· 다수의 자기지도학습 작업을 함께 활용하는 새로운 자기지도학습 기법 연구 효과적인 개별 자기지도학습 작업 통합을 위해 하이퍼파라미터를 최적화하는 메타학습 기반 자기지도학습 기법 연구
· 미분류 데이터의 특징 분석을 통해 선별 및 추가 분류 전략을 확립하고 심층 신경망의 훈련과정과 연동하여 동작하는 심층 능동학습 알고리즘 개발
· 데이터의 신뢰도 및 중요도 분석을 통해 주어진 미분류 데이터셋을 가공(cleanup)하여 소수샷학습 및 메타학습에 도움이 될 수 있는 데이터만을 추출하는 알고리즘 개발
• 세부 기술 연계를 통한 학습 적용 범위 확장 및 학습 성능 향상
· 소수샷학습 알고리즘의 작업 특화 조건형성 기법을 전이학습의 미세조정 알고리즘으로 활용
· 미분류 데이터를 이용한 자기지도학습 알고리즘을 바탕으로 개선된 메타훈련 기법 개발
· 능동학습 및 빅데이터 가공 기술로 미분류 데이터를 처리하여 소수샷학습 및 전이학습에 활용
• 각 세부기술 요소에 대한 SW 및 연계된 전체 시스템 SW 제공
· 소수샷학습/전이학습/준지도학습/자기지도학습 알고리즘을 연계하여 적은 양의 데이터로 동작 가능한 의료 진단 SW 구축
· 준지도학습/자기지도학습/능동학습/빅데이터 가공 알고리즘을 연계하여 반도체 결함 진단 SW 구축

□ 연구개발성과
• 예상되는 연구 결과물은 다음과 같음
· 개선된 소수샷학습 알고리즘 및 메타 자기지도학습 알고리즘
· 점진적 전이학습 알고리즘 및 연속 전이학습 알고리즘
· 그래프 기반 준지도학습 알고리즘 및 메타 학습 기반 효율적 자기지도학습 알고리즘
· 데이터 특성 기반 데이터 선별 알고리즘 및 심층 능동학습 알고리즘
· 정보이론 기반의 빅데이터 가공 알고리즘
· 다양한 어플리케이션에 대해 세부 알고리즘이 연계된 통합 학습 시스템(흉부 엑스레이 이미지 기반 질병 진단 시스템, 반도체 공정 결함 진단 시스템 등)
• 예상되는 연구 개발 성과는 다음과 같음
· 각 지표별 수치는 당해연도 연구기간 내 발생 성과 목표치를 의미함
• 예상되는 공개 SW 성과는 다음과 같음
· 각 지표별 수치는 과제 시작 시점부터 당해연도까지의 누적 성과 목표치를 의미함
• 당해연도 연구결과는 다음과 같음
· 메타학습 알고리즘: 소량의 데이터로부터 획득한 의미 정보를 효율적으로 활용하여 보다 향상된 작업 특화 조건 형성을 가능하게 하는 소수샷 의미분할 학습 알고리즘 개발 및 개선
· 전이학습 알고리즘: 새로운 지식을 연속적으로 학습할 때 기존 지식에 영향을 최소화하며 새로운 작업 정보를 학습하기 위해 새로운 파라미터 공간 내에서 기존 지식에 덜 영향을 주는 파라미터를 활용하는 미세조정(fine-tuning) 학습 알고리즘 개발
· 준지도학습 알고리즘: 규모가 큰 데이터셋에서 하나의 이미지가 다중 레이블을 가지는 경우에도 효율적으로 동작할 수 있는 준지도학습 알고리즘 개발
· 자기지도학습 알고리즘: 여러 작업들을 다양한 비율의 비중으로 학습하는 메타학습 기반 효율적 자기지도학습 알고리즘 개발
· 능동학습 알고리즘: 증거기반 심층 학습을 응용한 베이지안 학습 방법을 통해 레이블이 없는 데이터의 경험적 불확실성을 효율적으로 계산하여, 보다 향상된 학습 정보량 예측을 가능하게 하는 능동학습 기반 객체 검출 알고리즘 개발 및 개선
· 빅데이터 가공 알고리즘: 학습 없이 데이터 가치를 측정하고 그 점수로 데이터를 선별하는 알고리즘 개발 및 테스트 데이터의 의사(pseudo) 라벨로 부정확한 분류 모델의 예측 값을 그대로 사용하는 대신 최근접 이웃 정보를 활용해 가공된 의사 라벨 분포를 생성해 분류 모델 미세 조정하는 알고리즘 개발
• 당해연도 연구개발성과는 다음과 같음
• 누적 공개SW성과는 다음과 같음

□ 연구개발성과 활용계획 및 기대 효과
• 관련 연구 성과들을 저명 학술지 및 국제 학회에 발표하여 인공지능 발전을 선도할 것으로 기대함
• 워크샵, 세미나 등을 개최하여 국내외 연구자 및 연구기관과 활발한 기술 교류를 진행할 계획임
• Github 등을 통해 개발 기술 SW를 공개하여 국내외 기술 수요자들과 활발한 교류를 진행할 계획임
• 국내 중소/벤처 기업들을 대상으로 기술 수요 설명회를 개최하여 개발한 기술들이 국내 기업들의 인공지능 기술 도입에 적극 활용될 수 있도록 지원할 계획임
• 개발한 기술들은 데이터 확보가 어려운 의료 영상 분야 및 반도체 결함 감지 시스템, 빠르고 정확한 학습 결과를 도출해야하는 자율주행 시스템 등 다양한 분야에 두루 활용 가능할 것으로 기대함
• 차세대 인공지능 핵심 기술을 조기에 선점하고 데이터 부족이라는 기술적 과제를 해결하는 부분에서도 주도권을 확보함으로써 국가 기술 경쟁력 강화에 크게 기여할 것으로 기대함
• 과제 수행을 통해 기계학습 분야에 복합적 연구능력이 함양된 우수한 국내 전문 연구 인력을 양성함

(출처 : 요약문 4p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 2
• 요 약 문 ... 4
• 목차 ... 8
• 1. 연구개발과제의 개요 ... 9
• 1) 기술개발의 개요 ... 9
• 2) 개발 기술 성능의 우수성 ... 13
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 16
• (1) 소수샷학습 알고리즘 개발 ... 16
• (2) 연속 전이학습 알고리즘 개발 ... 16
• (3) 준지도학습 알고리즘 개발 ... 17
• (4) 자기지도학습 알고리즘 개발 ... 17
• (5) 능동학습 알고리즘 개발 ... 17
• (6) 빅데이터 가공 알고리즘 개발 ... 18
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 21
• 1) 연구수행 결과 ... 21
• 2) 목표 달성 수준 ... 35
• 4. 목표 미달 또는 미흡한 사항에 대한 원인분석 ... 36
• 1) 목표 미달 또는 미흡한 연구결과에 대한 원인(사유) 자체분석 내용 ... 36
• 2) 미달 또는 미흡한 결과물에 대한 보완 활동 ... 36
• 3) 연구개발 과정의 성실성 ... 36
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 37
• 6. 연구개발성과의 관리 및 활용 계획 ... 37
• 1) 향후 5년간 성과활용·확산 활용방안 및 계획(활동계획) ... 38
• 2) 주요 성과활용 (기대)성과목표 ... 39
• 3) 성과활용·관리 추진체계 ... 39
• 7. 연구개발성과에 대한 후속연구 및 추가 개발 계획 ... 40
• 8. 연구개발비 사용실적 ... 41
• 1) 연구개발비 사용명세서 ... 41
• 2) 발생이자 사용명세서 ... 41
• 3) 반납액 명세서 ... 41
• 끝페이지 ... 51