초록 ▼

□ 연구개요
i) 학습 알고리즘에서 정의되는 파라미터 공간은 고차원의 형태이지만 실제로 데이터를 생성하는 타겟 파라미터는 훨씬 더 낮은 차원의 공간에 존재하는 환경을 고려한다. 이러한 sparse 파라미터를 가능한 적은 데이터 수로 정확하게 복원할 수 있는 기법에 대하여 이론적/실험적으로 연구한다.
ii) 여러 학습 모델을 동시에 학습하는 multi-task 환경에서 모델들 사이의 파라미터 구조의 연관성에 기반하여 보다 효율적으로 학습할 수 있는 방안에 대해서 연구한다. 해당 연구에서는 저차원의 타겟 파라미터가 여러 개

□ 연구개요
i) 학습 알고리즘에서 정의되는 파라미터 공간은 고차원의 형태이지만 실제로 데이터를 생성하는 타겟 파라미터는 훨씬 더 낮은 차원의 공간에 존재하는 환경을 고려한다. 이러한 sparse 파라미터를 가능한 적은 데이터 수로 정확하게 복원할 수 있는 기법에 대하여 이론적/실험적으로 연구한다.
ii) 여러 학습 모델을 동시에 학습하는 multi-task 환경에서 모델들 사이의 파라미터 구조의 연관성에 기반하여 보다 효율적으로 학습할 수 있는 방안에 대해서 연구한다. 해당 연구에서는 저차원의 타겟 파라미터가 여러 개 존재하고 이들 사이의 지식을 전이하는 단순한 형태의 multi-task 학습을 넘어 각 모델 파라미터가 개인적인 파라미터와 task들 사이에서 공유하는 파라미터로 분리된 환경에서 학습의 샘플/계산 복잡도에 대하여 이론적인 성능을 분석하고 실험적으로도 제안하는 모델의 우수성에 대하여 검증한다.
iii) 위의 연구에 더불어 보다 발전된 형태의 모델의 저차원 학습 구조 및 그에 특화된 최적화 알고리즘에 대해 연구한다. 이를 큰 사이즈 모델에 대해 실험적으로 검증하며 최적화 알고리즘의 수렴 속도 및 일반화 성능을 이론적으로 분석하여 검증하고자 한다.

□ 연구 목표대비 연구결과
모든 년도에 목표 달성도 100%를 달성하였다.
1차년도: 추정 편향을 없앤 가지친 L1 페널티 (Trimmed L1 penalty)를 고안하여 이에 대한 통계적 이론, 최적화 방법 및 딥 러닝 모델에 대한 응용 방법에 대해 연구하였으며 현재 최고의 non-convex 정규화 방법 중 하나로 꼽히며 머신 러닝 최고 학회 중 하나인 ICML에 억셉되었음
2차년도: Multi-task 환경에서 RNN과 Gaussian process를 적절히 혼합하여 모델 파라미터를 다른 모델들과 공유하는 부분과 개인적인 부분으로 나누는 데에 성공하였으며 의료 데이터에 대해 기존 베이스라인들보다 월등히 높은 성능을 기록하여 AAAI에 억셉되었음
3차년도: 언어 사이의 관계를 matrix로 표현하여 언어의 문맥적 정보를 그대로 유지하면 서 지식을 증류하는 방법을 성공적으로 고안하였음. 모델 성능은 그대로 유지하되 기존 베이스라인보다 모델 파라미터의 수는 훨씬 적게 학습하는 데에 성공하였으며 언어 관련 최고 학회 중 하나인 EMNLP에 억셉되었음
4차년도: 기존에 연구했던 저차원 구조를 효율적으로 학습할 수 있는 방법인 근위 그라디언트 방법을 딥 러닝에서 많이 사용되는 적응형 그라디언트 방법 에 적용하여 고차원 모델을 저차원 구조를 조금 더 빠르고 성능이 좋게 학습하는데 성공하여 인공지능 최고 학회 중 하나인 NeurIPS에 억셉되었음

□ 연구발성과의 활용 계획 및 기대효과 (연구개발결과의 중요성)
본 연구 결과들은 파라미터의 저차원 구조를 효율적으로 학습함으로써 모델의 학습 속도 및 추론 속도를 획기적으로 줄여줄 수 있다는 장점이 있다. 이에 따라 최근 딥러닝에서 많이 사용되는 큰 모델의 사이즈를 줄여 (파라미터의 저차원 구조 학습을 통해) 사용자로 하여금 자신의 인공지능 모델을 보다 빠르게 학습 및 추론이 가능케하는 것을 기대한다. 예를 들어, 본 연구의 딥 러닝 모델 경량화를 통해 휴대폰 또는 패드 등과 같이 리소스가 제한된 기기에서도 인공지능 모델을 탑재하여 사용할 수도 있다. 또한, 관련 연구 분야에서 우리의 방법이 현재 state-of-the-art 성능을 보여주고 있기 때문에 본 연구는 관련 연구 분야의 발전에도 큰 기여를 하였다.

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 4
• 1차년도 ... 4
• 2차년도 ... 5
• 3차년도 ... 6
• 4차년도 ... 8
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 9
• 1) 정성적 연구개발성과 (연구개발결과) ... 9
• 2) 세부 정량적 연구개발성과 ... 12
• 3) 목표 달성 수준 ... 12
• 4) 목표 미달 시 원인 분석 ... 12
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발결과의 중요성) ... 13
• 5. 연구개발성과의 관리 및 활용 계획 ... 13
• 6. 자체점검표 ... 13
• 7. 참고문헌 ... 14
• 붙임1. 세부 정량적 연구개발성과 ... 15
• 붙임2 연구책임자 대표적 연구실적 및 증빙(요약문 및 사본) ... 16
• 끝페이지 ... 27