초록 ▼

○ 효율적인 딥 러닝 모델 경량화 기술 개발
- FP32 기반 모델 대비 2.68%p 정확도 손실만으로 기존 모델 크기 대비 9.8% 수준으로 모델축소
- 기존 Quantization 기법 대비 테스트 오류율 4%p 개선
- 기존 Quantization 기법 대비 학습시간 18% 단축

○ 기계학습에 효과적인 데이터 경량화 기법 개발
- Data Distribution Search, Distribution Consistency, Adapted Distribution Consistency 기법 제안을

○ 효율적인 딥 러닝 모델 경량화 기술 개발
- FP32 기반 모델 대비 2.68%p 정확도 손실만으로 기존 모델 크기 대비 9.8% 수준으로 모델축소
- 기존 Quantization 기법 대비 테스트 오류율 4%p 개선
- 기존 Quantization 기법 대비 학습시간 18% 단축

○ 기계학습에 효과적인 데이터 경량화 기법 개발
- Data Distribution Search, Distribution Consistency, Adapted Distribution Consistency 기법 제안을 통한 데이터 경량화 및 1.05%p, 1.54%p, 1.75%p 정확도 향상 (CIFAR-10 데이터셋 기준)
- [정확도 측면] Importance Score, Dataset Distillation 기법 제안을 통한 데이터 경량화 및 1.37%p, 0.47%p 정확도 향상 (MNIST 데이터셋 기준)

(출처 : 초록 5p)

Abstract ▼

III. Research results
○ Research on lightweight model technology for deep learning training process
[Size aspect]
- Model weight reduction by up to 3.3% compared to the existing model size with only 0.64%p accuracy loss compared to the baseline model (based on LAQ-CB and CIFAR-10 datasets)<

III. Research results
○ Research on lightweight model technology for deep learning training process
[Size aspect]
- Model weight reduction by up to 3.3% compared to the existing model size with only 0.64%p accuracy loss compared to the baseline model (based on LAQ-CB and CIFAR-10 datasets)
- Model weight reduction to 9.8% of the existing model6) size with only 2.68%p loss of accuracy compared to the baseline model (based on SSPQ and ImageNet datasets)
[Accuracy aspect]
- 4%p improvement in test error rate compared to the existing quantization technique2) (based on LAQ-CB and CIFAR-10 datasets)
- 1.47%p improvement in accuracy compared to MobileNet V2 (based on SSPQ and ImageNet datasets)
[Time aspect]
- 18% reduction in learning time compared to existing quantization techniques7) (based on LAQ-CB and CIFAR-10 datasets)
- In the case of SOTA method8), it takes more than 43 hours to reduce the model weight, but the developed method does not have additional time for weight reduction by performing model lightening during the learning process (based on SSPQ and ImageNet datasets).
○ Research on lightweight data technology for deep learning training process
[Size aspect]
- Based on CIFAR-10 data, data weight reduction that minimizes accuracy loss such as 2.22~1.31% p loss compared to 60% reduction, 4.07~3.36% p loss compared to 50% reduction, and 6.96~5.07% p loss compared to 40%
[Accuracy aspect]
- Data through data distribution search, Distribution Consistency, Adapted Distribution Consistency method proposal and data weight reduction and 1.05% p, 1.54% p, 1.75% p accuracy improvement (based on CIFAR-10 data set), Importance Score, Data through Dataset Distillation method proposal Light weight and improved accuracy of 1.37%p and 0.47%p (based on MNIST dataset)

(출처 : SUMMARY 13p)

목차 Contents

• 표지 ... 1
• 제 출 문 ... 3
• 보고서 초록 ... 5
• 요 약 문 ... 6
• Summary ... 11
• Contents ... 17
• 목차 ... 20
• 표목차 ... 23
• 그림목차 ... 24
• 1장. 연구개발과제의 개요 ... 29
• 가. 연구 목적의 필요성 ... 29
• 1. 모델 크기의 급속한 증가 ... 29
• 2. 상대적으로 더딘 H/W 발전 속도 ... 30
• 3. 모델 학습에 소요되는 시간과 비용의 급속한 증가 ... 30
• 나. 연구내용 및 범위 ... 31
• 다. 추진 전략 ... 31
• 2장. 현황 및 관련연구 분석 ... 33
• 가. 딥 러닝 모델 경량화 기술 ... 33
• 1. 개 요 ... 33
• 2. 가지치기 기법 ... 33
• 3. Quantization 기법 ... 35
• 4. 지식 증류 기법(Knowledge Distillation) ... 42
• 5. 경량 네트워크 구조 기법 ... 48
• 6. 현재 모델 경량화 기술의 한계 ... 66
• 나. 학습 데이터 선별 기술 ... 69
• 3장. 연구개발 수행 내용 및 결과 ... 75
• 가. 연구의 배경 및 필요성 ... 75
• 1. 딥 러닝 모델의 각광 및 이용 분야 증가 ... 75
• 2. 모델 학습의 시간 및 비용의 큰 증가 ... 75
• 3. 모바일 기기 등 저성능 계산 장치를 위한 딥 러닝 모델 배포 및 활용 필요성의 급속한 증가 ... 76
• 나. 연구의 필요성 ... 76
• 1. 딥 러닝 모델의 크기 증가 ... 76
• 2. 딥 러닝 모델의 연산 필요량의 증가 ... 77
• 3. H/W 발전의 제한 ... 78
• 다. 딥 러닝 학습 과정 단축을 위한 모델 경량화 기술 연구 ... 80
• 1. Quantized Neural Network의 개선 ... 80
• 2. 압축 비트벡터를 활용한 고속 행렬 곱셈 ... 84
• 3. Spatial Shift Point-wise quantization(SSPQ) ... 89
• 4. SSPQ의 개선 ... 93
• 5. 비교 실험 ... 97
• 6. 정리 ... 102
• 라. 딥러닝 학습 과정 단축을 위한 데이터 경량화 기법 연구 ... 104
• 1. 데이터 경량화 기법 개요 ... 104
• 2. 학습데이터 경량화를 위한 각 데이터의 차원축소 방법 연구 ... 105
• 3. Data Distribution Search 기법 개발 ... 108
• 4. Distribution Consistency 기법 개발 ... 116
• 5. Adapted Distribution Consistency 기법 개발 ... 120
• 6. Importance Score 기법 개발 ... 125
• 7. Dataset Distillation 기법 개발 ... 131
• 8. 정리 ... 134
• 4장. 연구 개발 결과의 활용 계획 ... 135
• 가. 주요 성과 및 의의 ... 135
• 나. 주요 활용 방안 ... 138
• 1. 딥러닝 모델 개발 및 활용에 있어서의 효율성 제고 ... 138
• 2. KISTI 3대 연구영역으로 확장 ... 138
• 3. 국내·외 기술 보급 ... 138
• 5장. 결론 ... 139
• 가. 딥 러닝 학습 과정의 고속화 및 효율성 제고를 위한 연구 ... 139
• 나. 딥러닝 학습 과정 단축을 위한 데이터 경량화 기법 연구 ... 140
• 6장. 향후 연구계획 ... 141
• 참고문헌 ... 142
• 끝페이지 ... 151