[논문]임베디드 시스템에서의 양자화 기계학습을 위한 효율적인 양자화 오차보상에 관한 연구

석진욱

doi:10.5909/jbe.2020.25.2.157

초록
AI-Helper

본 논문에서는 임베디드 시스템에서의 양자화 기계학습을 수행할 경우 발생하는 양자화 오차를 효과적으로 보상하기 위한 방법론을 제안한다. 경사 도함수(Gradient)를 사용하는 기계학습이나 비선형 신호처리 알고리즘에서 양자화 오차는 경사 도함수의 조기 소산(Early Vanishing Gradient)을 야기하여 전체적인 알고리즘의 성능 하락을 가져온다. 이를 보상하기 위하여 경사 도함수의 최대 성분에 대하여 직교하는 방향의 보상 탐색 벡터를 유도하여 양자화 오차로 인한 성능 하락을 보상하도록 한다. 또한, 기존의 고정 학습률 대신, 내부 순환(Inner Loop) 없는 비선형 최적화 알고리즘에 기반한 적응형 학습률 결정 알고리즘을 제안한다. 실험 결과 제안한 방식의 알고리즘을 로젠블록 함수를 통한 비선형 최적화 문제에 적용할 시 양자화 오차로 인한 성능 하락을 최소화시킬 수 있음을 확인하였다.

Abstract ▼ AI-Helper

In this paper. we propose an effective compensation scheme to the quantization error arisen from quantized learning in a machine learning on an embedded system. In the machine learning based on a gradient descent or nonlinear signal processing, the quantization error generates early vanishing of a g...

In this paper. we propose an effective compensation scheme to the quantization error arisen from quantized learning in a machine learning on an embedded system. In the machine learning based on a gradient descent or nonlinear signal processing, the quantization error generates early vanishing of a gradient and occurs the degradation of learning performance. To compensate such quantization error, we derive an orthogonal compensation vector with respect to a maximum component of the gradient vector. Moreover, instead of the conventional constant learning rate, we propose the adaptive learning rate algorithm without any inner loop to select the step size, based on a nonlinear optimization technique. The simulation results show that the optimization solver based on the proposed quantized method represents sufficient learning performance.

Keyword

표/그림 (4)

그림 그림 1. 기존 비선형 최적화 기법에서 사용되는, 학습률 선택을 위한 내부 루프를 통해 결정되는 적응적 학습률 기반 학습 알고리즘 Fig. 1. The learning algorithm including the adaptive learning rate selected through an inner loop based on a conventional nonlinear optimization technique
그림 그림 2. 제안한 내부루프 없는 비선형 최적화 기법에 기반한 적응적 학습률을 포함한 학습 알고리즘 Fig. 2. The proposed learning algorithm without the inner loop for selection of the adaptive learning rate based on a nonlinear optimization technique
표 표 1. BFGS 알고리즘과 제안한 알고리즘과의 최적화 성능: 초기값 (-1.232, 1.212) Table 1. Performance Comparison between the BFGS and the proposed algorithm: Initial point at (-1.232, 1.212)
표 표 2. BFGS 알고리즘과 제안한 알고리즘과의 최적화 성능: 초기값 (-3.0, -4.0) Table 2. Performance Comparison between the BFGS and the proposed algorithm : Initial point at (-3.0, -4.0)

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 이와 같은 양자화의 이점을 기계학습에 이식하기 위해, 양자화로 인한 성능하락을 극복하기 위한 적응적 학습률의 기계학습 적용 알고리즘을 제안하고, 이 를 기반으로 양자화 오차 보상을 위한 보상 알고리즘과 이를 강화학습 등의 기계학습에 도입 가능한 비선형 최적화 문제에 적용하여 제안한 양자화 오차 보상 방법론이 타당 함을 보인다.
본 논문에서는 임베디드 시스템에서 비선형 최적화 방법 론을 기반으로 양자화 학습을 최적하게 수행하기 위해 내부 루프 없는 적응적 학습률을 사용하는 학습 알고리즘과 양자화 오차를 최소화시킬 수 있는 보상 탐색 방법론을 제안하였다. 실험 결과 제안한 방법은 양자화 오차를 효과적으로 줄일 수 있음을 로젠블록 함수를 통한 비선형 최적화 문제를 통해 확인할 수 있었다.

대상 데이터

실험 환경은 다음과 같다. 먼저 하드웨어는 삼성 Exynose-5 8-코어 CPU를 탑재한 83x32(mm) 크기의 임베디드 보드를 사용하였다. 동 시스템의 CPU는 2GHz에서 동작하는 ARM A15 4-코어와 1.
0 HS4000 Flash Memory를 저장 장치 로 사용한다. 소프트웨어 환경은 먼저, OS는 우분투 18.04 LTS이며 Python 3.7에서 numpy 및 Scipy 라이브러리를 사용하여 본 실험을 위한 코드를 작성하였다.

이론/모형

본 알고리즘의 타당성을 실험하기 위하여 대표적인 비선형 최적화 문제인 로젠브록 함수의 최적화 문제에 제안한 양자화 방식을 적용하였다. 로젠브록 함수는 얇은 골짜기가 띠 형태로 존재하고 전역 최소점 부근에서 다수의 국소 최소점을 가지는 형상으로 때문에 각종 최적화 알고리즘의 성능시험에서 많이 사용된다.
식 (37)의 경우 유리수체로 정의 가능하므로,   ∈Q 를 잘 정의(Well-defined)할 수 있다. 최적화 알고리즘은 QuasiNewton 방법인 BFGS(Broyden-Fletcher-Goldfarb-Shannon algorithm)[4]를 사용하였다. BFGS는 Newton-Rapson 기반 의 최적화 알고리즘에서 나타나는 Hessian을 2개의 벡터 간 텐서곱으로 근사화 시킨 후 이를 업데이트 하면서 근사 Hessian을 구하여 최적화를 수행하는 방법이다.
BFGS는 Newton-Rapson 기반 의 최적화 알고리즘에서 나타나는 Hessian을 2개의 벡터 간 텐서곱으로 근사화 시킨 후 이를 업데이트 하면서 근사 Hessian을 구하여 최적화를 수행하는 방법이다. 학습률 선택을 위한 방법은 Armijo Rule을 사용하였다. Armijo Rule 에 의한 학습률 선택 방법은 다음과 같다.

성능/효과

그러나, 식 (22)을 만족하지 못하 면, 학습이 이루어지지 않고 더 작은 학습률로 다시 학습하는 것이기 때문에 본 과정은 마치 “Idle and Go”처럼 보인다. 또한 제안한 알고리즘은 만일, 유한한 내부 루프로 학습률을 찾을 수 있다면, 상대적으로 적은 전체 데이터 집합 반복수행으로 학습률을 찾을 수 있으므로 전체 학습 시간에서 차지하는 비중이 크지 않아, 효율적으로 적응적 학습률을 구할 수 있다.
이 값이 알고리즘 정지 조건인 10-3 보다 작다면, 알고리즘은 정지한다. 실험결과, 양자화 계수가 128 즉, Log Qp로서 계산된 필요 비트가 7비트일 경우, 알고리즘이 찾은 최적 로젠블록 함수 값은 0으로 본 문제에서의 전역 최소값을 찾았으며 이때, Epsilon 값은 이다. 표 1에서 7비트 이상의 양자 화 실험결과를 살펴보면 양자화시 반복회수가 부동 소수점을 사용한 결과대비 40.
실험결과, 양자화 계수가 128 즉, Log Qp로서 계산된 필요 비트가 7비트일 경우, 알고리즘이 찾은 최적 로젠블록 함수 값은 0으로 본 문제에서의 전역 최소값을 찾았으며 이때, Epsilon 값은 이다. 표 1에서 7비트 이상의 양자 화 실험결과를 살펴보면 양자화시 반복회수가 부동 소수점을 사용한 결과대비 40.4%~44.1% 정도이다. 이 영향으로 속도는 각각 2.
47배 빨라진다. 이는 부동소수점을 사용한 경사 도함수 기반 학습 방정식에서 약 50% 이상의 반복회수가 사실상 무의미하게 이루어짐을 의미하며, 양자화 연산을 통해 불필요한 반복을 줄이고, 적절한 양자화 오차 보상 방법이 구현되면, 부동 소수점 연산기 없이 대규모 신경망 하드웨어를 임베디드 시스템에 구현 시킬 수 있음을 보여준다
본 논문에서는 임베디드 시스템에서 비선형 최적화 방법 론을 기반으로 양자화 학습을 최적하게 수행하기 위해 내부 루프 없는 적응적 학습률을 사용하는 학습 알고리즘과 양자화 오차를 최소화시킬 수 있는 보상 탐색 방법론을 제안하였다. 실험 결과 제안한 방법은 양자화 오차를 효과적으로 줄일 수 있음을 로젠블록 함수를 통한 비선형 최적화 문제를 통해 확인할 수 있었다. 향후 과제로는 제안한 알고리즘의 수학적 분석을 통한 수렴성 및 특성 분석과 상대적으로 대규모 데이터 및 대규모 기계학습 구조에서, 효과적으로 적용됨을 보이는 것이다.

후속연구

실험 결과 제안한 방법은 양자화 오차를 효과적으로 줄일 수 있음을 로젠블록 함수를 통한 비선형 최적화 문제를 통해 확인할 수 있었다. 향후 과제로는 제안한 알고리즘의 수학적 분석을 통한 수렴성 및 특성 분석과 상대적으로 대규모 데이터 및 대규모 기계학습 구조에서, 효과적으로 적용됨을 보이는 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	AdaDelta란 무엇인가?	특히, 양자화를 사용하는 기계학습의 경우, 양자화 오 차에서 파생되는 학습 오차가 데이터당 반복 (Iteration)혹 은 전체 데이터 집합 당 반복(Epoch)에서 더욱될 수 있으 므로, 학습 오차를 최소화시킬 수 있는 최적 학습률을 내부 루프 없이 계산할 수 있는 알고리즘이 필요하다. 기존 기계 학습에서는 적응적 학습률을 구현하기 위하여 일반적으로 Newton-Rapson 최적화법에 기반한 알고리즘 (AdaDelta, AdaGrad, ADAM등)이 존재했으나 이들 역시, 근사 Hessian을 사용하여 경사 도함수의 적용 비율에 대한 변화만을 주었을 뿐, 근본적으로 일정한 학습률을 사용하였다[6][7][8]. 때문에, 현재 제안된 거의 대부분의 확률적 최급 강하법에 의한 학습 방정식으로는 전체 데이터집합 반복 수행에서 국소적으로도 점근적인 수렴성(Asymptotically Convergence)을 Hessian의 최대값 제한과 같은 완비성 조건(Compact Condition)이 없이는 완전히 보장할 수 없다.
	양자화 오차에 의한 전체적인 알고리즘의 성능 하락은 어떻게 보상하는가?	경사 도함수(Gradient)를 사용하는 기계학습이나 비선형 신호처리 알고리즘에서 양자화 오차는 경사 도함수의 조기 소산(Early Vanishing Gradient)을 야기하여 전체적인 알고리즘의 성능 하락을 가져온다. 이를 보상하기 위하여 경사 도함수의 최대 성분에 대하여 직교하는 방향의 보상 탐색 벡터를 유도하여 양자화 오차로 인한 성능 하락을 보상하도록 한다. 또한, 기존의 고정 학습률 대신, 내부 순환(Inner Loop) 없는 비선형 최적화 알고리즘에 기반한 적응형 학습률 결정 알고리즘을 제안한다.
	경사 도함수(Gradient)를 사용하는 기계학습이나 비선형 신호처리 알고리즘에서 양자화 오차는 어떤 문제를 발생시키는가?	본 논문에서는 임베디드 시스템에서의 양자화 기계학습을 수행할 경우 발생하는 양자화 오차를 효과적으로 보상하기 위한 방법론을 제안한다. 경사 도함수(Gradient)를 사용하는 기계학습이나 비선형 신호처리 알고리즘에서 양자화 오차는 경사 도함수의 조기 소산(Early Vanishing Gradient)을 야기하여 전체적인 알고리즘의 성능 하락을 가져온다. 이를 보상하기 위하여 경사 도함수의 최대 성분에 대하여 직교하는 방향의 보상 탐색 벡터를 유도하여 양자화 오차로 인한 성능 하락을 보상하도록 한다.

참고문헌 (11)

R. M. Gray, and D. L. Neuhoff, "Quantization.", IEEE Transactions on Inform. Theory, Vol. 44, No. 6, pp. 2325-2383, June, 2006.
D. Alistarh, D. Grubic, L. J. Ryota, and V. Milan, "QSGD: Communication-efficient sgd via gradient quantization and encoding.", Advances in Neural Information Processing Systems, Vol. 30, pp. 1709-1720, January, 2017
G. Tenenbaum, 'Introduction to Analytic and Probabilistic Number Theory', Academic mathematical Society, 2014.
D. G. Luenberger, Y. Ye, 'Linear and Nonlinear Programming', Springer, 2015.
S. Sra, S. Nowozin, S.J.Wright, 'Optimization for Machine Learning', MIT press, 2012.
J. Duchi, E. Hazan, and Y. Singer. Adaptive Subgradient Methods for Online Learning and Stochastic Optimization. The Journal of Machine Learning Research, 2011.
M. Zeiler, "ADADELTA: an adaptive learning rate", arXiv preprint, https://arxiv.org/abs/1212.5701, arXiv:1212.5701, 2012.
D. Kingma, J. Ba. Adam: A Method for Stochastic Optimization. International Conference for Learning Representations, 2015.
S. M. Goldfeld, R. E. Quandt, and H. F. Trotter, "Maximization by Quadratic Hill-Climbing", Econometrica, pp. 541-551, July, 1966.
S. Boyd, L. Vandenberghe, Convex Optimization, Cambridge University Press, Cambridge, 2004
M.S. Bazaraa, H.D. Sherali, C.M. Shetty, Nonlinear Programming: Theory and Algorithms. Wiley-Interscience, New Jersey, 2006

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 임베디드 시스템에서의 양자화 기계학습을 위한 효율적인 양자화 오차보상에 관한 연구
Study on the Effective Compensation of Quantization Error for Machine Learning in an Embedded System 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

Keyword

표/그림 (4)

표/그림 (4)

AI 본문요약
AI-Helper

문제 정의

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (11)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 임베디드 시스템에서의 양자화 기계학습을 위한 효율적인 양자화 오차보상에 관한 연구 Study on the Effective Compensation of Quantization Error for Machine Learning in an Embedded System 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

Keyword

표/그림 (4) 모든 표/그림 보기

표/그림 (4) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (11)

이 논문을 인용한 문헌

저자의 다른 논문 :

(7)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 임베디드 시스템에서의 양자화 기계학습을 위한 효율적인 양자화 오차보상에 관한 연구
Study on the Effective Compensation of Quantization Error for Machine Learning in an Embedded System 원문보기

초록
AI-Helper

표/그림 (4)

표/그림 (4)

AI 본문요약
AI-Helper