[논문]영상 압축기술을 통한 가중치 압축방법

김승환; 박은수; 굴람 무즈타바; 류은석

영상 압축기술을 통한 가중치 압축방법
Weight Compression Method with Video Codec 원문보기

김승환 (성균관대학교) , 박은수 (성균관대학교) , 굴람 무즈타바 (가천대학교) , 류은석 (성균관대학교)

최근 모바일 기기에서 딥러닝 모델을 사용하기 위한 경량화 연구가 진행되고 있다. 그중 모델의 가중치 표현 bit를 줄이는 양자화와 사용하기 위한 다양한 압축 알고리즘이 개발되었다. 하지만 대부분의 양자화 및 압축 알고리즘들은 한 번 이상의 Fine-tuning을 거쳐야 하는데 이 과정은 모바일 환경에서 수행하기에는 연산복잡도가 너무 높다. 따라서 본 논문은 양자화된 가중치를 High Efficiency Video Coding(HEVC)을 통해 압축하는 방법을 제안하고 정확도와 압축률을 실험한다. 실험결과는 양자화만 실시한 경우 대비 크기는 25%의 감소했지만, 정확도는 0.7% 감소했다. 따라서 이런 결과는 모바일 기기에 가중치를 전송하는 과정에 적용될 수 있다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이 과정은 연산량이 많으며 학습 데이터가 필요하므로 모바일 기기에 적합하지 않다. 본 논문에서는 성능이 제한된 모바일 기기에서 수행할 수 있는 양자화와 HEVC Encoder를 통한 압축을 제안한다.
활발하게 이루어지고 있다. 본 논문에서는 학습된 가중치의 크기를 줄이는 방법으로 Weight Quantization을 수행한 다음 HEVC를 통해 압축하는 방법을 제안하고 양자화 알고리즘별 성능을 비교하는 실험을 진행한다[5].
본 논문은 8bit 정수로 양자화한 가중치 행렬을 HEVC를 통해 압축하는 방법을 제안하고 그 과정에서 양자화 알고리즘이 압축률과 정확도에 미치는 영향을 실험했다. 양자화만 적용하는 경우 비대칭 양자화가 같은 크기에서 더 높은 정확도를 기록했다.
이 절에서는 양자화 방법과 가중치의 평균, 분산, 범위가 HEVC를 통한 압축률과 정확도에 미치는 영향에 대해 실험한다. Baselinee pytorch에서 제공하는 사전 학습된 가중치를 통해 실험한 내용이다.

대상 데이터

압축했을 때 결과를 나타낸다. 본 실험에 사용한 데이터 셋은 ImageNet 데이터 셋의 검증 데이터로 1000가지 클래스 이미지 50000개로 구성되어 있다. 4.

이론/모형

이를 위해서 Scale Factor _에 추가로 Zero-point _을 사용한다. 수식으로 나타내면 다음과 같다.

성능/효과

방법이 다양하게 연구되었다[1]. ResNete 가중치의 수를 줄이면서 ILSVRC에서 VGGNet보다 뛰어난 정확도를 달성했다[2]. 이후 MobileNet과 같이 모바일 기기에 최적화된 모델 구조들이 다수 발표되었다[3].
[6]은 기존 모델들의 가중치를 8bit로 줄이는 선형 양자화(Linear Quantization)를 다양한 모델에 적용했을 때 지연시간을 낮추면서 정확도의 손실을 최소화했다. ResNet에 적용했을 때 크기는 25%로 줄었지만, 정확도는 2% 정도 감소했다. [7]은 양자화 과정에서 각 Layer의 연산을 고려하여 표현 범위를 더욱 줄이는 Net-aware Quantization을 제안했다.
2015년에 발표된 Deep Compressione Pruning, Quantization과 허프만 코딩(Huffman Coding)을 통해 정확도의 손실 없이 크기를 크게 줄이는 방법이다[9]. 그 결과 VGGNet의 성능을 유지하며 크기를 552MB에서 11.3MB까지 감소했다.
이는 정확도를 조금 더 보존하기도 하지만 중복성이 줄어들어 압축률이 크게 낮아지는 것이 표 2에서 나타났다. 양자화 후 HEVC로 압축했을 때 비대칭 양자화를 실시한 것이 정확도는 0.25% 정도 높았지만 압축된 크기는 25% 정도 컸다. 따라서 HEVC를 통해 압축을 진행할 경우 대칭 양자화를 통해 압축하는 것이 정확도 손실은 더 크지만, 압축효율을 높일 수 있다.
예를 들어 Rectified Linear Unit(ReLU) 함수만 사용한다면 음수 범위를 제거하여 더 효율적으로 양자화할 수 있다. 이 방법을 통해 ImageNet 데이터 셋로 학습된 ResNet50을 8bit로 양자화하면서 0.1% 의 정확도 손실을 기록했다.
CNNPacke 입력 데이터 또한 DCT를 통해 주파수 영역으로 변환하여 입력한다. 이 방법을 통해 VGGNet의 1%의 정확도 감소와 46배의 크기 감소를 달성했다. 본 절에서 소개된 방법들은 압축률이 높고 정확도 감소가 적지만 1 회 이상의 Fine-Tuning 혹은 Re-train 과정을 포함한다.
6%의 차이가 있었다. 하지만 4.1절의 실험에서 비대칭 양자화의 경우 정확도는 높지만, 압축 효율은 낮아졌다. 다음은 양자화 알고리즘 간의 압축효율을 나타낸 것이다.
양자화만 적용하는 경우 비대칭 양자화가 같은 크기에서 더 높은 정확도를 기록했다. 하지만 본 논문이 제시하는 압축 과정에서 비대칭 양자화는 효율이 크게 떨어진다는 것을 실험을 통해 밝혔다. 후속 연구로는 CNN 모델이 아닌 다른 모델에 양자화와 HEVC를 통한 압축에 대한 실험을 진행할 예정이다.

후속연구

하지만 본 논문이 제시하는 압축 과정에서 비대칭 양자화는 효율이 크게 떨어진다는 것을 실험을 통해 밝혔다. 후속 연구로는 CNN 모델이 아닌 다른 모델에 양자화와 HEVC를 통한 압축에 대한 실험을 진행할 예정이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

영상 압축기술을 통한 가중치 압축방법
Weight Compression Method with Video Codec 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

영상 압축기술을 통한 가중치 압축방법 Weight Compression Method with Video Codec 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

영상 압축기술을 통한 가중치 압축방법
Weight Compression Method with Video Codec 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper