[논문]임베디드 보드에서의 CNN 모델 압축 및 성능 검증

문현철; 이호영; 김재곤

doi:10.5909/jbe.2020.25.2.200

[국내논문] 임베디드 보드에서의 CNN 모델 압축 및 성능 검증
Compression and Performance Evaluation of CNN Models on Embedded Board 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.25 no.2, 2020년, pp.200 - 207

문현철 (한국항공대학교 항공전자정보공학부) , 이호영 (한국항공대학교 항공전자정보공학부) , 김재곤 (한국항공대학교 항공전자정보공학부)

초록
AI-Helper

CNN 기반 인공신경망은 영상 분류, 객체 인식, 화질 개선 등 다양한 분야에서 뛰어난 성능을 보이고 있다. 그러나, 많은 응용에서 딥러닝(Deep Learning) 모델의 복잡도 및 연산량이 방대해짐에 따라 IoT 기기 및 모바일 환경에 적용하기에는 제한이 따른다. 따라서 기존 딥러닝 모델의 성능을 유지하면서 모델 크기를 줄이는 인공신경망 압축 기법이 연구되고 있다. 본 논문에서는 인공신경망 압축기법을 통하여 원본 CNN 모델을 압축하고, 압축된 모델을 임베디드 시스템 환경에서 그 성능을 검증한다. 성능 검증을 위해 인공지능 지원 맞춤형 칩인 QCS605를 내장한 임베디드 보드에서 카메라로 입력한 영상에 대해서 원 CNN 모델과 압축 CNN 모델의 분류성능과 추론시간을 비교 분석한다. 본 논문에서는 이미지 분류 CNN 모델인 MobileNetV2, ResNet50 및 VGG-16에 가지치기(pruning) 및 행렬분해의 인공신경망 압축 기법을 적용하였고, 실험결과에서 압축된 모델이 원본 모델 분류 성능 대비 2% 미만의 손실에서 모델의 크기를 1.3 ~ 11.2배로 압축했을 뿐만 아니라 보드에서 추론시간과 메모리 소모량을 각각 1.2 ~ 2.1배, 1.2 ~ 3.8배 감소함을 확인했다.

Abstract ▼ AI-Helper

Recently, deep neural networks such as CNN are showing excellent performance in various fields such as image classification, object recognition, visual quality enhancement, etc. However, as the model size and computational complexity of deep learning models for most applications increases, it is hard to apply neural networks to IoT and mobile environments. Therefore, neural network compression algorithms for reducing the model size while keeping the performance have been being studied. In this paper, we apply few compression methods to CNN models and evaluate their performances in the embedded environment. For evaluate the performance, the classification performance and inference time of the original CNN models and the compressed CNN models on the image inputted by the camera are evaluated in the embedded board equipped with QCS605, which is a customized AI chip. In this paper, a few CNN models of MobileNetV2, ResNet50, and VGG-16 are compressed by applying the methods of pruning and matrix decomposition. The experimental results show that the compressed models give not only the model size reduction of 1.3~11.2 times at a classification performance loss of less than 2% compared to the original model, but also the inference time reduction of 1.2~2.21 times, and the memory reduction of 1.2~3.8 times in the embedded board.

Keyword

표/그림 (9)

그림 그림 1. CP 분해 기법 (a) 합성곱 층 (b) CP 분해된 합성곱[5] Fig. 1. CP decomposition (a) Convolutional layer (b) CP decomposed convolutional layer[5]
그림 그림 2. 실험환경 구성 Fig. 2. Experimental Configuration
표 표 1. QCS605 칩의 규격 Table 1. Specification of QCS605 Chip
표 표 2. QCS605 EV-R.2 보드의 규격 Table 2. Specification of QCS605 EV-R.2 Board
그림 그림 3. 실험결과 실제화면 예 Fig. 3. An example of experimental result
표 표 3. 실험에 사용된 CNN 원본 모델의 성능 Table 3. Performance of the CNN original model used in the experiment
표 표 4. 가지치기 기법을 적용한 실험결과 Table 4. Experimental results of pruning
표 표 5. 행렬분해 기법의 실험을 위한 세부적인 압축율 지표 Table 5. Details of compression ratios for experiments on matrix decomposition
표 표 6. 행렬분해 기법을 적용한 실험결과 Table 6. Experimental results of matrix decomposition

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 이미지 분류의 대표적 CNN 모델인 VGG-16, ResNet50, MobileNetV2에 대하여 가지치기 및행렬분해의 적용하고 임베디드 보드에서의 분류 성능 및추론 속도에 대한 성능을 검증하였다. 실험결과 행렬분해 기법은 압축된 모델이 원본 모델 성능 대비 2%미만의 손실에서 모델의 크기를 1.

제안 방법

따라서, 인공신경망 압축 기법은 이미 학습된 딥러닝 모델에 적용함으로써 기존의 모델 대비 모델의 크기를 줄일 수 있을 뿐만 아니라 실제 추론(Inference) 과정에서의 연산량을 줄일 수 있다^[8] . 본 논문에서는 인공지능 지원 맞춤형 칩인 QCS605 칩을 내장한 임베디드 보드에서 이미지 분류 CNN 모델인 VGG-16, ResNet50, 그리고 MobileNetV2 모델에 대하여 인공신경망 압축 기법인 가지 치기 및 행렬분해 기법을 적용하여 기존 모델 대비 모델의 크기(용량) 및 추론 과정에서의 추론시간과 메모리 소모량, 그리고 이미지 분류 성능인 Top-5 정확도를 비교하여 성능을 검증한다. 실제 실험은 보드 내의 내장된 카메라로 입력된 영상에 대하여 ImageNet의 1000개 클래스로 영상을 분류하는 방식으로 진행하였는데, 이 경우 정확한 Top-5 분류 성능을 획득하기 어렵기 때문에 오프라인(데스크탑 PC)에서 ImageNet 검증(validation) 데이터셋에 대한 Top-5 분류 성능을 측정하였다.
본 논문에서는 인공지능 지원 맞춤형 칩인 QCS605 칩을 내장한 임베디드 보드에서 이미지 분류 CNN 모델인 VGG-16, ResNet50, 그리고 MobileNetV2 모델에 대하여 인공신경망 압축 기법인 가지 치기 및 행렬분해 기법을 적용하여 기존 모델 대비 모델의 크기(용량) 및 추론 과정에서의 추론시간과 메모리 소모량, 그리고 이미지 분류 성능인 Top-5 정확도를 비교하여 성능을 검증한다. 실제 실험은 보드 내의 내장된 카메라로 입력된 영상에 대하여 ImageNet의 1000개 클래스로 영상을 분류하는 방식으로 진행하였는데, 이 경우 정확한 Top-5 분류 성능을 획득하기 어렵기 때문에 오프라인(데스크탑 PC)에서 ImageNet 검증(validation) 데이터셋에 대한 Top-5 분류 성능을 측정하였다.
인공신경망 압축 기법은 학습된 인공신경망 모델 파라미터를 압축하여 모델을 저장하는 메모리 및 추론 과정에서의 연산량 및 메모리 접근량을 줄이는 기법이다. 본 논문에서는 불필요한 가중치를 0으로 변경하여 노드와의 연결을 끊는 가지치기 기법과 각 계층에서 가지고 있는 가중치 행렬을 2개 이상의 행렬로 분해하여 가중치의 수를 줄이는 행렬분해 기법을 사용한다.
본 논문에서의 가지치기 기법은 일반적으로 수식 (1)과 같이 모델 내의 각각의 가중치의 절대 값이 매우 작을 경우 모델의 성능에 내성을 가지고 있다고 간주하고 값을 0으로 변경한다 ^[1] . 본 논문에서는 가중치의 대소 관계를 판단하기 위해 각 모델에서 목표로 하는 희소도(sparsity)를충족하는 임계 값을 구하고, 임계 값보다 낮은 값을 갖는각각의 가중치들에 대하여 해당 가중치를 0으로 만든다. 여기서 희소도는 전체 가중치의 수 대비 0의 값을 가진 가중치의 비율을 의미한다.
대표적인 행렬분해 기법 으로는 2차원 행렬을 SVD(Singular Value Decom- position) 분해 기법을 이용하여 2개의 행렬로 분해하는 낮은 순위 근사(Low-rank Approximation) 기법^[6] 과 3차원 이상의 행렬을 다수의 rank-1 텐서(tensor)의 선형결합 형태로분해하는 CP(Canonical Polyadic) 분해 기법^[7] 등이 있다. 본 논문에서는 2차원 가중치 행렬로 구성되어 있는 완전연결 층(Fully-Connected layer: FC layer)에는 낮은 순위 근사 기법을 사용하여 2개의 층으로 분해하고, 4차원 가중치 행렬로 구성되어 있는 합성곱 층에는 CP 분해 기법을 사용하여 3개의 층으로 분해한다.
본 논문에서는 4차원으로 표현되는 합성곱 가중치 텐서들을 CP 분해 기법을 적용하여 압축한다^[3] . 일반적인 2D 합성곱 층의 가중치들은 4D(필터 가로 크기, 필터 세로 크기, 입력채널 수, 출력채널 수)로 구성되어 있다.
일반적인 2D 합성곱 층의 가중치들은 4D(필터 가로 크기, 필터 세로 크기, 입력채널 수, 출력채널 수)로 구성되어 있다. 따라서, 합성곱 가중치 텐서 K에 대한 CP 분해는 다음 식 (4)과 같이 표현할 수 있으며, 본 논문에서는 각각의 합성곱 층의 4차원 행렬을 3개의 층으로 분해하는 기법을 제시한다.
본 논문의 실험에서는 학습된 인공신경망 모델들을 QCS605 SoC(System on Chip) 칩이 내장된 임베디드 보드에서 실험을 진행하였다. 실험환경 구성을 위해 안드로이드 스튜디오(Android Studio)에서 인공신경망 모델을 이용한 영상 분류 어플(apk 파일)과 학습된 인공신경망 모델을 임베디드 보드에 업로드하고, 보드에 내장된 카메라를 이용 하여 입력된 영상에 대한 각각의 CNN 모델의 분류 성능 및추론 과정에서의 복잡도 등을 측정하였다. 다음은 실험환경의 기반이 되는 하드웨어의 규격이다.
그림 2는 본 논문에서의 실험을 위한 환경 구성을 나타내었다. 성능을 검증하기 위해 임베디드 보드에 내장되어 있는 카메라로 입력된 영상에 대하여 각각의 학습된 인경신경망 모델로 영상 분류에 대한 추론(inference)을 진행하였다.
추론된 결과를 화면에 예측된 클래스 중 상위 3개의 확률값과 추론시간, 그리고 업로드한 인공신경망 모델의 크기도 표시하였으며, 그림 3은 실험결과 화면의 예이다. 또한 실험 비교를 위해 PC 환경에서 인공신경망 압축 기법을 적용한 모델을 임베디드 보드로 업로드하여 원본 모델과 압축된 모델의 성능을 검증하였다. 여기서 추론시간은 해당 인공신 경망 모델을 추론하기 위해 모델을 로딩하는 시간과 더불어 입력된 이미지의 분류를 위한 추론시간을 합친 시간이다.
본 논문에서의 실험은 분류 CNN 모델인 VGG-16, ResNet50, 그리고 MobielNetV2에 대하여 원본 및 인공신 경망 압축 기법이 적용된 모델들의 성능을 비교하였다. 표 3은 별도의 압축 알고리즘이 적용되지 않은 각각의 원본 CNN 모델의 성능이다.
가지치기 기법만 적용할 경우 일부 모델에서 성능 손실이 심한 경우가 있어 모든 모델에 대하여 가지치기 한번을 수행한 뒤에 재학습(re-training)을 한 번 적용하고 다시 한번 가지치기 기법을 적용하였다 ^[12] . 가지치기 기법은 각 모델 별로 지정된 희소도에서의 실험결과만을 포함하고 있어, 각각의 모델에서의 희소도에 따른 성능에 대한 내성을 비교하기 위하여 기존 ^[12] 보다 추가 실험하여 3가지 모델들에 동일한 희소도를 적용하여 비교하였다. 표 4에서 알 수 있듯이, 각각의 딥러닝 모델들이 희소도에 따라 민감도가 모두 다르다는 것을 알 수가 있으며, 그 중에 MobileNetV2가 희소도에 따른 민감도가 가장 높은 것을 알 수 있다.
행렬분해 기법은 앞선 가지치기법과 다르게 실제 파라미터 수를 줄이는 기법이므로 모델 압축의 지표를 희소도 대신 실제 압축율로 표기하였으며, 해당 기법은 완전연결 및 합성곱 층에만 적용하였다 ^[13] . 표 5는 행렬분해 기법의 실험을 위한 층의 종류에 따른 세부적인 압축율 지표를 나타낸 것이다.
또한, MobileNet의 경우는 대부분의 합성곱 층이 점별/채널별 같은 간결한 합성곱 층으로 구성되어 있어 해당 기법의 적용으로 인한 압축 효과를 기대할 수 없기 때문에 실험에서 제외하였다. 또한, 행렬분해 기법만을 적용할 때 성능손실이 발생할 수 있으므로, 이를 보상하기 위해 별도의 재학습(re-training)을 적용하였으며, 재학습을 위해 사용한 데이터셋은 ILSVRC(ImageNet Large Scale Visual Recognition Competition) 2012의 학습(training) 데이터 셋의 1,000,000개의 영상이며, 손실함수는 기존 모델과 동일한 cross-entropy 함수이다.

대상 데이터

본 논문의 실험에서는 학습된 인공신경망 모델들을 QCS605 SoC(System on Chip) 칩이 내장된 임베디드 보드에서 실험을 진행하였다. 실험환경 구성을 위해 안드로이드 스튜디오(Android Studio)에서 인공신경망 모델을 이용한 영상 분류 어플(apk 파일)과 학습된 인공신경망 모델을 임베디드 보드에 업로드하고, 보드에 내장된 카메라를 이용 하여 입력된 영상에 대한 각각의 CNN 모델의 분류 성능 및추론 과정에서의 복잡도 등을 측정하였다.
표 3에서의 Top-5 Accuracy는 모델로부터 예측된 클래스 중 상위 5개에 정답이 있을 경우의 정확도를 의미하여, 분류 성능을 측정하기 위해 ILSVRC (ImageNet Large Scale Visual Recogni- tion Competition) 2012의 검증(validation) 데이터 셋의 50,000개의 영상에 대해 실험하였고, 입력되는 영상의 크기는 가로 및 세로의 크기가 224이다 [11] .

이론/모형

여기서 추론시간은 해당 인공신 경망 모델을 추론하기 위해 모델을 로딩하는 시간과 더불어 입력된 이미지의 분류를 위한 추론시간을 합친 시간이다. 또한 본 논문에서는 공정한 실험비교를 위해 실험에 사용한 모든 모델을 Tensorflow의 tflite (Tensorflow Lite) 모델 파일 포맷을 사용하였다 ^[10] .

성능/효과

가지치기 기법은 각 모델 별로 지정된 희소도에서의 실험결과만을 포함하고 있어, 각각의 모델에서의 희소도에 따른 성능에 대한 내성을 비교하기 위하여 기존 ^[12] 보다 추가 실험하여 3가지 모델들에 동일한 희소도를 적용하여 비교하였다. 표 4에서 알 수 있듯이, 각각의 딥러닝 모델들이 희소도에 따라 민감도가 모두 다르다는 것을 알 수가 있으며, 그 중에 MobileNetV2가 희소도에 따른 민감도가 가장 높은 것을 알 수 있다. 예를 들어, 80% 희소도에서는 VGG-16에서는 2.
여기서 메모리 접근량은 보드 내의 실제 추론 과정에서 발생하는 특징 맵(Feature Map) 과 모델 내의 가중치에 대한 메모리의 합이다. 표 6에서 알 수 있듯이, VGG-16/ ResNet50 모두 행렬분해 기법을 통한 모델 크기 압축과 실제 추론시간 가속화 및 메모리 감소가 있음을 확인하였다. 특히, VGG-16에서는 압축율 60%에서는 원본 모델 대비 추론시간과 메모리 소모량을 1.
표 6에서 알 수 있듯이, VGG-16/ ResNet50 모두 행렬분해 기법을 통한 모델 크기 압축과 실제 추론시간 가속화 및 메모리 감소가 있음을 확인하였다. 특히, VGG-16에서는 압축율 60%에서는 원본 모델 대비 추론시간과 메모리 소모량을 1.5배 감소함과 함께 Top-5 분류 성능이 오히려 약 0.11% 향상됨을 확인하였다. 그러나, 압축율과 정비례하게 추론시간 및 메모리 소모량이 감소되지는 않았는데, 그 이유는 각 모델에서 각각의 층이 차지하는 파라미터 비율과 그 층에서 계산되는 연산량 및 메모리가 비례하지 않기 때문이다.
따라서 완전연결 층에서의 가중치에 대한 압축율은 실제 추론시간및 메모리 감소효과 대비 약 1/8에 불과하다. 반면에, Reset50은 합성곱 층과 완전연결 층에서의 연산량과 파라미터 비율이 거의 비슷하여 모델 크기와 비례하는 추론 시간 가속화를 보여주지만, 동일한 압축율에서의 VGG-16과 비교하였을 때 분류 성능의 감소 폭이 더 큼을 확인 하였다. 또한, 추론 과정에서의 메모리 접근량은 특집 맵의 크기와 모델 내의 가중치의 수에 따라 비례하게 변화하지만, 각 딥러닝 모델 마다 특징 맵의 메모리 대비 가중치에 대한 메모리 비율이 다름을 확인하였다.
반면에, Reset50은 합성곱 층과 완전연결 층에서의 연산량과 파라미터 비율이 거의 비슷하여 모델 크기와 비례하는 추론 시간 가속화를 보여주지만, 동일한 압축율에서의 VGG-16과 비교하였을 때 분류 성능의 감소 폭이 더 큼을 확인 하였다. 또한, 추론 과정에서의 메모리 접근량은 특집 맵의 크기와 모델 내의 가중치의 수에 따라 비례하게 변화하지만, 각 딥러닝 모델 마다 특징 맵의 메모리 대비 가중치에 대한 메모리 비율이 다름을 확인하였다. 예를 들면, VGG-16/ ResNet50 모델의 크기는 각각 527/98MB을 차지 하는 반면, 특징 맵이 차지하는 메모리는 87/82 MB이다.
예를 들면, VGG-16/ ResNet50 모델의 크기는 각각 527/98MB을 차지 하는 반면, 특징 맵이 차지하는 메모리는 87/82 MB이다. 더불어 행렬분해 기법은 1개의 계층을 2개 혹은 3개의 계층 으로 분해하는 기법이기 때문에 가중치의 수는 줄어들 수 있지만, 특징 맵의 메모리 사이즈가 원본 모델 대비 오히려 증가할 수 있음을 확인하였다. 따라서, 입력되어지는 영상 공간해상도에 따라서 해당 기법을 적용하였을 때의 메모리의 감소효과가 달라질 수 있으며, 같은 모델의 구조로 가정 하면 보다 더 작은 입력 영상 공간해상도에서 더 압축효과가 나올 수 있겠다.
본 논문에서는 이미지 분류의 대표적 CNN 모델인 VGG-16, ResNet50, MobileNetV2에 대하여 가지치기 및행렬분해의 적용하고 임베디드 보드에서의 분류 성능 및추론 속도에 대한 성능을 검증하였다. 실험결과 행렬분해 기법은 압축된 모델이 원본 모델 성능 대비 2%미만의 손실에서 모델의 크기를 1.3 ~ 11.2배 줄여줄 뿐만 아니라 실제 보드에서의 추론 속도과 메모리 소모량을 1.2 ~ 2.1배, 1.2~ 3.8배 감소함을 확인하였다. 또한, 실제 분류 성능도 2% 미만 감소의 Top-5 정확도 감소를 보였다.
8배 감소함을 확인하였다. 또한, 실제 분류 성능도 2% 미만 감소의 Top-5 정확도 감소를 보였다. 반면에 가지치기 기법에서는 각각의 딥러닝 모델마다 희소도에 따라 다른 성능의 내성을 보여주었으며, 비슷한 압축율에서 행렬분해 기법 보다 더 큰 분류 성능 감소가 있음을 확인하였다.
또한, 실제 분류 성능도 2% 미만 감소의 Top-5 정확도 감소를 보였다. 반면에 가지치기 기법에서는 각각의 딥러닝 모델마다 희소도에 따라 다른 성능의 내성을 보여주었으며, 비슷한 압축율에서 행렬분해 기법 보다 더 큰 분류 성능 감소가 있음을 확인하였다. 실험 결과를 통해서 제안하는 기법이 저전력 기기인 임베디드 보드에서의 인공신경망 모델을 이용한 영상 분류 응용에 효과적으로 적용이 될 수 있음을 확인하였다.
반면에 가지치기 기법에서는 각각의 딥러닝 모델마다 희소도에 따라 다른 성능의 내성을 보여주었으며, 비슷한 압축율에서 행렬분해 기법 보다 더 큰 분류 성능 감소가 있음을 확인하였다. 실험 결과를 통해서 제안하는 기법이 저전력 기기인 임베디드 보드에서의 인공신경망 모델을 이용한 영상 분류 응용에 효과적으로 적용이 될 수 있음을 확인하였다.

후속연구

더불어 행렬분해 기법은 1개의 계층을 2개 혹은 3개의 계층 으로 분해하는 기법이기 때문에 가중치의 수는 줄어들 수 있지만, 특징 맵의 메모리 사이즈가 원본 모델 대비 오히려 증가할 수 있음을 확인하였다. 따라서, 입력되어지는 영상 공간해상도에 따라서 해당 기법을 적용하였을 때의 메모리의 감소효과가 달라질 수 있으며, 같은 모델의 구조로 가정 하면 보다 더 작은 입력 영상 공간해상도에서 더 압축효과가 나올 수 있겠다.
그러나, 가지치기 기법에서는 0으로 설정된 가중치를 제거하지 않는 모델 포맷의 한계로 실제 추론시간의 성능 향상을 보여주지는 못했으며, 따라서 추후 가지치기 기법에 대해 실질적인 추론 속도 감소를 할 수 있도록 포맷을 개선할 예정이다. 또한 더 다양한 모델 및 계층의 종류에 개선된 인공신경망 압축 기법을 적용하여 분류 성능 및 추론시간 성능을 검증할 예정이다.
그러나, 가지치기 기법에서는 0으로 설정된 가중치를 제거하지 않는 모델 포맷의 한계로 실제 추론시간의 성능 향상을 보여주지는 못했으며, 따라서 추후 가지치기 기법에 대해 실질적인 추론 속도 감소를 할 수 있도록 포맷을 개선할 예정이다. 또한 더 다양한 모델 및 계층의 종류에 개선된 인공신경망 압축 기법을 적용하여 분류 성능 및 추론시간 성능을 검증할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	행렬분해 기법은 무엇인가?	행렬분해 기법은 2차원 이상의 각 계층의 가중치 행렬 1개에 대하여 2개 이상의 행렬로 분해함으로써 가중치의수 및 연산량을 줄이는 기법이다. 대표적인 행렬분해 기법 으로는 2차원 행렬을 SVD(Singular Value Decom- position) 분해 기법을 이용하여 2개의 행렬로 분해하는 낮은 순위 근사(Low-rank Approximation) 기법 [6] 과 3차원 이상의 행렬을 다수의 rank-1 텐서(tensor)의 선형결합 형태로분해하는 CP(Canonical Polyadic) 분해 기법 [7] 등이 있다.
	인공신경망 압축 기법의 목적은?	먼저, 인공신경망 경량화 기법은 잔여 블록(Residual Block) 이나 병목 블록(Bottle- neck Block)과 같은 신경망 구조를 이용하여 파라미터 축소 및 모델 성능을 개선하는 구조적 연구와 점별(Pointwise) 및 채널별(Depthwise) 합성곱(Convolution) 필터로 대표되는 합성곱의 연산을 효율적으로 줄이는 연구 등이 있다 [2,3,4] . 반면에, 인공신경망 압축 기법은 인공신경망 구조적 설계가 아닌 인공신경망 모델을 표현하는 파라미터의 크기를 줄이는데 주목적을 가지고 있다. 대표적인 인공신경망 압축 기법으로는 모델 내에서 매우 작은 값을 가지는 가중치를 모델의 성능에 내성을 가지고 있다고 간주하고 연결을 끊는(해당 가중치를 0으로 설정) 가지치기(Pruning) 기법과 일반적으로 부동소수점으로 표현되는 가중치를 특정 비트 수로 줄여 실제 모델의 저장 크기를 줄이는 양자화 기법 [5] , 그리고 각 계층의 2차원 이상의 가중치 행렬을 2개 이상의 행렬로 분해하여 가중치의 수를 줄이는 행렬분해기법 [6,7] 등이 있다.
	CNN 기반 인공신경망은 더 나은 성능을 얻기 위해 어떻게 변화했는가?	CNN(Convolutional Neural Network) 기반 인공신경망은 영상 분류, 객체 인식, 화질 개선 등 다양한 분야에서 뛰어난 성능을 보이고 있다. 하지만 보다 나은 성능을 얻기 위해 전체 계층 수 및 학습할 파라미터 수가 크게 증가하여 연산량 및 모델 크기가 또한 크게 증가하였고, 이에 따라 모바일 및 IoT 기기, 그리고 임베디드 시스템과 같이 연산 속도나 메모리가 제한된 환경에서 인공신경망을 적용하기에는 제한이 따른다. 예를 들어, 이미지 분류 모델인 VGG-16의 모델 크기는 약 528MB로써 실제 모바일 및 하드웨어 기기에서 추론을 하기 위해서는 기기 내에 계속 해당 모델을 저장하고 있거나 중앙 서버로부터 전송받아야 한다.

참고문헌 (13)

S., Han, et al, "Deep Compression: Compressing Deep Neural Networks with pruning, trained quantization and Huffman coding," In Proc. Computer Vision and Pattern Recognition (CVPR), Jun. 2015.
K. He, X. Zhang, S. Ren, and J. Sun, "Deep Residual Leraning for Image Recognition," In Proc. Computer Vision and Pattern Recognition (CVPR), Jun. 2016.
A. Howard, M. Zhu, B. Chen, D. Kalenichenoko, W. Wang, T. Weyand, M. Andreetto, and H.Adam, "MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications," In Proc. Computer Vision and Pattern Recognition (CVPR), Jul. 2017.
X. Zhang, X. Zhou, M. Lin, and J. Sun, "ShuffleNet: An Exteremey Efficient Convolutional Neural Network for Mobile Devices," In Proc. Computer Vision and Patter Recognition (CVPR), Jun. 2018.
S. Jung, C. Son, S. Lee, J. Han, Y. Kwak, and S. Hwang, "Learning to Quantize Deep Networks by Optimizing Quantization Intervals with Task Loss," In Proc. Computer Vision and Pattern Recognition (CVPR), Jun. 2019.
M. Jaderberg, A.Vedaldi, and A. Zisserman, "Speeding up Convolutional Neural Networks with Low Rank Exapnsions," In Proc. Computer Vision and Pattern Recognition (CVPR), Jun. 2014.
V. Lebedev, Y. Ganin, M. Rakhuba, I. Oseledets, and V. Lempitsky, "Speeding-up Convolutional Neural Networks Using Fine-tuned CP-Decomposition," In Proc. Computer Vision and Patter Recognition (CVPR), Jun. 2015.
H. Moon, H. Lee, and J. Kim, "Acceleration of CNN Model Using Neural Network Compression and its Performance Evaluation on Embedded Boards," In Proc. KIBME Annual Fall Conf. Nov. 2019.
QCS605 Specification, https://www.qualcomm.com/products/qcs605 (accessed Jan. 6, 2020).
Tensorflow for Mobile & IoT, https://www.tensorflow.org/lite (accessed Jan. 6, 2020).
Large Scale Visual Recognition Challenge 2012 (ILSVRC 2012), http://www.image-net.org/challenges/LSVRC/2012/ (accessed Jan. 6, 2020).
Y. Luo, Y. Sho, Q. Huang, H. Hu, and L.Yu, "CE1 Report on Neural Network Compression of ZJU's Proposal," ISO/IEC JTC1/SC29/WG11 m50093, Oct. 2019
H. Moon, J. Kim, S. Kim, S. Jang, and B. Choi, "KAU/KETI Response to the CE-1 on Neural Network Compression: CP Decomposition of Convolution Layers (Method5)," ISO/IEC JTC1/SC29/WG11 m52322, Jan. 2020.

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증