[논문]심층신경망의 더블 프루닝 기법의 적용 및 성능 분석에 관한 연구

이선우; 양호준; 오승연; 이문형; 권장우

doi:10.22156/cs4smb.2020.10.08.023

심층신경망의 더블 프루닝 기법의 적용 및 성능 분석에 관한 연구
Application and Performance Analysis of Double Pruning Method for Deep Neural Networks 원문보기

융합정보논문지 = Journal of Convergence for Information Technology, v.10 no.8, 2020년, pp.23 - 34

이선우 (인하대학교 전기컴퓨터공학과) , 양호준 (인하대학교 컴퓨터공학과) , 오승연 (인하대학교 컴퓨터공학과) , 이문형 (인하대학교 컴퓨터공학과) , 권장우 (인하대학교 컴퓨터공학과)

초록
AI-Helper

최근 인공지능 딥러닝 분야는 컴퓨팅 자원의 높은 연산량과 가격문제로 인해 상용화에 어려움이 존재했다. 본 논문은 더블 프루닝 기법을 적용하여 심층신경망 모델들과 다수의 데이터셋에서의 성능을 평가하고자 한다. 더블 프루닝은 기본의 네트워크 간소화(Network-Slimming)과 파라미터 프루닝(Parameter-Pruning)을 결합한다. 이는 기존의 학습에 중요하지 않는 매개변수를 절감하여 학습 정확도를 저해하지 않고 속도를 향상시킬 수 있다는 장점이 있다. 다양한 데이터셋 학습 이후에 프루닝 비율을 증가시켜, 모델의 사이즈를 감소시켰다. NetScore 성능 분석 결과 MobileNet-V3가 가장 성능이 높게 나타났다. 프루닝 이후의 성능은 Cifar 10 데이터셋에서 깊이 우선 합성곱 신경망으로 구성된 MobileNet-V3이 가장 성능이 높았고, 전통적인 합성곱 신경망으로 이루어진 VGGNet, ResNet또한 높은 폭으로 성능이 증가함을 확인하였다.

Abstract ▼ AI-Helper

Recently, the artificial intelligence deep learning field has been hard to commercialize due to the high computing power and the price problem of computing resources. In this paper, we apply a double pruning techniques to evaluate the performance of the in-depth neural network and various datasets. Double pruning combines basic Network-slimming and Parameter-prunning. Our proposed technique has the advantage of reducing the parameters that are not important to the existing learning and improving the speed without compromising the learning accuracy. After training various datasets, the pruning ratio was increased to reduce the size of the model.We confirmed that MobileNet-V3 showed the highest performance as a result of NetScore performance analysis. We confirmed that the performance after pruning was the highest in MobileNet-V3 consisting of depthwise seperable convolution neural networks in the Cifar 10 dataset, and VGGNet and ResNet in traditional convolutional neural networks also increased significantly.

주제어

표/그림 (12)

그림 Fig. 1. Basic Pruning Principle Structure in Deep Learning
그림 Fig. 3. Cifar 10 dataset example
그림 Fig. 4. Data Distribution of FER2013 Dataset
표 Table 1. Information about the size of the dataset to be applied in this paper, and the number of training and test data
그림 Fig. 5. Noisy Data of FER2013 dataset
그림 Fig. 6. Diata Distribution of Fer+ Dataset (Cross-Entropy- Loss)
표 Table 2. Basic performance results for data sets and deep learning networks to be applied before experiment
그림 Fig. 7. Example of Network Slimming
그림 Fig. 8. The architecture of double pruning
표 Table 3. NetScore and Effciency result in case of parameter pruning step-by-step (80%, 90%, 95%) after training MobileNet-v1, v2, v3, VGGNet19, ResNet18 models for Cifar10, Cifar100, Fer2013, and Ferplus datasets
표 Table 4. NetScore and Effciency results when channel slimming (30 to 80%) is carried out step by step for the MobileNet-v1, v2, v3, VGGNet19, and ResNet18 models for the Cifar10, Cifar100, Fer2013, and Ferplus datasets
표 Table 5. NetScore results when channel sliming(S: channel sliming rate) is applied after parameter pruning(P: parameter pruning rate) of the MobileNet-v1, v2, v3, VGGNet19, and ResNet18 models for the Cifar10, Cifar100, Fer2013, and Ferplus datasets

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

FER2013(Facial Emotion Recognition 2013)과 FER+ 데이터는 학습 데이터와 클래스는 비슷하지만, 입력 크기가 차이가 있는 데이터로 입력 크기에 따른 프루닝 결과를 비교하기 위하여 적용되었다. 또한, FER 데이터셋은 학습 및 테스트 데이터의 분포가 균일하지 않은 상태이기 때문에 프루닝의 영향도 살펴보고자한다. FER2013 데이터셋은 48× 48× 1 크기로 구성되었으며, 사람의 정확도는 약 65± 5%로, 35,887개의 이미지와 총 7개의 레이블(화남(Angry), 역겨움(Disgust), 공포(Fear), 행복(Happy), 슬픔(Sad), 놀람(Surprise), 보통(Neutral)로 이루어져 있다.
본 논문에서 성능평가 방법은 프루닝 비율에 따라 변하는 속도 모두를 측정하여 이를 기반으로 심층신경망 모델의 속도와 연산량을 기반으로 모델을 평가하는 검증방법 중 하나인, Net-Score[27]를 측정하고자 하였다. Net-Score는 식 (4)와 같이 표현할 수 있다.
VGGNet모델은 ILSVRC2014에서 오직 3×3크기의 합성곱 신경망을 이용하여 제안한 네트워크로, 구현이 쉽다는 장점있고, 어느정도 성능이 보장된다는 점이 특징이다. 본 논문에서는 VGG19의 합성곱신경망의 매개변수만을 비교를 위하여 마지막 3개의 완전 결합 층 (Fully Connected Layer)을 전역 평균 풀링(Global Average Pooling)으로 전환하여 매개변수의 개수를 줄였다.
본 논문에서는 기존의 매개변수 프루닝[13]과 채널 간소화 프루닝 기법[17]을 각각 적용 할때와 동시에 적용할때의 성능결과를 보고 데이터셋에 따른 성능을 비교하였다. 이와 더불어 속도를 우선시 하는 깊이별 분리 합성곱 신경망[5-7] 3종과 일반적으로 사용되는 합성곱 신경망 기반의 모델 2종[8, 10]종에 각각 적용하였다.
본 논문에서는 딥러닝 모델에서 대표적인 프루닝 방법인 매개변수 프루닝과 네트워크 간소화 방법을 구현하였다. 또한 각 방법을 각기 적용하였을 경우와 함께 적용하였을 경우를, 데이터 크기와 학습 레이블이 다른 네가지 데이터셋 3종류에 대하여 적용하였고 각기다른 신경망 모델 5가지와 MobileNet-V1, V2, V3와 VGGNet19, ResNet18 모델에 학습하여 실험하여 비교하였다.

제안 방법

FER+ 데이터셋은 FER2013 데이터셋의 Fig. 4과 같은 부적합 레이블(Noisy Label)을 보안 하고자 10명의 인원이 다시 판단한 뒤에 각자가 생각하는 표정의 종류를 투표하여 표기하였다.
FER2013(Facial Emotion Recognition 2013)과 FER+ 데이터는 학습 데이터와 클래스는 비슷하지만, 입력 크기가 차이가 있는 데이터로 입력 크기에 따른 프루닝 결과를 비교하기 위하여 적용되었다. 또한, FER 데이터셋은 학습 및 테스트 데이터의 분포가 균일하지 않은 상태이기 때문에 프루닝의 영향도 살펴보고자한다.
MobileNet-V3모델은 최근 MNasNet[26]모델과 같은 모델의 구조의 학습모델을 기반으로하여 나온 모델을 수정하고, 모바일 디바이스에 맞도록 swish[27]손실함수로 수정하여 제안한 모델을 사용하였다. 본 실험에서는, MobileNetV3 모델이 제안한 모델중 큰(Large)모델과 작은(Small) 모델에서 작은 모델을 차용 하여 적용하였다.
네트워크 간소화와 매개변수 프루닝 중 먼저 선택된 방법은 매개변수 프루닝이었다. 그 이유는 네트워크 간소화를 먼저 하게되면, 필터 안의 특정 중요 필터를 먼저 없애기 때문에 매개변수 프루닝 이후에 네트워크 간소화를 진행하였다. 네트워크 간소화는, 최대 60%까지 진행되었으며 그 이상을 진행할 경우 네트워크 재구성이 안되는 결과를 보였다.
기존의 FER2013 데이터 레이블에서 경멸(Contempt) 클래스까지 추가하여 총 8종류의 데이터를 구성하여 다수 투표(Majority Voting), 다중 레이블 학습(Multi-Label Learning), 확률적 표현(Probabilistic Label Drawing), 교차-엔트로피 오차(Cross-entropy loss) 총 4가지 방법으로 레이블링 기법을 적용하여 최적의 레이블을 찾는 데이터 셋을 구성하여 기존 정확도보다 향상되었다[26].
본 논문에서는 딥러닝 모델에서 대표적인 프루닝 방법인 매개변수 프루닝과 네트워크 간소화 방법을 구현하였다. 또한 각 방법을 각기 적용하였을 경우와 함께 적용하였을 경우를, 데이터 크기와 학습 레이블이 다른 네가지 데이터셋 3종류에 대하여 적용하였고 각기다른 신경망 모델 5가지와 MobileNet-V1, V2, V3와 VGGNet19, ResNet18 모델에 학습하여 실험하여 비교하였다.
이와 더불어 속도를 우선시 하는 깊이별 분리 합성곱 신경망[5-7] 3종과 일반적으로 사용되는 합성곱 신경망 기반의 모델 2종[8, 10]종에 각각 적용하였다. 마지막으로 모델의 정확도와 속도측면을 동시에 고려하는 평가지표를 입력크기와 분류 레이블의 수가 각기다른 4종의 데이터셋에 도입하여 비교분석을 하였다.
본 논문에서 네트워크 간소화 선행하고 매개 변수프루닝을 먼저 수행하였으나, 네트워크 슬라이밍에서의 제거 필터 선정을 할 때, L1-norm의 결과에 상대적으로 필요없는 뉴런들이 영향을 미치므로 매개변수 프루닝을 먼저 선행하여 네트워크 간소화를 수행하였다.
본 논문에서 제안하는 더블 프루닝방법은, 모델별, 데이터셋 별로 최적의 프루닝 비율과 네트워크 간소화 비율이 정해져 있지 않기 때문에 실험적으로 해야하기 때문에 최적화 시간이 오래 걸린다는 단점이 있다
본 논문에서 학습에 사용된 방법은 학습이 끝난 신경망 모델에, 매개변수 프루닝(Parameter Pruning)을 하여 프루닝을 선행하여 최적화 작업 후, 네트워크 간소화(Network Slimming)을 점차 높여 나가면서, 신경망의 연산량 절감과 합성곱 필터의 수를 줄임으로써 정확도를 최소화 함으로써 속도를 향상시키고자 하였다.일반적으로 심층신경망에서는 학습이 끝난뒤, 합성곱 필터에서의 뉴런 값들은, 상대적으로 특징을 잘 골라내고, 강도가 강한 뉴런이 있는반면, 특징을 골라내는데 기여하거나 오히려 방해되는 뉴런들이 존재하게 된다.
본 실험에서 매개변수 프루닝은 각 은닉층에서의 값들을 프루닝 비율에 따라서 마스크 레이어(m)를 두어 그 값을 0으로 만들어 주는 방식을 이용하여 구현하였고, 식 (3)과 같이 표현할 수 있다.
본 논문에서는 기존의 매개변수 프루닝[13]과 채널 간소화 프루닝 기법[17]을 각각 적용 할때와 동시에 적용할때의 성능결과를 보고 데이터셋에 따른 성능을 비교하였다. 이와 더불어 속도를 우선시 하는 깊이별 분리 합성곱 신경망[5-7] 3종과 일반적으로 사용되는 합성곱 신경망 기반의 모델 2종[8, 10]종에 각각 적용하였다. 마지막으로 모델의 정확도와 속도측면을 동시에 고려하는 평가지표를 입력크기와 분류 레이블의 수가 각기다른 4종의 데이터셋에 도입하여 비교분석을 하였다.
제안하는 더블 푸루닝 방법은, 매개변수 프루닝을 먼저(10∼95%) 한 뒤에 네트워크 간소화 비율을 점차 높여가는 방법으로 구성하였다.
제안하는 방법은 학습이 된 신경망 모델에 매개변수 프루닝을 진행한 후에 10 에폭(Epoch) 재학습(re-training)을 실시 후 네트워크 간소화를 진행하여 모델을 재구축하여 재학습하여 네트워크를 압축하는 방식이다.
제안하는 프루닝 방법은 3.1 장에서 제안된 학습 데이터에 다수의 딥러닝 모델을 학습 후 매개변수 프루닝과 네트워크 간소화를 차례로 거친 모델로써, 적용하여 실험하고자 하는 대상 딥러닝 신경망은 경량화 목적의 깊이별-분리 합성곱(Depthwise-Separable Convolution) 신경망을 사용한 신경망 모델 3종과 일반적으로 합성곱 신경망이 사용되는 신경망 모델 2종을 적용하였다. 깊이별-분리 합성곱 신경망 기반의 모델 3종은 MobileNet[6], MobileNet-V2[5], MobileNet-V3[4]를 적용하였고, 일반적으로 사용되는 합성곱 신경망 모델은 VGGNet19[8], ResNet18[10] 모델을 적용하였다.

대상 데이터

Cifar 10, Cifar 100 은 학습데이터와 테스트 데이터가 동일하지만, 레이블이 다른 데이터로 학습 레이블이 프루닝 결과에 영향을 미치는지 알아보기 위하여 선택 되었다. Cifar 10 데이터셋은, 비행기(airplane), 자동차(automobile), 새(bird), 고양이(cat), 사슴(deer), 개(dog), 개구리(frog), 말(horse), 배(ship), 트럭(truck)으로 이루어진 데이터로 총 60,000개의 데이터로 이루어져 있고, 각 클래스마다 5,000개의 학습 데이터와 1,000개의 테트 데이터로 이루어져 있으며, 클래스별 데이터예시는 Fig. 2와 같다. Cifar 100 데이터셋은 Cifar 10보다 좀 더 세분화된 클래스로 이루어져 있으며, 상위 개념의 슈퍼클래스(Superclass)와 하위의 클래스로 이루어져 있다.
본 논문에서 제안하는 네트워크들의 학습 매개변수는 모두 동일하게 배치사이즈는 128로 진행을 하였다. 에폭(Epoch)은 200으로 선정하였고, 학습속도(Learning Rate)는 초기에 0.
ResNet 모델은 잔차모듈(Residual module)이라는 Skip Connection 기법을 적용하여 은닉층의 개수를 크게하면서도 기울기 소실/폭발 문제를(Gradient Vanishing/Exploding Problem) 해결한 방법이다. 본 논문에서는 VGG와 깊이가 비슷한 ResNet18 네트워크를 적용하였다.
MobileNet-V3모델은 최근 MNasNet[26]모델과 같은 모델의 구조의 학습모델을 기반으로하여 나온 모델을 수정하고, 모바일 디바이스에 맞도록 swish[27]손실함수로 수정하여 제안한 모델을 사용하였다. 본 실험에서는, MobileNetV3 모델이 제안한 모델중 큰(Large)모델과 작은(Small) 모델에서 작은 모델을 차용 하여 적용하였다. 또한 학습 입력 크기가 작은 관계로 마지막의 드랍아웃(Dropout) 비율을 0.
본 실험에서도 MobileNetV1의 모델에서와 같이 너비 승수(width multiplier)의 비율(α)와 해상도 승수(resolution multiplier) 비율(ρ)에 따라서 성능이 나뉘는데 본 실험에서는 1.0을 선택하여 실험하였다.
실험을 적용하고자 하는 학습 및 테스트 데이터로는 Cifar10, Cifar100[24], FER2013[25], FER+[26]라는 총 4가지 데이터로 학습을 시켰으며, 각 데이터셋 마다 훈련, 테스트, 레이블에 대한 정보는 Table 1과 같이 구성된다.
본 논문에서 제안하는 네트워크들의 학습 매개변수는 모두 동일하게 배치사이즈는 128로 진행을 하였다. 에폭(Epoch)은 200으로 선정하였고, 학습속도(Learning Rate)는 초기에 0.1로 설정하였다. 학습속도는 각 에폭마다 다른 학습속도를 코사인 어닐링(Cosine Annealing) 주기적으로 반복시켜주는 SGDR스케줄러[30]를 사용하였다.
FER2013 데이터셋은 48× 48× 1 크기로 구성되었으며, 사람의 정확도는 약 65± 5%로, 35,887개의 이미지와 총 7개의 레이블(화남(Angry), 역겨움(Disgust), 공포(Fear), 행복(Happy), 슬픔(Sad), 놀람(Surprise), 보통(Neutral)로 이루어져 있다. 이 중 28,709개의 훈련(Train) 데이터와 3,589개의 검증(Validation) 데이터 3,589개의 시험(Test) 데이터로 구성되어 있으며 데이터 레이블 개수 분포는 Fig. 3.으로 구성된다.

이론/모형

1 장에서 제안된 학습 데이터에 다수의 딥러닝 모델을 학습 후 매개변수 프루닝과 네트워크 간소화를 차례로 거친 모델로써, 적용하여 실험하고자 하는 대상 딥러닝 신경망은 경량화 목적의 깊이별-분리 합성곱(Depthwise-Separable Convolution) 신경망을 사용한 신경망 모델 3종과 일반적으로 합성곱 신경망이 사용되는 신경망 모델 2종을 적용하였다. 깊이별-분리 합성곱 신경망 기반의 모델 3종은 MobileNet[6], MobileNet-V2[5], MobileNet-V3[4]를 적용하였고, 일반적으로 사용되는 합성곱 신경망 모델은 VGGNet19[8], ResNet18[10] 모델을 적용하였다.
본 논문에서는 Fer+는 4가지 평가방법 중, 교차 엔트로피 손실(Cross Entropy Loss)이 성능대비 표준편차가 적어 [26]에서 우수하여 이를 채용하였고, 그 방법은 아래의 식 (1) 과 같은 방법으로 표현이 가능하며 데이터셋의 분포는 Fig. 5과 같다.
제안하는 더블 푸루닝 방법은, 매개변수 프루닝을 먼저(10∼95%) 한 뒤에 네트워크 간소화 비율을 점차 높여가는 방법으로 구성하였다. 이를 통하여 신경망의 정확도, 연산량의 균형을 측정하는 방법 중 하나인 NetScore를 적용하여 신경망을 평가하고자 하였다.
1로 설정하였다. 학습속도는 각 에폭마다 다른 학습속도를 코사인 어닐링(Cosine Annealing) 주기적으로 반복시켜주는 SGDR스케줄러[30]를 사용하였다. 이를 적용하면, SGD(Stochastic Gradient Descent)를 수행하고 나서 계속해서 학습속도가 0부터 초기에 설정해둔 학습속도로 반복하게 된다.

성능/효과

Fer2013, ResNet18모델이 성능 향상이 134%로 가장 높았다. FerPlus 데이터셋에서는 MobileNet-V1이 성능향상 비율이 높았다.
MobileNet-V3같은 경우는, 기존 모델 대비 116% 성능 향상이 있었다. VGGNet19과 ResNet18은 각각 최대 142%, 133% 성능 향상이 있었다.
네트워크 간소화 기법을 통하여 가장 성능향상의 폭이 높은 모델과 데이터셋은, Cifar10에서는 VGGNet19가 135%로 가장 높은 성능향상의 폭이 있었다.
그 이유는 네트워크 간소화를 먼저 하게되면, 필터 안의 특정 중요 필터를 먼저 없애기 때문에 매개변수 프루닝 이후에 네트워크 간소화를 진행하였다. 네트워크 간소화는, 최대 60%까지 진행되었으며 그 이상을 진행할 경우 네트워크 재구성이 안되는 결과를 보였다.
데이터셋에 따른 기존 모델 성능대비 프루닝 후의 모델 성능의 향상폭이 가장 큰 모델은 Cifar10, VGGNet19 모델이 133% 성능향상이 있었고, Cifar100 데이터셋은 MobileNet-V1이 159% 성능향상이 있었다. Fer2013, ResNet18모델이 성능 향상이 134%로 가장 높았다.
75%가 되는데 학습 매개변수의 부족으로 나타난 현상으로 보인다. 또한 학습 레이블이 많을수록 프루닝에 대한 효과가 적다는 것을 판단할 수 있었다.
또한, MobileNet 계열의 깊이별-우선 합성곱 신경망도 전통적인 합성곱 신경망에 비하여 연산량이 적어 프루닝의 효과가 없을 줄 알았으나, 우수한 성능을 보였다. VGGNet19 과 같은 간단한 모델도, 매개변수 프루닝과 네트워크 간소화 방법과 같은 프루닝 기법을 적용한다면, 프루닝을 안한 저연산 목적의 모델인 MobileNet류보다 높은 NetScore를 보일 수 있다.
본 논문에서 제안하는 방법은 컴퓨터 자원이 다소 부족한 디바이스나 최적화 등이 요구되는 독립형 (Standalone) 타입의 인공지능 디바이스 등에 적용이 가능할 수 있다.
본 실험을 통하여 매개변수 프루닝을 통하여 깊이별 분리 합성곱 신경망도 프루닝 효과가 있다는 점이였다.
VGGNet19 과 같은 간단한 모델도, 매개변수 프루닝과 네트워크 간소화 방법과 같은 프루닝 기법을 적용한다면, 프루닝을 안한 저연산 목적의 모델인 MobileNet류보다 높은 NetScore를 보일 수 있다. 실험을 통하여 제안하는 두 가지 방법을 혼합한 더블 푸르닝을 하는것이 단일방법을 사용하는 것보다 효율성이 우수하다는 것을 실험을 통해 알 수 있었다.

후속연구

향후 연구로는 매개변수 프루닝과 네트워크 간소화과 같은 연산량 절감과 상대적으로 불필요한 매개변수를 은닉층별로 찾는 방법을 제안하여 프루닝에 걸리는 시간을 단축해보고자 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	프루닝이란?	프루닝은 경량화 기법의 하나로, 학습 이후 각 심층 신경망 층의 상대적으로 불필요한 매개변수를 제거함으로써, 딥러닝 성능의 저하를 최소화하면서 성공적인 정확도를 가져오는 방법으로 사용되어왔다. Fig.
	심층신경망의 합성곱 신경망은 무엇이 필요한가?	일반적으로 심층신경망은 정확도와 속도에서의 거래(trade-off)가 있는데 정확도를 최대한 보전하면서 속도를 효율적으로 올리기 위한 연구가 상용화에 있어서 중요한 이슈 중 하나이다.심층신경망의 합성곱 신경망은 기본적으로 행렬 연산이기 때문에 많은 연산이 필요하다. 초기에 이를 극복하기 위하고자 다양한 시도들이 이루어졌다.
	네트워크 간소화와 매개변수 프루닝 중 먼저 선택된 방법은 매개변수 프루닝이었던 이유는?	네트워크 간소화와 매개변수 프루닝 중 먼저 선택된 방법은 매개변수 프루닝이었다. 그 이유는 네트워크 간소화를 먼저 하게되면, 필터 안의 특정 중요 필터를 먼저 없애기 때문에 매개변수 프루닝 이후에 네트워크 간소화를 진행하였다. 네트워크 간소화는, 최대 60%까지 진행되었으며 그 이상을 진행할 경우 네트워크 재구성이 안되는 결과를 보였다.

참고문헌 (32)

E. Real, A. Aggarwal, Y. Huang & Q. V. Le. (2019, July). Regularized evolution for image classifier architecture search. In Proceedings of the aaai conference on artificial intelligence, 33, 4780-4789. DOI : 10.1609/aaai.v33i01.33014780
S. Karen & Z. Andrew. (2014), Very Deep Convolutional Networks for Large-Scale Image Recognition. arXiv preprint arXiv:1409.1556.
K. He, X. Zhang, S. Ren & J. Sun. (2016). Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 770-778).
C. Szegedy et al. (2015). Going deeper with convolutions. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1-9).
A. Howard. et al. (2019). Searching for mobilenetv3. In Proceedings of the IEEE International Conference on Computer Vision (pp. 1314-1324).
M. Sandler, A. Howard, M. Zhu, A. Zhmoginov & L. C. Chen. (2018). Mobilenetv2: Inverted residuals and linear bottlenecks. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 4510-4520).
G. H. Andrew, Z. Menglong, C. Bo, K. Dmitry, W. Weijun, W. Tobias, A. Marco & A. Hartwig. (2017). MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications. arXiv preprint arXiv:1704.04861.
N. I, Forrest. H. Song, W. M. Matthew, A. Khalid, J. D. William & K. Kurt. (2016). SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size. arXiv preprint arXiv:1602.07360.
X. Zhang, X. Zhou, M. Lin & J. Sun. (2018). Shufflenet: An extremely efficient convolutional neural network for mobile devices. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 6848-6856).
F. Chollet. (2017). Xception: Deep learning with depthwise separable convolutions. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1251-1258).
Gholami, A., Kwon K., Wu B., Tai Z., Yue X., Jin P., Zhao S., Keutzer K., (2018. June). Squeezenext: Hardware-aware neural network design. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops (pp. 1638-1647).
L. Yann, S. D. John & A. S. Sara. (1990). Optimal brain damage. In Advances in neural information processing systems (pp. 598-605).
S. Han, J. Pool, J. Tran & W. Dally. (2015). Learning both weights and connections for efficient neural network. In Advances in neural information processing systems (pp. 1135-1143).
H. Song, M. Huizi & J. D. William (2015). Deep compression: Compressing deep neural networks with pruning, trained quantization and huffman coding. arXiv preprint arXiv:1510.00149.
R. Reed, (1993). Pruning algorithms-a survey. IEEE transactions on Neural Networks, 4(5), 740-747. DOI : 10.1109/72.248452

상세보기
N. Lee, T. Ajanthan & P. H. Torr. (2018). Snip: Single-shot network pruning based on connection sensitivity. arXiv preprint arXiv:1810.02340.
Z. Liu, J. Li, Z. Shen, G. Huang, S. Yan & C. Zhang, (2017). Learning efficient convolutional networks through network slimming. In Proceedings of the IEEE International Conference on Computer Vision (pp. 2736-2744).
Y. He, X. Zhang & J. Sun, (2017). Channel pruning for accelerating very deep neural networks. In Proceedings of the IEEE International Conference on Computer Vision (pp. 1389-1397).
M. Tan & Q. V. Le. (2019). Efficientnet: Rethinking model scaling for convolutional neural networks. arXiv preprint arXiv:1905.11946.
M. Tan & Q. V. Le. (2019). Mixconv: Mixed depthwise convolutional kernels. CoRR, abs/1907.09595
J. H. Luo, J. Wu & W. Lin. (2017). Thinet: A filter level pruning method for deep neural network compression. The IEEE International Conference on Computer Vision (ICCV) (pp. 5058-5066)
Z. Liu, M. Sun, T. Zhou, G. Huang, T. Darrell. (2019). Rethinking the Value of Network Pruning, International Conference on Learning Representations (ICLR) Seq
A. Morcos, H. Yu, M. Paganini & Y. Tian. (2019). One ticket to win them all: generalizing lottery ticket initializations across datasets and optimizers. In Advances in Neural Information Processing Systems (pp. 4932-4942).
A. Krizhevsky & Hinton, G. (2009). Learning multiple layers of features from tiny images.
I. J. Goodfellow et al. (2013, Nov). Challenges in Representation Learning: A report on three machine learning contests. In International Conference on Neural Information Processing (pp. 117-124). Springer, Berlin, Heidelberg.
E. Barsoum, C. Zhang, C. C. Ferrer & Z. Zhang. (2016, October). Training deep networks for facial expression recognition with crowd-sourced label distribution. In Proceedings of the 18th ACM International Conference on Multimodal Interaction (pp. 279-283).
A. Wong. (2019, August). NetScore: Towards universal metrics for large-scale performance analysis of deep neural networks for practical on-device edge usage. In International Conference on Image Analysis and Recognition (pp. 15-26). Springer, Cham.
M. Tan, B. Chen, R. Pang, V. Vasudevan, M. Sandler, A. Howard & Q. V. Le. (2019). Mnasnet: Platform-aware neural architecture search for mobile. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 2820-2828).
P. Ramachandran, B. Zoph & Q. V. Le. (2017). Searching for activation functions. arXiv preprint arXiv:1710.05941.
I. Loshchilov & F. Hutter. (2016). Sgdr: Stochastic gradient descent with warm restarts. arXiv preprint arXiv:1608.03983.
A. Aimar et al. (2018). Nullhop: A flexible convolutional neural network accelerator based on sparse representations of feature maps. IEEE transactions on neural networks and learning systems, 30(3), 644-656. DOI : 10.1109/TNNLS.2018.2852335
M. Schmidt, G. Fung & R. Rosales. (2007, September). Fast optimization methods for l1 regularization: A comparative study and two new approaches. In European Conference on Machine Learning (pp. 286-297). Springer, Berlin, Heidelberg. DOI : 10.1007/978-3-540-74958-5_28

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증