[논문]Text Classification Using Heterogeneous Knowledge Distillation

Yu, Yerin; Kim, Namgyu

doi:10.9708/jksci.2022.27.10.029

Text Classification Using Heterogeneous Knowledge Distillation 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.27 no.10, 2022년, pp.29 - 41

Yu, Yerin (Graduate School of Business IT, Kookmin University) , Kim, Namgyu (Graduate School of Business IT, Kookmin University)

초록
AI-Helper

최근 딥 러닝 기술의 발전으로 방대한 텍스트 데이터를 사전에 학습한 우수한 성능의 거대한 모델들이 다양하게 고안되었다. 하지만 이러한 모델을 실제 서비스나 제품에 적용하기 위해서는 빠른 추론 속도와 적은 연산량이 요구되고 있으며, 이에 모델 경량화 기술에 대한 관심이 높아지고 있다. 대표적인 모델 경량화 기술인 지식증류는 교사 모델이 이미 학습한 지식을 상대적으로 작은 크기의 학생 모델에 전이시키는 방법으로 다방면에 활용 가능하여 주목받고 있지만, 당장 주어진 문제의 해결에 필요한 지식만을 배우고 동일한 관점에서만 반복적인 학습이 이루어지기 때문에 기존에 접해본 문제와 유사성이 낮은 문제에 대해서는 해결이 어렵다는 한계를 갖는다. 이에 본 연구에서는 궁극적으로 해결하고자 하는 과업에 필요한 지식이 아닌, 보다 상위 개념의 지식을 학습한 교사 모델을 통해 지식을 증류하는 이질적 지식증류 방법을 제안한다. 또한, 사이킷런 라이브러리에 내장된 20 Newsgroups의 약 18,000개 문서에 대한 분류 실험을 통해, 제안 방법론에 따른 이질적 지식증류가 기존의 일반적인 지식증류에 비해 학습 효율성과 정확도의 모든 측면에서 우수한 성능을 보임을 확인하였다.

Abstract ▼ AI-Helper

Recently, with the development of deep learning technology, a variety of huge models with excellent performance have been devised by pre-training massive amounts of text data. However, in order for such a model to be applied to real-life services, the inference speed must be fast and the amount of computation must be low, so the technology for model compression is attracting attention. Knowledge distillation, a representative model compression, is attracting attention as it can be used in a variety of ways as a method of transferring the knowledge already learned by the teacher model to a relatively small-sized student model. However, knowledge distillation has a limitation in that it is difficult to solve problems with low similarity to previously learned data because only knowledge necessary for solving a given problem is learned in a teacher model and knowledge distillation to a student model is performed from the same point of view. Therefore, we propose a heterogeneous knowledge distillation method in which the teacher model learns a higher-level concept rather than the knowledge required for the task that the student model needs to solve, and the teacher model distills this knowledge to the student model. In addition, through classification experiments on about 18,000 documents, we confirmed that the heterogeneous knowledge distillation method showed superior performance in all aspects of learning efficiency and accuracy compared to the traditional knowledge distillation.

주제어

표/그림 (21)

그림 Fig. 1. Two Examples of Traditional Knowledge Distillation
그림 Fig. 2. Concept of the Proposed Heterogeneous Knowledge Distillation Approach
그림 Fig. 3. Learning Process of Knowledge Distillation
그림 Fig. 4. Overall Research Process
그림 Fig. 5. Example of Preprocessing, Embedding and High Level Label Setting
그림 Fig. 6. Example of Hierarchical Labels
그림 Fig. 7. Example of Teacher Training
그림 Fig. 8. Process of Heterogeneous Knowledge Distillation
그림 Fig. 9. Example of Calculating Loss of Knowledge Distillation
그림 Fig. 10. Overall Process of Performance Evaluation
표 Table 1. Experimental Environments
표 Table 2. Hierarchical Label Structure
그림 Fig. 11. Example of Preprocessed Data
그림 Fig. 12. Architecture of Heterogeneous KD
표 Table 3. Configuration of Two Teacher Models
그림 Fig. 13. Results of Performance Comparison
표 Table 4. Performance Comparison
표 Table 5. Comparison of Accuracy in Each Epoch
표 Table 6. Comparison of Macro F1 in Each Epoch
그림 Fig. 14. Accuracy and Macro F1 of Three Models in Each Epoch
그림 Fig. 15. Epochs Needed to Reach Target Performance

AI 본문요약
AI-Helper

문제 정의

또한, 본 연구에서는 학생 모델이 교사 모델과 유사한 성능에 도달하는 속도를 통해 지식증류 학습의 효율성을 평가하기 위해, 조기종료를 해제하고 각 모델의 에폭별 분류 정확도를 확인하였다. <Table 5>와 <Table 6> 그리고 <Fig.
특히, 방대한 크기의 교사 모델과 유사한 성능을 가지는 경량화된 학생 모델을 획득하기 위한 지식증류 기반의 경량화 연구가 활발히 이루어지고 있다. 본 연구에서는 교사 모델과 학생 모델이 동일한 과업을 수행하는 동질적 지식증류의 한계를 개선하고자, 학생 모델의 과업과 상이한 과업을 수행하고 이에 대한 지식을 증류하는 이질적 지식증류 방식을 제안하였다. 또한, 제안 방법론을 사용하여 텍스트 데이터에 대한 카테고리 분류 실험을 수행한 결과, 제안 방법론이 학습 효율성과 정확성 측면 모두에서 단순 분류 학습 모델 및 기존 지식증류 모델에 비해 우수한 성능을 보임을 확인하였다.
본 절에서는 20개의 카테고리를 분류하는 경량화된 학생 모델을 구축하기 위한 지식증류 과정을 소개한다. <Fig.
본 절에서는 본 연구에서 제안하는 이질적 지식증류의 성능을 비교 모델들과 함께 평가한 결과를 소개한다. 우선 <Fig.
본 절에서는 실험 데이터에 대해 전처리를 수행하고, 계층적 레이블을 획득한 과정과 결과를 소개한다. 각 데이터에는 0부터 19까지 총 20개 중 하나의 하위 레이블과, A부터 F까지 총 6개 중 하나의 상위 레이블이 부착되어 있다.
본 절에서는 일반적인 관점에 대한 분류 학습을 수행하여 교사 모델을 구축하는 과정을 소개한다. 본 방법론에서는 일반적인 관점 획득을 위해 계층적 레이블 정보를 사용했으며, 일반적으로 사용되는 DNN(Deep Neural Network) 모델을 바탕으로 큰 크기의 교사 모델에 상위 레이블에 대한 분류 학습을 진행하였다.
본 절에서는 지식증류에 필요한 교사 모델을 획득한 실험 과정과 성능을 소개한다. 본 실험에서는 제안 방법론의 교사 모델과 비교 모델의 교사 모델로 총 두 개의 교사 모델을 <Table 3>과 같이 구축하였다.

가설 설정

9>의 예에서 지식증류의 하이퍼파라미터인 Temperature 값은 1로, Student Loss의 가중치는 0.1로 가정한다

제안 방법

10>의 단순 분류 DNN 모델(C)을 통해 지식증류 없는 작은 크기의 모델의 성능을 확인하고, 전통적인 지식증류(B)를 통해 이 성능이 얼마나 상승하는지 확인하였다
학생 모델은 교사 모델보다 작은 DNN 모델로, 교사 모델에 비해 약 165배가량 적은 6,346개의 파라미터를 갖는다. 20개의 카테고리 분류에 대한 예측을 수행하는 마지막 층인 Prediction Layer는 출력 뉴런의 수를 하위 카테고리의 수인 20으로, 교사 모델의 분포를 따라가며 상위 관점을 전이받는 Distillation Layer는 상위 단계의 레이블 개수인 6으로 출력 크기를 구성하였다.
9(b)>는 계층적 상위 레이블에 대해 학습한 교사 모델의 예측 분포와 학생 모델의 Distillation Layer의 분포 사이의 차이를 쿨백-라이블러 발산을 통해 증류 손실로 구하고, 실제 분류를 수행하는 Prediction Layer의 확률 값과 실제 정답과의 교차 엔트로피를 통해 기존 지식증류와 동일하게 학생 손실을 구하여 이 두 손실의 가중합이 작아지는 방향으로 학습을 수행한다
제안 방법론은 데이터 전처리(Preprocessing) 후 세부 지식을 아우르는 계층적(Hierarchical) 상위 지식(Generic Knowledge)을 학습한 교사 모델을 구축하는 Phase 1, 그리고 학습된 교사 모델로부터 상위 지식을 증류 받으며 구체적인 하위 지식(Specific Knowledge)도 학습하여 학생 모델을 구축하는 Phase 2의 두 단계로 구성된다. 구체적으로 Phase 1은 입력 문서에 대해 (1) 전처리 및 임베딩을 진행하고, (2) 해당 문서에 대응하는 레이블 각각에 대해 계층적 상위 레이블을 추가한 뒤, (3) 상위 레이블과 문서에 대해 분류 학습을 진행한 교사 모델을 획득한다. 이후 Phase 2에서는 (4) 학생 모델이 교사 모델의 학습 결과 분포를 따라가는 과정에서 발생하는 손실(Distillation Loss), 그리고 학생 모델의 예측 값과 실제 정답과의 차이에서 발생하는 손실(Student Loss)을 가중합하여, 전체 손실이 최소가 되는 방향으로 지식증류를 진행한다.
구체적으로 교사는 주어진 도형을 ‘삼각형’과 ‘사각형’으로만 분류하는 과업을 수행하여, 입력으로부터 ‘삼각형’과 ‘사각형’을 구분하기 위한 특징(Features)을 추출하고 학습한다
또한 두 교사 모델은 최종 분류를 수행하는 마지막 레이어의 출력 수만 다르고, 이외의 모든 구조와 학습 조건은 동일하게 구성하여 비슷한 크기의 모델로 구축하였다. 구체적으로, 하이퍼파라미터로 배치 크기(Batch Size)는 128, 에폭(Epoch)은 100, 옵티마이저(Optimizer)는 아담(Adam)으로 지정하였으며, 과적합(Overfitting)을 방지하기 위해 조기 종료(Early Stopping)를 사용하였다.
다음으로 교사는 이러한 지식을 학생에게 전이하고, 학생은 ‘삼각형’과 ‘사각형’에 대한 기본 개념을 바탕으로 세부 분류를 수행하는 과업을 통해 학습을 수행한다
7822로 나타났다. 또한 두 교사 모델은 최종 분류를 수행하는 마지막 레이어의 출력 수만 다르고, 이외의 모든 구조와 학습 조건은 동일하게 구성하여 비슷한 크기의 모델로 구축하였다. 구체적으로, 하이퍼파라미터로 배치 크기(Batch Size)는 128, 에폭(Epoch)은 100, 옵티마이저(Optimizer)는 아담(Adam)으로 지정하였으며, 과적합(Overfitting)을 방지하기 위해 조기 종료(Early Stopping)를 사용하였다.
먼저, 기존의 전통적인 지식증류의 교사 모델은 학생 모델이 풀고자 하는 과업과 같은 20개의 카테고리를 분류하는 학습을 진행하였다. 1,046,288개의 파라미터를 가진 DNN 모델이며, 학습 후 20개의 분류에 대한 성능은 0.
본 절에서는 일반적인 관점에 대한 분류 학습을 수행하여 교사 모델을 구축하는 과정을 소개한다. 본 방법론에서는 일반적인 관점 획득을 위해 계층적 레이블 정보를 사용했으며, 일반적으로 사용되는 DNN(Deep Neural Network) 모델을 바탕으로 큰 크기의 교사 모델에 상위 레이블에 대한 분류 학습을 진행하였다. 본 연구에서는 비교 모델과의 명확한 성능 차이를 확인하기 위해, 사전 학습 모델을 사용하지 않고 처음부터 학습하는 방식(From Scratch)으로 교사 모델을 구축하였다.
매크로 평균 F1은 클래스별 점수에 가중치를 두지 않고, 각 클래스별 F1-Score의 평균을 취하여 산출한다. 본 실험에 사용된 데이터 셋은 20개의 카테고리가 각각 유사한 수의 데이터로 구성되었기 때문에, 분류 정확도와 함께 매크로 평균 F1을 사용하여 모델의 성능을 검증하였다. 또한, 실험을 통해 도출한 최적의 하이퍼파라미터 조합인 알파와 Temperature 값은 (A) 모델이 각각 0.
본 실험에서는 제안 방법론의 교사 모델과 비교 모델의 교사 모델로 총 두 개의 교사 모델을 <Table 3>과 같이 구축하였다.
한편, 지식증류의 하이퍼파라미터인 Temperature(T)값과 손실 가중치 값 알파(α)는 교사 모델과 학생 모델의 구성, 크기 차이, 데이터에 따라 최적의 값이 달라진다. 본 실험에서는 최적의 하이퍼파라미터를 찾기 위해 Temperature 값과 손실 가중치 값을 바꿔가며 최적의 하이퍼파라미터 조합을 비교하였으며, 이외의 학습에 필요한 하이퍼파라미터는 교사 모델과 동일하게 지정하였다.
본 방법론에서는 일반적인 관점 획득을 위해 계층적 레이블 정보를 사용했으며, 일반적으로 사용되는 DNN(Deep Neural Network) 모델을 바탕으로 큰 크기의 교사 모델에 상위 레이블에 대한 분류 학습을 진행하였다. 본 연구에서는 비교 모델과의 명확한 성능 차이를 확인하기 위해, 사전 학습 모델을 사용하지 않고 처음부터 학습하는 방식(From Scratch)으로 교사 모델을 구축하였다. <Fig.
구체적으로 Phase 1은 입력 문서에 대해 (1) 전처리 및 임베딩을 진행하고, (2) 해당 문서에 대응하는 레이블 각각에 대해 계층적 상위 레이블을 추가한 뒤, (3) 상위 레이블과 문서에 대해 분류 학습을 진행한 교사 모델을 획득한다. 이후 Phase 2에서는 (4) 학생 모델이 교사 모델의 학습 결과 분포를 따라가는 과정에서 발생하는 손실(Distillation Loss), 그리고 학생 모델의 예측 값과 실제 정답과의 차이에서 발생하는 손실(Student Loss)을 가중합하여, 전체 손실이 최소가 되는 방향으로 지식증류를 진행한다. 이질적 지식증류를 통해 도출되는 최종 학생 모델은, 궁극적으로 예측하고자 하는 하위 지식뿐 아니라 교사 모델이 갖는 상위 지식에 대한 관점까지 함께 학습한 결과이다.
10>의 단순 분류 DNN 모델(C)을 통해 지식증류 없는 작은 크기의 모델의 성능을 확인하고, 전통적인 지식증류(B)를 통해 이 성능이 얼마나 상승하는지 확인하였다. 이후, 전통적인 지식증류(B)와 이질적 지식증류(A)의 성능을 비교하여 제안 모델의 우수성을 확인하였다. 성능 비교에는 분류 정확도와 함께 매크로 평균 F1(Macro Average F1-Score)을 사용하였다.
구체적으로 띄어쓰기, 오탈자 교정, 소문자 치환, 특수 문자 제거, Null 값 및 중복 제거 등의 전처리 과정을 거친 후, 최종적으로 훈련용 8,765개, 검증용 2,192개, 그리고 평가용 7,274개의 데이터를 실험에 사용하였다. 전처리된 문서는 BERT 모델을 통해 768차원 벡터로 임베딩 되었으며, 레이블의 계층적 구조(Table 2)에 따라 상위 레이블(H_Label)을 식별하였다. <Figl.
본 논문에서는 최종 분류를 예측하는 층을 Prediction Layer, 그리고 교사 모델로부터 지식을 전이 받는 층을 Distillation Layer라고 명명한다. 전체적인 구조는 학생 모델의 Distillation Layer에서 교사 모델의 결과 분포를 따라가며 증류 손실(Distillation Loss)을 구하고, Prediction Layer에서는 실제 정답과 학생 모델의 예측 값과의 손실(Student Loss)을 구하여 두 가지 손실의 가중합이 최소가 되는 방향으로 학습을 진행한다(Fig. 8).
4>는 지식증류에서 지식을 관통하는 일반적인 지식을 통해 세부적인 지식을 학습하는 과정을 나타낸다. 제안 방법론은 데이터 전처리(Preprocessing) 후 세부 지식을 아우르는 계층적(Hierarchical) 상위 지식(Generic Knowledge)을 학습한 교사 모델을 구축하는 Phase 1, 그리고 학습된 교사 모델로부터 상위 지식을 증류 받으며 구체적인 하위 지식(Specific Knowledge)도 학습하여 학생 모델을 구축하는 Phase 2의 두 단계로 구성된다. 구체적으로 Phase 1은 입력 문서에 대해 (1) 전처리 및 임베딩을 진행하고, (2) 해당 문서에 대응하는 레이블 각각에 대해 계층적 상위 레이블을 추가한 뒤, (3) 상위 레이블과 문서에 대해 분류 학습을 진행한 교사 모델을 획득한다.
5980으로 나타났다. 한편, 제안하는 이질적 지식증류의 교사 모델은 학생 모델이 풀고자 하는 과업과 서로 다른 과업인 상위 계층 6개의 카테고리를 분류하는 학습을 진행하였다. 1,045,378개의 파라미터를 가진 DNN 모델이며, 학습 후 6개의 분류에 대한 성능은 0.

대상 데이터

우선, 사이킷런에 내장된 20 Newsgroups 데이터는 훈련용(Training)과 평가용(Test) 데이터로 구분되어 있으며, 본 실험에서는 훈련용 데이터 중 일부를 분리하여 검증용(Validation)으로 사용하였다. 구체적으로 띄어쓰기, 오탈자 교정, 소문자 치환, 특수 문자 제거, Null 값 및 중복 제거 등의 전처리 과정을 거친 후, 최종적으로 훈련용 8,765개, 검증용 2,192개, 그리고 평가용 7,274개의 데이터를 실험에 사용하였다. 전처리된 문서는 BERT 모델을 통해 768차원 벡터로 임베딩 되었으며, 레이블의 계층적 구조(Table 2)에 따라 상위 레이블(H_Label)을 식별하였다.
우선, 사이킷런에 내장된 20 Newsgroups 데이터는 훈련용(Training)과 평가용(Test) 데이터로 구분되어 있으며, 본 실험에서는 훈련용 데이터 중 일부를 분리하여 검증용(Validation)으로 사용하였다. 구체적으로 띄어쓰기, 오탈자 교정, 소문자 치환, 특수 문자 제거, Null 값 및 중복 제거 등의 전처리 과정을 거친 후, 최종적으로 훈련용 8,765개, 검증용 2,192개, 그리고 평가용 7,274개의 데이터를 실험에 사용하였다.

데이터처리

이후, 전통적인 지식증류(B)와 이질적 지식증류(A)의 성능을 비교하여 제안 모델의 우수성을 확인하였다. 성능 비교에는 분류 정확도와 함께 매크로 평균 F1(Macro Average F1-Score)을 사용하였다. 매크로 평균 F1은 클래스별 점수에 가중치를 두지 않고, 각 클래스별 F1-Score의 평균을 취하여 산출한다.

이론/모형

4>의 (단계 4)에 해당하는 과정, 즉 본 연구에서 제안하는 학생 모델의 이질적인 지식증류 학습 과정을 소개한다. 학생 모델은 앞서 소개한 교사 모델과 마찬가지로 DNN 모델을 사용하며, 추론 속도를 빠르게 하기 위해 교사 모델보다 훨씬 적은 수의 파라미터를 갖는다. 본 논문에서는 최종 분류를 예측하는 층을 Prediction Layer, 그리고 교사 모델로부터 지식을 전이 받는 층을 Distillation Layer라고 명명한다.

성능/효과

한편, 제안하는 이질적 지식증류의 교사 모델은 학생 모델이 풀고자 하는 과업과 서로 다른 과업인 상위 계층 6개의 카테고리를 분류하는 학습을 진행하였다. 1,045,378개의 파라미터를 가진 DNN 모델이며, 학습 후 6개의 분류에 대한 성능은 0.7822로 나타났다. 또한 두 교사 모델은 최종 분류를 수행하는 마지막 레이어의 출력 수만 다르고, 이외의 모든 구조와 학습 조건은 동일하게 구성하여 비슷한 크기의 모델로 구축하였다.
먼저, 기존의 전통적인 지식증류의 교사 모델은 학생 모델이 풀고자 하는 과업과 같은 20개의 카테고리를 분류하는 학습을 진행하였다. 1,046,288개의 파라미터를 가진 DNN 모델이며, 학습 후 20개의 분류에 대한 성능은 0.5980으로 나타났다. 한편, 제안하는 이질적 지식증류의 교사 모델은 학생 모델이 풀고자 하는 과업과 서로 다른 과업인 상위 계층 6개의 카테고리를 분류하는 학습을 진행하였다.
본 연구에서는 교사 모델과 학생 모델이 동일한 과업을 수행하는 동질적 지식증류의 한계를 개선하고자, 학생 모델의 과업과 상이한 과업을 수행하고 이에 대한 지식을 증류하는 이질적 지식증류 방식을 제안하였다. 또한, 제안 방법론을 사용하여 텍스트 데이터에 대한 카테고리 분류 실험을 수행한 결과, 제안 방법론이 학습 효율성과 정확성 측면 모두에서 단순 분류 학습 모델 및 기존 지식증류 모델에 비해 우수한 성능을 보임을 확인하였다.
실험 결과 제안 모델 (A)가 정확도와 매크로 평균 F1의 모든 측면에서 가장 우수한 성능을 보이는 것으로 나타났다. 특히, (A) 모델은 해결하고자 하는 과업과 동일한 관점에 대한 지식증류를 수행한 (B) 모델보다도 우수한 성능을 보임으로써, 동질적 관점을 증류한 기존 지식증류보다 이질적 관점을 증류한 제안 방법론이 효과적임을 확인하였다.
<Table 5>와 <Table 6>에서는 세 모델들 중 에폭별로 가장 높은 수치를 굵게 표시했으며, 각 모델이 도달한 최종 성능은 색상으로 구분하였다. 실험 결과 제안하는 이질적 지식증류 (A)는 대부분의 에폭별 결과에서 비교 모델 (B)와 (C)보다 우수한 성능을 보임을 확인하였다. 즉, 교사 모델로부터 전이받는 이질적 관점을 통해 학습 초기부터 기존 지식증류 방법보다 빠르게 구체적인 문제해결 능력을 학습할 수 있음을 확인하였다.
모델 경량화는 대표적으로 가지치기(Pruning), 양자화(Quantization), 지식증류(Knowledge Distillation, KD) 등을 통해 구현되고 있다. 이 가운데 특히 지식증류는 작은 크기의 학생(Student) 모델이 큰 크기의 교사(Teacher) 모델에 비해 파라미터 수, 연산량, 크기는 작으면서도 매우 빠른 속도로 교사 모델과 유사한 성능을 가질 수 있으며, 도메인과 모델 구조의 제한 없이 다양한 분야에 적용이 가능하다는 점에서 가장 효율적이고 실용적인 경량화 방식으로 주목받고 있다.
이러한 과정을 통해 제안 방법론은 교사 모델로부터 상위 레이블에 대한 일반적인 지식을 전이받음과 동시에 목표로 하는 세부 분류 관점에 대한 학습도 수행함으로써, 다양한 관점의 지식을 포함한 경량 학생 모델을 도출할 수 있다.
이상의 실험 결과를 요약한 <Table 4>를 통해 본 연구에서 제안한 지식증류 방법론이 기존 지식증류 대비 정확도 0.24%p, 매크로 평균 F1 0.25%p의 향상을 달성하였으며, <Table 5>를 통해 정확도 성능 목표치에 더 빨리 도달하는 효율성을 보임을 확인하였다
실험 결과 제안하는 이질적 지식증류 (A)는 대부분의 에폭별 결과에서 비교 모델 (B)와 (C)보다 우수한 성능을 보임을 확인하였다. 즉, 교사 모델로부터 전이받는 이질적 관점을 통해 학습 초기부터 기존 지식증류 방법보다 빠르게 구체적인 문제해결 능력을 학습할 수 있음을 확인하였다. 또한 이를 통해 정확도 목표가 주어진 상황에서의 학습 효율성도 향상시킬 수 있는데, 이는 <Fig.
565의 성능을 목표로 하는 학생 모델을 구축하고자 할 때, 모델 (A)는 11에폭, (B)는 13에폭, (C)는 그 이상의 학습이 필요함을 알 수 있다. 즉, 연산량이 제한된 환경에서 학생 모델을 구축하는 경우에도, 제안 방법론이 학습 초기부터 서로 다른 관점을 바탕으로 구체적인 학습을 수행하여 기존 지식증류의 방법보다 빠르게 목표 성능에 도달함을 알 수 있다.
25%p의 향상을 달성하였으며, <Table 5>를 통해 정확도 성능 목표치에 더 빨리 도달하는 효율성을 보임을 확인하였다. 즉, 해결하고자 하는 과업 이외의 상위 관점을 전이받는 이질적 지식증류가 학습의 효율성 및 분류 정확도 측면에서 기존의 동질적 지식 증류에 비해 우수한 성능을 나타냄을 확인하였다.
실험 결과 제안 모델 (A)가 정확도와 매크로 평균 F1의 모든 측면에서 가장 우수한 성능을 보이는 것으로 나타났다. 특히, (A) 모델은 해결하고자 하는 과업과 동일한 관점에 대한 지식증류를 수행한 (B) 모델보다도 우수한 성능을 보임으로써, 동질적 관점을 증류한 기존 지식증류보다 이질적 관점을 증류한 제안 방법론이 효과적임을 확인하였다.

후속연구

다만 본 연구에서 제안한 이질적 지식증류를 수행하기 위해서는 교사와 학생 모델의 학습에 서로 다른 레벨의 정답이 사용되어야 한다. 즉, 분석 대상 데이터 자체가 이미 계층적 레이블을 갖고 있다면 제안 방법론을 그대로 적용할 수 있지만, 그렇지 않은 경우라면 제안 방법론을 적용하기 위해 새로운 계층을 직접 정의해야 한다는 부담이 존재한다.
특히 제안 방법론을 통해 성능을 향상시킬 수 있음은 확인하였으나 그 향상 폭이 충분히 크게 나타나지 않았으므로, 향후 연구에서는 텍스트 데이터를 사용하는 여러 과업에 대한 다양한 실험을 통해 제안 방법론의 성능을 더욱 향상시키고 그 효과를 엄밀하게 평가할 필요가 있다. 더 나아가 실시간 추론의 수요가 많은 이미지와 영상 분야의 모델에도 제안 방법론을 적용하여 아이디어의 확장 가능성을 확인할 필요가 있다.
즉, 분석 대상 데이터 자체가 이미 계층적 레이블을 갖고 있다면 제안 방법론을 그대로 적용할 수 있지만, 그렇지 않은 경우라면 제안 방법론을 적용하기 위해 새로운 계층을 직접 정의해야 한다는 부담이 존재한다. 또한, 본 연구에서는 새롭게 제안한 이질적 지식 증류의 성능을 평가하기 위해 텍스트 데이터에 대한 분류 실험 한 가지만을 수행하였는데, 이는 본 연구의 실험 측면의 한계로 지적될 수 있다. 특히 제안 방법론을 통해 성능을 향상시킬 수 있음은 확인하였으나 그 향상 폭이 충분히 크게 나타나지 않았으므로, 향후 연구에서는 텍스트 데이터를 사용하는 여러 과업에 대한 다양한 실험을 통해 제안 방법론의 성능을 더욱 향상시키고 그 효과를 엄밀하게 평가할 필요가 있다.
본 연구는 지식을 관통하는 일반적인 관점에 대한 지식을 통해 오히려 세부적인 지식도 더욱 잘 학습할 수 있다는 교육학적 관점을 배경으로 이질적 지식증류를 새롭게 제안했다는 점에서 학술적 기여를 인정받을 수 있을 것이다. 또한, 수행하고자 하는 과업에 따라 매번 다른 교사 모델이 필요한 기존 지식증류의 한계를 극복하여, 다양한 과업에 대해 이미 학습된 여러 모델을 이질적 지식증류의 교사 모델로 활용할 수 있다는 측면은 본 연구의 실무적 기여로 인정받을 수 있을 것이다.
물론 모델의 정확도가 매우 중요한 평가 기준이기는 하지만, 아주 미미한 정도의 성능 향상을 위해 수십만 혹은 그 이상의 파라미터가 추가로 필요하다면 과연 이 모델이 효율성 측면에서 좋은 모델인지 고민해 볼 필요가 있다. 특히 로봇, 자율 주행 자동차, 그리고 챗봇 등 딥 러닝 기술이 적용된 실생활 서비스의 경우 정확도뿐 아니라 메모리, 전력, 통신량 등 자원이 제한된 환경 하에서 컴퓨터 비전, 음성, 자연어 등을 실시간으로 처리하여 신속히 답을 제시할 수 있는 능력이 요구되고 있다.
본 연구는 지식을 관통하는 일반적인 관점에 대한 지식을 통해 오히려 세부적인 지식도 더욱 잘 학습할 수 있다는 교육학적 관점을 배경으로 이질적 지식증류를 새롭게 제안했다는 점에서 학술적 기여를 인정받을 수 있을 것이다. 또한, 수행하고자 하는 과업에 따라 매번 다른 교사 모델이 필요한 기존 지식증류의 한계를 극복하여, 다양한 과업에 대해 이미 학습된 여러 모델을 이질적 지식증류의 교사 모델로 활용할 수 있다는 측면은 본 연구의 실무적 기여로 인정받을 수 있을 것이다.
이러한 학습을 마친 학생에게 화살촉 모양의 입력이 주어졌을 때, 학생은 우선 해당 이미지가 4개의 변과 4개의 각으로 이루어져 있기 때문에 ‘사각형’일 것이라 판단하고, 해당 범주에 속한 도형 중 가장 근접한 ‘일반사각형’을 정답으로 추론할 수 있을 것이라 기대한다.
특히 로봇, 자율 주행 자동차, 그리고 챗봇 등 딥 러닝 기술이 적용된 실생활 서비스의 경우 정확도뿐 아니라 메모리, 전력, 통신량 등 자원이 제한된 환경 하에서 컴퓨터 비전, 음성, 자연어 등을 실시간으로 처리하여 신속히 답을 제시할 수 있는 능력이 요구되고 있다. 즉, 딥 러닝 모델을 다양한 분야에 적용하기 위해서는 모델의 정확성뿐 아니라 추론 시 요구되는 자원 및 추론 속도를 함께 고려하여 모델의 개발이 이루어져야 한다. 이러한 요구에 따라 최근에는 적은 자원을 사용하면서도 고속으로 우수한 정확도의 추론 결과를 얻기 위해 딥 러닝 모델의 경량화(Model Compression) 기술에 대한 필요성이 강조되고 있다.
또한, 본 연구에서는 새롭게 제안한 이질적 지식 증류의 성능을 평가하기 위해 텍스트 데이터에 대한 분류 실험 한 가지만을 수행하였는데, 이는 본 연구의 실험 측면의 한계로 지적될 수 있다. 특히 제안 방법론을 통해 성능을 향상시킬 수 있음은 확인하였으나 그 향상 폭이 충분히 크게 나타나지 않았으므로, 향후 연구에서는 텍스트 데이터를 사용하는 여러 과업에 대한 다양한 실험을 통해 제안 방법론의 성능을 더욱 향상시키고 그 효과를 엄밀하게 평가할 필요가 있다. 더 나아가 실시간 추론의 수요가 많은 이미지와 영상 분야의 모델에도 제안 방법론을 적용하여 아이디어의 확장 가능성을 확인할 필요가 있다.

참고문헌 (30)

H. L. Erickson, L. A. Lanning, and R. French, "Concept-Based Curriculum and Instruction for the Thinking Classroom," 2nd Edition, Corwin, 2017. DOI: 10.4135/9781506355382
G. Hinton, O. Vinyals, and J. Dean, "Distilling the Knowledge in a Neural Network," arXiv:1503.02531, Mar, 2015. DOI:10.48550/arXiv.1503.02531
J. Kim, S. Park, and N. Kwak, "Paraphrasing Complex Network: Network Compression via Factor Transfer," Advances in neural information processing systems 31, 2018. DOI: 10.48550/arXiv.1802.04977
J. Ba and R. Caruana, "Do deep nets really need to be deep?," Advances in neural information processing systems 27, 2014. DOI:10.48550/arXiv.1312.6184
S. I. Mirzadeh, M. Farajtabar, A. Li, N. Levine, A. Matsukawa, and H. Ghasemzadeh, "Improved Knowledge Distillation via Teacher Assistant," Proceedings of the AAAI conference on artificial intelligence, Vol. 34, No. 04, pp. 5191-5198, April, 2020. DOI: 10.1609/aaai.v34i04.5963

상세보기
A. Romero, N. Ballas, S. E. Kahou, A. Chassang, C. Gatta, and Y. Bengio, "FITNETS: HINTS FOR THIN DEEP NETS," arXiv:1412.65504, Mar, 2015. DOI: 10.48550/arXiv.1412.6550
Z. Huang and N. Wang, "Like What You Like: Knowledge Distill via Neuron Selectivity Transfer," arXiv:1707.01219, Dec, 2017. DOI: 10.48550/arXiv.1707.01219
B. Heo, M. Lee, S. Yun, and J. Y. Choi, "Knowledge Transfer via Distillation of Activation Boundaries Formed by Hidden Neurons," Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, No. 01, pp. 3779-3787, July, 2019. DOI:10.1609/aaai.v33i01.33013779

상세보기
J. Yim, D. Joo, J. Bae and J. Kim, "A Gift from Knowledge Distillation: Fast Optimization, Network Minimization and Transfer Learning," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 4133-4141, 2017.DOI: 10.1109/cvpr.2017.754
S. Lee and B. Song, "Graph-based Knowledge Distillation by Multi-head Attention Network," arXiv:1907.02226, Jul, 2019. DOI: 10.48550/arXiv.1907.02226
Y. Liu, J. Cao, B. Li, C. Yuan, W. Hu, Y. Li, and Y. Duan, "Knowledge distillation via instance relationship graph," Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 7096-7104, 2019. DOI: 10.1109/cvpr.2019.00726
J. Gou, B. Yu, S. J. Maybank, and D. Tao, "Knowledge Distillation: A Survey," International Journal of Computer Vision 129.6, pp. 1789-1819, Mar, 2021. DOI: 10.1007/s11263-021-01453-z

상세보기
J. Devlin, M. W. Chang, K. Lee, and K. Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding," arXiv:1810.04805, May, 2019. DOI: 10.48550/arXiv.1810.04805
S. Hahn and H. Choi, "Self-Knowledge Distillation in Natural Language Processing," arXiv:1908.01851, Aug, 2019. DOI:10.48550/arXiv.1908.01851
Y. C. Chen, Z. Gan, Y. Cheng, J. Liu, and J. Liu, "Distilling Knowledge Learned in BERT for Text Generation," arXiv:1911. 03829, Jul, 2020. DOI: 10.48550/arXiv.1911.03829
S. Arora, M. M. Khapra, and H. G. Ramaswamy, "On Knowledge Distillation from Complex Networks for Response Prediction," Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3813-3822, June, 2019. DOI: 10.18653/v1/N19-1382
S. Shakeri, A. Sethy, and C. Cheng, "Knowledge Distillation in Document Retrieval," arXiv:1911.11065, Nov, 2019. DOI:10.48550/arXiv.1911.11065
S. Zhang, L. Jiang, and J. Tan, "Cross-domain knowledge distillation for text classification," Neurocomputing, Vol. 509, pp. 11-202022, Oct, 2022. DOI: 10.1016/j.neucom.2022.08.061

상세보기
N. Kin, D. Lee, H. Choi, and W. X. S. Wong, "Investigations on Techniques and Applications of Text Analytics," Journal of Korean Institute of Communications and Information Sciences, Vol. 42, No. 2, pp. 471-492, Feb, 2017. DOI: 10.7840/kics.2017.42.2.471

원문보기 상세보기
S. Kim and S. Kim, "Recursive Oversampling Method for Improving Classification Performance of Class Unbalanced Data in Patent Document Automatic Classification," Journal of The Institute of Electronics and Information Engineers, Vol. 58, No. 4, April, 2021. DOI: 10.5573/ieie.2021.58.4.43

상세보기
B. Dipto and J. Gil, "Research Paper Classification Scheme based on Word Embedding," Proceedings of the Korea Information Processing Society Conference, Vol. 28, No. 2, Nov, 2021. DOI:10.3745/PKIPS.y2021m11a.494
H. Son, S. Choe, C. Moon, and J. MIn, "Rule-based filtering and deep learning LSTM e-mail spam classification," Proceedings of the Korean Information Science Society Conference, pp.105-107, 2021.
S. Ji, J. Moon, H. Kim, and E. Hwang, "A Twitter News-Classification Scheme Using Semantic Enrichment of Word Features," Journal of KIISE, Vol. 45, No. 10, pp. 1045-1055, Oct, 2018. DOI: 10.5626/JOK.2018.45.10.1045

상세보기
W. X. S. Wong, Y. Hyun, and N. Kim, "Improving the Accuracy of Document Classification by Learning Heterogeneity," Journal of Intelligence and Information Systems, Vol. 24, No. 3, Sep,2018. DOI: 10.13088/jiis.2018.24.3.021

원문보기 상세보기
S. U. Park, "Analysis of the Status of Natural Language Processing Technology Based on Deep Learning," Korean Journal of BigData, Vol. 6, Aug, 2021. DOI: 10.36498/kbigdt.2021.6.1.63

원문보기 상세보기
T. Mikolov, K. Chen, G. Corrado, and J. Dean, "Efficient Estimation of Word Representations in Vector Space," arXiv:1301.3781, Sep, 2013. DOI: 10.48550/arXiv.1301.3781
K. Clark, M. T. Luong, Q. V. Le, and C. D. Manning, "ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators," arXiv:2003.10555, Mar, 2020. DOI:10.48550/arXiv.2003.10555
V. Sanh, L. Debut, J. Chaumond, and T. Wolf, "DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter," arXiv:1910.01108, Mar, 2020. DOI: 10.48550/arXiv.1910.01108
X. Jiao, Y. Yin, L. Shang, X. Jiang, X. Chen, L. Li, F. Wang, and Q. Liu, "TinyBERT: Distilling BERT for Natural Language Understanding," arXiv:1909.10351, Oct, 2020. DOI: 10.48550/arXiv.1909.10351
K. Lang, "NewsWeeder: Learning to Filter Netnews," Proceedings of the Twelfth International Conference on Machine Learning, pp. 331-339, 1995. DOI: 10.1016/B978-1-55860-377-6.50048-7

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증