[논문]텍스트 문서 분류에서 범주간 유사도와 계층적 분류 방법의 성과 관계 연구

장수정; 민대기

doi:10.7838/jsebs.2020.25.3.077

텍스트 문서 분류에서 범주간 유사도와 계층적 분류 방법의 성과 관계 연구
A Study on the Relationship between Class Similarity and the Performance of Hierarchical Classification Method in a Text Document Classification Problem 원문보기

한국전자거래학회지 = The Journal of Society for e-Business Studies, v.25 no.3, 2020년, pp.77 - 93

장수정 (Graduate School(Big Data Analytics), Ewha Womans University) , 민대기 (School of Business, Ewha Womans University)

초록
AI-Helper

비정형 텍스트 문서를 다중 범주로 분류하는 문제에 있어서, 계층적 분류 방법이 비계층적 분류 방법에 비하여 분류 성능이 우수한 것으로 알려져 있다. 기존 문헌과 다르게 본 연구에서는 사전에 범주들의 계층 구조가 정의된 상황에서 계층적 분류 방법과 비계층적 분류 방법의 성능을 비교하였다. 수자원 분야 기후변화 적응기술과 관련한 논문 분류 데이터와 20NewsGroup 오픈 데이터를 대상으로 계층적/비계층적 분류 방법의 성능을 비교하였다. 본 연구결과 기존 문헌과 다르게 계층적 분류 방법이 비계층적 분류 방법에 비하여 언제나 성능이 우수한 것은 아님을 확인하였다. 계층 구조의 상위/하위 수준에서의 상대적 유사도에 따라서 계층적/비계층적 분류 방법의 성능에 차이가 있음을 확인하였다. 즉, 상위 수준의 유사도가 하위 수준보다 상대적으로 낮은 경우 상위 수준에서의 오분류 감소로 계층적 분류 방법의 성능이 개선됨을 확인하였다.

Abstract ▼ AI-Helper

The literature has reported that hierarchical classification methods generally outperform the flat classification methods for a multi-class document classification problem. Unlike the literature that has constructed a class hierarchy, this paper evaluates the performance of hierarchical and flat classification methods under a situation where the class hierarchy is predefined. We conducted numerical evaluations for two data sets; research papers on climate change adaptation technologies in water sector and 20NewsGroup open data set. The evaluation results show that the hierarchical classification method outperforms the flat classification methods under a certain condition, which differs from the literature. The performance of hierarchical classification method over flat classification method depends on class similarities at levels in the class structure. More importantly, the hierarchical classification method works better when the upper level similarity is less that the lower level similarity.

주제어

표/그림 (9)

그림 Research Framework
그림 Example of Hierarchy
그림 Water Adaptation Technologies Structure
그림 4NewsGroup Structure
표 Model Performance Measures about Water Adaptation Technologies
표 Flat Classification Model Performance Measures: 4NewsGroup
표 Hierarchical Classification Model Performance Measures: 4NewsGroup
표 Similarity and Classification Performance
그림 Accuracy by Number of Parent Category

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

국가별 기후변화 적응기술 수요를 분석함에 있어 광범위한 정보 원천인 대용량 문서 자료를 많은 인적자원을 이용하여 수작업으로 정리함으로써 정합성과 효율성이 낮은 문제가 발생한다. 따라서 UNFCCC TNA와 같이 비정형 텍스트 문서로 제시되는 다수의 수요 자료를 수작업으로 분류, 분석, 정리하는 과정에서 발생하는 비용을 회피하고 효과적인 수요 자료 확보와 정합성 판단을 위하여 비정형 자료 분석의 대표적인 기법인 텍스트 분석을 이용하고자 한다. UNFCCC에서 정의하는 기후변화 적응 기술의 분류 체계에 따라서 TNA 보고서와 같은 텍스트 기반 수요 문서를 효율적으로 분류하는 것은 추가적인 수요 분석을 위한 중요한 연구 주제로 판단된다.
UNFCCC에서 정의하는 기후변화 적응 기술의 분류 체계에 따라서 TNA 보고서와 같은 텍스트 기반 수요 문서를 효율적으로 분류하는 것은 추가적인 수요 분석을 위한 중요한 연구 주제로 판단된다. 본 논문에서는 기후변화 적응기술의 계층 구조와 같이 사전에 정의된 계층 구조를 활용하여 텍스트 문서를 분류하기 위한 문제를 고려하도록 한다.
본 연구는 범주의 계층 구조가 사전에 정의된 상황에서 텍스트 문서의 다중 범주 분류를 위한 방법을 고려하였다. 일반적으로 계층적 분류 방법을 이용한 텍스트 문서의 분류 성과가 비계층적 분류 방법과 비교하여 우수한 분류 성능을 나타내는 것으로 알려져 있다.
본 연구에서는 계층 구조가 사전에 정의된 상황에서 비계층적 분류 대비 계층적 분류 방법의 텍스트 문서 분류 성능을 평가하고자 한다. 이때 Blocking 문제의 특성을 고려하여 계층의 상위 수준과 하위 수준에서의 범주간 유사도를 비교하여 계층 구조를 두 가지 유형으로 구분하고 유형별로 계층적 분류와 비계층적 분류 방법의 성능을 비교하도록 한다.
본 연구에서는 범주의 계층 구조를 유사도에 근거하여 새롭게 생성하는 대신에 기후변화 적응기술의 분류 체계와 같이 범주들 사이의 계층 구조가 사전에 정의된 상황에서 계층 구조를 활용한 텍스트 문서의 분류 문제를 고려한다. 사전에 정의된 계층 구조를 이용한 문서 분류 방법과 관련한 선행 연구에서는 앞서 언급한 문서 분류 연구와 유사하게 비계층적 방법과 비교하여 계층적 방법이 상대적으로 우수한 분류 성능을 보임을 제시하고 있다.
본 연구의 목적은 범주의 계층 구조가 사전에 정의된 상황에서 텍스트 문서를 범주별로 분류함에 있어 비계층적 분류와 계층적 분류 방법의 성능을 비교·평가하는데 있다.
일반적으로 계층적 분류 방법을 이용한 텍스트 문서의 분류 성과가 비계층적 분류 방법과 비교하여 우수한 분류 성능을 나타내는 것으로 알려져 있다. 하지만 계층적 분류 방법이 갖는 Blocking 문제의 특성을 고려하여 본 연구에서는 계층의 상위 수준과 하위 수준에서의 범주간 유사도를 비교하여 정의한 계층 구조의 두 가지 유형에 따라서 계층적 분류와 비계층적 분류 방법의 성능에 차이가 발생함을 검증하고자 하였다. 본 연구 목적을 위하여 텍스트 데이터의 전처리와 Feature 집합의 구성, SVM을 이용한 분류 모형을 제시하고, 두 가지 데이터를 이용한 수치 실험을 수행하였다.

제안 방법

전처리한 워드 벡터를 대상으로 TF-IDF를 적용하여 DTM을 구성하였다[15]. DTM으로 정리한 단어 집합에서 SVM 모형을 구성하기 위한 Feature 집합을 도출하였다. 빈도수를 기준으로 DTM에서 포함된 전체 단어들의 90%, 95%, 99% 등 3가지 경우를 이용하여 모델을 구축하고 사전 성능평가를 진행하였다.
학회 웹사이트의 HTML 문서로부터 학회 주제에 대한 토픽 정보를 추출하여 주제에 따라 문서를 학회에 자동 분류 되는 기법을 제안한 논문[17]과 다르게 본 연구는 논문의 제목과 초록을 이용했다. 검색과정으로 수집된 논문은 전문가의 검토를 거쳐서 범주와의 관련성을 추가로 검토하였으며, 논문의 제목과 초록을 추후 분석과정에서 사용하였다.
계층별 유사도를 기준으로 구분한 두 가지 계층 구조의 유형에 따라서 계층적/비계층적 분류 방식의 성능 차이를 검증하였다. 계층 구조에 있어 계층의 수준별 유사도는 범주를 분류하기 위하여 정의한 Feature 집합을 이용하여 측정하였다.
텍스트 문서의 다중 범주 분류와 함께 계층 구조의 상위/하위 수준에서의 범주 간 유사도를 기준으로 계층 구조의 두 가지 유형을 분석 하였다. 계층 구조의 수준별로 범주간 유사도는 데이터의 전처리를 통하여 도출한 DTM (Document-Term Matrix)을 대상으로 Cosine similarity를 적용하여 측정하였다. 마지막으로 계층 구조의 두 가지 유형 별로 계층적/비계층적 분류 방법의 성능 차이를 분석하였다.
계층 구조의 유형에 따라서 계층적/비계층적 분류 방법의 성능 차이를 비교하기 위하여 두 개 유형 사이에 성능 차이가 존재하는지 통계적 검증을 수행하였다. 비계층적 분류 방법 대비 계층적 분류 방법의 개선율을 의미하는 성능 개선율 결과가 두 유형 집단 사이에 차이가 있는지 t-검정을 수행하였으며, t-검정 결과 성능 개선율에 유의미한 차이가 존재함을 확인하였다(p-value = 0.
계층별 유사도를 기준으로 구분한 두 가지 계층 구조의 유형에 따라서 계층적/비계층적 분류 방식의 성능 차이를 검증하기 위한 통계적 분석을 수행한다. 이를 위하여 계층 구조의 두 가지 유형 사이에 비계층적 분류 방법의 정확도 대비 계층적 분류 방식의 정확도 개선율에 차이가 있는지 t-검정을 수행하였다.
계층별 유사도를 기준으로 구분한 두 가지 계층 구조의 유형에 따라서 계층적/비계층적 분류 방식의 성능 차이를 검증하였다. 계층 구조에 있어 계층의 수준별 유사도는 범주를 분류하기 위하여 정의한 Feature 집합을 이용하여 측정하였다.
수자원 분야 기후변화 적응기술과 관련하여 수집한 3,313개의 논문을 7:3으로 구분하여 분류 모형의 학습과 성능평가 실험에 사용하였다. 논문 분류 결과를 [Table 1]에 요약하여 제시하였으며, 상세 실험 결과를 보여주는 Confusion Matrix는 부록에 제시하였다.
첫째, 확실한 이론적 근거에 기반을 두는 기법으로 결과를 해석하는 것이 용이하다[5]. 둘째, SVM을 사용하여 도출한 결과가 인공신경망을 통해 도출한 결과 성능과 유사하거나 그 이상으로 개선된 결과를 도출한다. 마지막으로 적은 학습 데이터로 짧은 시간 내에 분류 결과를 도출할 수 있으며, 불균형 데이터 집합에 대해서 우수한 성능을 보인다[21].
계층 구조의 수준별로 범주간 유사도는 데이터의 전처리를 통하여 도출한 DTM (Document-Term Matrix)을 대상으로 Cosine similarity를 적용하여 측정하였다. 마지막으로 계층 구조의 두 가지 유형 별로 계층적/비계층적 분류 방법의 성능 차이를 분석하였다. 분석에 사용된 데이터에서 사전에 정의한 계층 구조를 제외한 단계별 주요 연구 절차는 다음 절에서 상세하게 설명하도록 한다.
계층 구조가 3단계 이상으로 확장되는 경우 수준간 유사도 비교를 통한 계층 구조의 유형화 방안을 고려하는 것이 필요하다. 마지막으로 본 논문에서는 분류 모형으로 SVM을 고려하였다. 최근 텍스트 분석을 위한 다양한 딥러닝(Deep Learning) 기반 방법이 사용되고 있다[14].
본 연구의 목적인 계층적 문서 분류 방법과 비계층적 문서 분류 방법의 성능 차이를 비교하기 위하여 두 가지 연구 데이터를 이용하였다. 먼저 앞서 연구배경에서 언급한 바와 같이 기후변화 적응기술의 수요를 효과적으로 분석하기 위하여 수자원 분야의 기후변화 적응기술을 대상으로 제안 연구방법론을 적용하였다. 수자원 분야 기후변화 적응기술의 구조는 CTCN(Climate Technology Centre and Network)에서 정의하는 기술 계층 구조를 이용하되, 문제를 단순화하기 위하여 가장 대표적인 두 가지 기술인 Rainwater Harvesting(우수 집수)과 Desalination(해수 담수화)만을 고려하였다[2].
범주 사이의 유사도는 분류 모형에서 사용한 Feature 집합을 대상으로 cosine similarity를 이용하여 측정하였다. 예를 들어, 앞서 제시한 [Figure 2]에서 상위계층의 2개 범주인 A와 B의 유사도는 A와 B 범주의 분류에 사용된 Feature 집합의 Cosine similarity를 이용하였다.
하지만 계층적 분류 방법이 갖는 Blocking 문제의 특성을 고려하여 본 연구에서는 계층의 상위 수준과 하위 수준에서의 범주간 유사도를 비교하여 정의한 계층 구조의 두 가지 유형에 따라서 계층적 분류와 비계층적 분류 방법의 성능에 차이가 발생함을 검증하고자 하였다. 본 연구 목적을 위하여 텍스트 데이터의 전처리와 Feature 집합의 구성, SVM을 이용한 분류 모형을 제시하고, 두 가지 데이터를 이용한 수치 실험을 수행하였다.
본 연구에서는 계층별 유사도를 기준으로 계층 구조를 두 가지 유형을 구분하였다. 첫 번째 유형은 상위계층에서의 범주 간 유사도와 비교하여 하위계층에서의 범주 간 유사도가 상대적으로 높은 경우이며, 두 번째 유형은 반대로 하위 계층의 범주 간 유사도가 낮은 경우로 정의된다.
우선 전처리 과정을 통하여 텍스트 문서를 워드 벡터로 구성하고 대소문자, 숫자, 불용어 등을 제거하였다. 불용어 처리는 R 소프트웨어에서 제공하는 기본 불용어 사전과 함께 본 연구에서 고려하는 수자원 분야 기후변화 적응기술의 특성을 고려하여 일부 단어를 추가로 적용하였다. 전처리한 워드 벡터를 대상으로 TF-IDF를 적용하여 DTM을 구성하였다[15].
DTM으로 정리한 단어 집합에서 SVM 모형을 구성하기 위한 Feature 집합을 도출하였다. 빈도수를 기준으로 DTM에서 포함된 전체 단어들의 90%, 95%, 99% 등 3가지 경우를 이용하여 모델을 구축하고 사전 성능평가를 진행하였다. 사전 실험 결과 99%의 단어를 Feature 집합으로 구성하는 경우 성능이 상대적으로 가장 우수하였으며, 이와 같은 사전 실험 결과를 이용하여 이후 실험은 DTM에 포함된 단어의 99%를 적용하여 진행하였다.
상위 수준의 유사도가 하위 수준의 유사도보다 상대적으로 높은 경우 계층적 분류 방법의 성능이 비계층적 분류 방법과 비교하여 상대적으로 저하되는 현상을 통계적으로 검증하였다. 이를 위하여 [Table 4]에 제시된 결과를 기준으로 계층 구조의 유형을 두 가지로 구분하였다.
수자원 분야 기후변화 적응기술의 계층 구조에 따라서 본 연구의 목적에 적합하게 정리된 텍스트 문서 데이터를 자체적으로 구성하였다. 데이터 구성을 위하여 하위 수준의 5개 범주에 대응하는 기후변화 적응기술에 대한 CTCN의 설명으로부터 주요 키워드를 도출하고 이를 이용하여 2015년부터 2019년까지의 논문을 “Science Direct”에서 수집하였다.
먼저 앞서 연구배경에서 언급한 바와 같이 기후변화 적응기술의 수요를 효과적으로 분석하기 위하여 수자원 분야의 기후변화 적응기술을 대상으로 제안 연구방법론을 적용하였다. 수자원 분야 기후변화 적응기술의 구조는 CTCN(Climate Technology Centre and Network)에서 정의하는 기술 계층 구조를 이용하되, 문제를 단순화하기 위하여 가장 대표적인 두 가지 기술인 Rainwater Harvesting(우수 집수)과 Desalination(해수 담수화)만을 고려하였다[2]. 본 연구에서 제안한 계층적 분류 방법과 유사도에 의한 성능 변화를 검증하기 위하여 분류 대상 범주가 다양하고 분류 목적으로 많이 활용되는 데이터를 추가적으로 고려 하였다.
문서 분류를 위한 Feature 집합을 구성하기 위하여 빈도기반의 방법론을 이용하였다. 우선 전처리 과정을 통하여 텍스트 문서를 워드 벡터로 구성하고 대소문자, 숫자, 불용어 등을 제거하였다. 불용어 처리는 R 소프트웨어에서 제공하는 기본 불용어 사전과 함께 본 연구에서 고려하는 수자원 분야 기후변화 적응기술의 특성을 고려하여 일부 단어를 추가로 적용하였다.
본 연구에서는 계층 구조가 사전에 정의된 상황에서 비계층적 분류 대비 계층적 분류 방법의 텍스트 문서 분류 성능을 평가하고자 한다. 이때 Blocking 문제의 특성을 고려하여 계층의 상위 수준과 하위 수준에서의 범주간 유사도를 비교하여 계층 구조를 두 가지 유형으로 구분하고 유형별로 계층적 분류와 비계층적 분류 방법의 성능을 비교하도록 한다. 즉, 상위 수준의 범주간 유사도가 하위 수준의 유사도와 비교하여 상대적으로 낮은 경우에는 계층적 분류를 사용함으로써 상위 수준에서 오분류를 낮추고 결국 최종 분류 성능이 개선될 것으로 예상할 수 있다.
본 연구에서 사용한 수자원 분야 기후변화 적응기술 데이터의 경우 두 가지 하위 수준의 범주에 해당하는 문서가 각각 997개와 2,316개로 구성되어 불균형한 분포 특성을 갖고 있다. 이와 같은 데이터 불균형을 고려하여 성능을 평가하기 위하여 F1-Measure를 추가적으로 검토하였다. 먼저 비계층적 분류 방법의 경우 Precision과 Recall 모두 0.
불용어 처리는 R 소프트웨어에서 제공하는 기본 불용어 사전과 함께 본 연구에서 고려하는 수자원 분야 기후변화 적응기술의 특성을 고려하여 일부 단어를 추가로 적용하였다. 전처리한 워드 벡터를 대상으로 TF-IDF를 적용하여 DTM을 구성하였다[15]. DTM으로 정리한 단어 집합에서 SVM 모형을 구성하기 위한 Feature 집합을 도출하였다.
이를 위하여 [Table 4]에 제시된 결과를 기준으로 계층 구조의 유형을 두 가지로 구분하였다. 즉, 상위 수준의 유사도가 상대적으로 더 작은 계층 구조로 Comp, RWH, Desalination을 구분하였으며, 반대로 하위 수준의 유사도가 상대적으로 더 작은 계층 구조로 Rec, Sci, Talk를 확인하였다.
텍스트 문서의 다중 범주 분류와 함께 계층 구조의 상위/하위 수준에서의 범주 간 유사도를 기준으로 계층 구조의 두 가지 유형을 분석 하였다. 계층 구조의 수준별로 범주간 유사도는 데이터의 전처리를 통하여 도출한 DTM (Document-Term Matrix)을 대상으로 Cosine similarity를 적용하여 측정하였다.

대상 데이터

4NewsGroup에 포함된 기사 데이터를 7:3으로 구분하여 6,321개의 기사를 분류 모형의 학습에 사용하였으며, 2,709개의 기사는 성능 평가를 위한 실험에 사용하였다. 4NewsGroup 데이터의 경우 개별 범주에 포함된 데이터의 수가 약 2,000여 개로 유사하여 균형 데이터의 특성을 보이고 있다.
Rev 범주의 하위 수준 범주별로 분석에 사용한 텍스트 문서의 숫자는 OMM 573개, SH 590개, SMH 577개, WX 583개와 같다. Comp의 하위 수준 범주는 autos 594개, motorcycles 598개, SB 597개, SH 600개의 데이터로 구성되어 있다. Sci의 하위에는 crypt 592개, electronics 590개, med 592개, space 592개의 문서가 있으며, 마지막으로 Talk 범주의 하위에는 PG 546개, PMd 564개, PM 465개, RM 377개의 데이터로 구성되어 있다.
Comp의 하위 수준 범주는 autos 594개, motorcycles 598개, SB 597개, SH 600개의 데이터로 구성되어 있다. Sci의 하위에는 crypt 592개, electronics 590개, med 592개, space 592개의 문서가 있으며, 마지막으로 Talk 범주의 하위에는 PG 546개, PMd 564개, PM 465개, RM 377개의 데이터로 구성되어 있다.
데이터 구성을 위하여 하위 수준의 5개 범주에 대응하는 기후변화 적응기술에 대한 CTCN의 설명으로부터 주요 키워드를 도출하고 이를 이용하여 2015년부터 2019년까지의 논문을 “Science Direct”에서 수집하였다.
둘째, 다양한 계층 구조를 갖는 경우에 대한 연구가 필요하다. 본 논문에서는 4NewsGroup 데이터의 경우 상위 수준의 범주가 4개인 경우를 고려하였다. 상위 수준의 범주가 2개, 3개, 4개인 경우 계층적/비계층적 분류 방법의 분류 정확도를 살펴보면 [Figure 5]와 같이 범주의 수가 증가할수록 분류 성능은 감소함을 확인할 수 있다.
본 연구에서 사용한 수자원 분야 기후변화 적응기술 데이터의 경우 두 가지 하위 수준의 범주에 해당하는 문서가 각각 997개와 2,316개로 구성되어 불균형한 분포 특성을 갖고 있다. 이와 같은 데이터 불균형을 고려하여 성능을 평가하기 위하여 F1-Measure를 추가적으로 검토하였다.
본 연구의 목적인 계층적 문서 분류 방법과 비계층적 문서 분류 방법의 성능 차이를 비교하기 위하여 두 가지 연구 데이터를 이용하였다. 먼저 앞서 연구배경에서 언급한 바와 같이 기후변화 적응기술의 수요를 효과적으로 분석하기 위하여 수자원 분야의 기후변화 적응기술을 대상으로 제안 연구방법론을 적용하였다.
수자원 분야 기후변화 적응기술과 관련하여 수집한 3,313개의 논문을 7:3으로 구분하여 분류 모형의 학습과 성능평가 실험에 사용하였다. 논문 분류 결과를 [Table 1]에 요약하여 제시하였으며, 상세 실험 결과를 보여주는 Confusion Matrix는 부록에 제시하였다.
최종적으로 Infiltration은 376개, Rain Barrel 은 307개, Water Storage는 314개, Membrane Process는 1950개, Thermal Treatment는 366개의 논문을 사용하였다.

데이터처리

계층별 유사도를 기준으로 구분한 두 가지 계층 구조의 유형에 따라서 계층적/비계층적 분류 방식의 성능 차이를 검증하기 위한 통계적 분석을 수행한다. 이를 위하여 계층 구조의 두 가지 유형 사이에 비계층적 분류 방법의 정확도 대비 계층적 분류 방식의 정확도 개선율에 차이가 있는지 t-검정을 수행하였다.

이론/모형

계층 구조에서 정의하는 범주로 텍스트 문서를 분류하기 위하여 수집한 데이터(즉, 텍스트 문서)를 전처리하고, 전처리한 데이터를 이용하여 분류 모형을 개발하는 과정을 수행한다. 데이터의 전처리 과정에서는 문서 집합으로부터 단어들을 추출하기 위해 TF-IDF(Term Frequency-Inverse Document Frequency)와 같은 빈출 단어 기반의 방법을 이용하여 분류를 위한 Feature 집합을 구성한다[18]. 분류기는 텍스트 문서 분류와 관련한 선행연구에서 광범위하게 사용하고 있는 SVM을 사용하였다.
Precision과 Recall은 서로 반대의 개념을 갖고 있으므로, 분류 모형의 성능을 효과적으로 표현하는 데 한계가 존재한다. 따라서 일반적으로 Recall과 Precision의 조화평균 값인 F1-Measure를 이용하여 모형의 성능을 평가한다.
문서 분류를 위한 Feature 집합을 구성하기 위하여 빈도기반의 방법론을 이용하였다. 우선 전처리 과정을 통하여 텍스트 문서를 워드 벡터로 구성하고 대소문자, 숫자, 불용어 등을 제거하였다.
본 논문에서는 다중 분류 문제에 대해 상당히 좋은 성능을 보이는 것으로 알려져 있는 SVM 분류기를 사용했다[16]. SVM은 두 가지 범주로 구분되는 데이터를 분류할 때 분리경계면(Separating Hyperplane)을 학습 알고리즘을 이용해서 찾는 기법으로 최근 다양한 연구에서 다중 범주의 분류 문제에서 사용되고 있다.
20NewsGroup 데이터는 다양한 범주의 뉴스 기사를 포함하는 공개 데이터이며, 텍스트 문서 분류 연구에 광범위하게 사용되고 있다. 본 연구에서는 제안 연구 방법론의 검증에 문제가 없는 수준에서 실험을 단순화하기 위하여 20NewsGroup의 일부 4개 상위 범주를 활용하였다.
데이터의 전처리 과정에서는 문서 집합으로부터 단어들을 추출하기 위해 TF-IDF(Term Frequency-Inverse Document Frequency)와 같은 빈출 단어 기반의 방법을 이용하여 분류를 위한 Feature 집합을 구성한다[18]. 분류기는 텍스트 문서 분류와 관련한 선행연구에서 광범위하게 사용하고 있는 SVM을 사용하였다.
텍스트 문서의 분류 성과는 분류 정확도, Recall, Precision, 그리고 Recall과 Precision의 균형값인 F1-Measure를 이용하여 평가한다. 정확도는 분류 대상 문서 중에서 범주를 정확 하게 분류한 문서의 비율을 의미한다.

성능/효과

특히 상위 수준에서의 분류 정확도는 90% 이상이었는데, 이를 통하여 상위 수준에서의 오분류 경우가 감소함으로써 하위 수준에서의 분류 정확도가 개선되었음을 알 수 있다. Precision과 Recall 그리고 F1 Measure의 경우에도 비계층적 분류와 비교하여 계층적 분류 방법에서 우수한 성능을 확인하였다.
4608으로 확인되었다. 계층적 분류 방법은 Precision과 Recall 모두 비계층적 분류 방법과 비교하여 우수한 성능을 보였다. 계층적 분류 방법을 적용한 결과 F1-Measure의 평균값은 약 0.
계층적 분류 방법은 Precision과 Recall 모두 비계층적 분류 방법과 비교하여 우수한 성능을 보였다. 계층적 분류 방법을 적용한 결과 F1-Measure의 평균값은 약 0.7482로 비계층적 분류 방법과 비교하여 매우 우수한 결과를 보였다.
계층적, 비계층적 분류 방법을 적용한 실험 결과를 [Table 2]와 [Table 3]에 요약하여 제시하였다. 계층적 분류 방법의 정확도는 모든 수준과 범주에 있어서 비계층적 분류 방법의 정확도 결과인 약 81.99%와 비교하여 우수하였다. 특히 상위 수준에서의 분류 정확도는 90% 이상이었는데, 이를 통하여 상위 수준에서의 오분류 경우가 감소함으로써 하위 수준에서의 분류 정확도가 개선되었음을 알 수 있다.
단계적 문서 분류 방법을 적용한 실험 결과를 살펴보면 상위 수준에서의 분류 정확도는 95.37%로 상당히 높게 도출되었으며, 하위 수준에서의 정확도는 Rainwater Harvesting과 Desalination 범주에서 각각 68.33%와 85.27%로 나타났다. 비계층적 문서 분류를 사용하는 경우의 정확도 66.
이와 같은 데이터 불균형을 고려하여 성능을 평가하기 위하여 F1-Measure를 추가적으로 검토하였다. 먼저 비계층적 분류 방법의 경우 Precision과 Recall 모두 0.6 미만의 결과를 보였으며, F1-Measure는 0.4608으로 확인되었다. 계층적 분류 방법은 Precision과 Recall 모두 비계층적 분류 방법과 비교하여 우수한 성능을 보였다.
첫째, 계층적 분류를 이용함으로써 기대되는 Blocking 문제의 개선 효과를 정량화하여 검토 하는 것이 필요하다. 본 연구에서 제시하고 있는 계층적 분류 방법에 의한 분류 성능 개선 효과를 이용하여 간접적으로 Blocking 문제의 방지 효과를 확인할 수 있다. 하지만 이를 보다 정량적으로 검토함으로써 계층적 분류 방법의 개선 방안을 고려하는 것이 가능할 것이다.
27%로 나타났다. 비계층적 문서 분류를 사용하는 경우의 정확도 66.8%와 비교하여 계층적 분류 방법을 활용함으로써 분류 성능이 개선되었음을 확인하였다.
계층 구조의 유형에 따라서 계층적/비계층적 분류 방법의 성능 차이를 비교하기 위하여 두 개 유형 사이에 성능 차이가 존재하는지 통계적 검증을 수행하였다. 비계층적 분류 방법 대비 계층적 분류 방법의 개선율을 의미하는 성능 개선율 결과가 두 유형 집단 사이에 차이가 있는지 t-검정을 수행하였으며, t-검정 결과 성능 개선율에 유의미한 차이가 존재함을 확인하였다(p-value = 0.04062).
빈도수를 기준으로 DTM에서 포함된 전체 단어들의 90%, 95%, 99% 등 3가지 경우를 이용하여 모델을 구축하고 사전 성능평가를 진행하였다. 사전 실험 결과 99%의 단어를 Feature 집합으로 구성하는 경우 성능이 상대적으로 가장 우수하였으며, 이와 같은 사전 실험 결과를 이용하여 이후 실험은 DTM에 포함된 단어의 99%를 적용하여 진행하였다.
먼저, 앞서 문헌연구에서 제시한 바와 같이 계층적 문서 분류 방법이 비계층적 분류 방법과 비교하여 우수한 분류 성능을 보였다. 특히, 균형 데이터와 비교하여 불균형 데이터에서 계층 분류 방법에 의한 성능 개선을 확인할 수 있었다. 하지만 본 연구의 주요 가설과 같이 범주간 유사도와 분류 방법의 성능 사이에서 유의미한 관계를 확인할 수 있었다.
특히, 균형 데이터와 비교하여 불균형 데이터에서 계층 분류 방법에 의한 성능 개선을 확인할 수 있었다. 하지만 본 연구의 주요 가설과 같이 범주간 유사도와 분류 방법의 성능 사이에서 유의미한 관계를 확인할 수 있었다. 즉, 비계층적 분류 방법 대 계층적 분류 방법의 성능 개선율은 상위 수준에서의 범주간 유사도가 하위 수준과 비교하여 상대적으로 낮은 경우에 더 높게 발생하였다.

후속연구

하지만 이를 보다 정량적으로 검토함으로써 계층적 분류 방법의 개선 방안을 고려하는 것이 가능할 것이다. 둘째, 다양한 계층 구조를 갖는 경우에 대한 연구가 필요하다. 본 논문에서는 4NewsGroup 데이터의 경우 상위 수준의 범주가 4개인 경우를 고려하였다.
수자원 분야 기후변화 적응기술의 구조는 CTCN(Climate Technology Centre and Network)에서 정의하는 기술 계층 구조를 이용하되, 문제를 단순화하기 위하여 가장 대표적인 두 가지 기술인 Rainwater Harvesting(우수 집수)과 Desalination(해수 담수화)만을 고려하였다[2]. 본 연구에서 제안한 계층적 분류 방법과 유사도에 의한 성능 변화를 검증하기 위하여 분류 대상 범주가 다양하고 분류 목적으로 많이 활용되는 데이터를 추가적으로 고려 하였다. 20NewsGroup 데이터는 다양한 범주의 뉴스 기사를 포함하는 공개 데이터이며, 텍스트 문서 분류 연구에 광범위하게 사용되고 있다.
반대로 수자원 분야 기후변화 적응기술 데이터의 경우 모든 범주에서 상위 수준의 유사도가 하위 수준의 유사도 보다 작은 유형으로 확인되었다. 앞서 설명한 바와 같이 문서 간 유사도가 높은 경우에는 분류 성능이 떨어지는 결과를 기대할 수 있다, 따라서 상위 수준에서 유사 도가 상대적으로 높은 경우 오분류가 많아지고 이를 하위 수준에서 재분류할 수 없으므로 계층적 분류 방식의 성능이 저하되는 Blocking 문제가 발생할 것으로 예상된다.
본 논문은 범주 간 유사도와 계층적/비계층적 분류 방법의 관계를 분석한 의의를 갖지만 다음과 같은 몇 가지 추가 연구가 필요하다. 첫째, 계층적 분류를 이용함으로써 기대되는 Blocking 문제의 개선 효과를 정량화하여 검토 하는 것이 필요하다. 본 연구에서 제시하고 있는 계층적 분류 방법에 의한 분류 성능 개선 효과를 이용하여 간접적으로 Blocking 문제의 방지 효과를 확인할 수 있다.
본 연구에서 제시하고 있는 계층적 분류 방법에 의한 분류 성능 개선 효과를 이용하여 간접적으로 Blocking 문제의 방지 효과를 확인할 수 있다. 하지만 이를 보다 정량적으로 검토함으로써 계층적 분류 방법의 개선 방안을 고려하는 것이 가능할 것이다. 둘째, 다양한 계층 구조를 갖는 경우에 대한 연구가 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	비정형 텍스트 문서 분류는 무엇을 의미하는가?	비정형 텍스트 문서 분류(unstructured text document classification)는 텍스트 문서가 어떤 종류의 범주(class)에 속하는지를 구분하는 작업을 의미한다. 최근 사회적으로 대용량 데이터의 증가로 그에 대한 분석이 다양한 방면에서 사용되고 있다[4].
	본 논문에서 텍스트 문서 분류를 위해 어떤 분류기를 사용하였는가?	데이터의 전처리 과정에서는 문서 집합으로부터 단어들을 추출하기 위해 TF-IDF(Term Frequency-Inverse Document Frequency)와 같은 빈출 단어 기반의 방법을 이용하여 분류를 위한 Feature 집합을 구성한다[18]. 분류기는 텍스트 문서 분류와 관련한 선행연구에서 광범위하게 사용하고 있는 SVM을 사용하였다.
	SVM이 다중 분류 문제에서 많이 이용되는 이유는 무엇인가?	최근 SVM이 다중 분류 문제에서 많이 이용되는 이유는 다음과 같이 3가지로 요약할 수 있다. 첫째, 확실한 이론적 근거에 기반을 두는 기법으로 결과를 해석하는 것이 용이하다[5]. 둘째, SVM을 사용하여 도출한 결과가 인공신경망을 통해 도출한 결과 성능과 유사하거나 그 이상으로 개선된 결과를 도출한다. 마지막으로 적은 학습 데이터로 짧은 시간 내에 분류 결과를 도출할 수 있으며, 불균형 데이터 집합에 대해서 우수한 성능을 보인다[21].

참고문헌 (35)

Agnihotri, D., Verma, K., and Tripathi, P., "Variable global feature selection scheme for automatic classification of text documents," Expert Systems with Applications, Vol. 81, pp. 268-281, 2017.

상세보기
Bertule, M., Appelquist, L. R., Spensley, J., Traerup, S. L. M., and Naswa, P., "Climate change adaptation technologies for water: A practitioner's guide to adaptation technologies for increased water sector resilience," CTCN publications, Copenhagen, Denmark, 2018.
Beyan, C. and Fisher, R., "Classifying imbalanced data sets using similarity based hierarchical decomposition," Pattern Recognition, Vol. 48, pp. 1653-1672, 2015.

상세보기
Byun, J. H., "Current Status and Perspectives of Fintech Innovation," Journal of New Industry and Business, Vol. 26, No. 2, pp. 35-48, 2018
Chen, Y., Craword, M. M., and Ghosh, J., "Integrating support vector machines in a hierarchical output space decomposition framework," IEEE International Geoscience and Remote Sensing Symposium, Vol. 2, pp. 949-952, 2004.
Cristianini, N. and Shawe-Taylor, J., "An introduction to support vector machines and other kernel-based leartning methods", Cambridge University Press, MA, 2000.
Du, Y., Liu, J., Ke, W., and Gong, X., "Hierarchy construction and text classification based on the relaxation strategy and least information model," Expert Systems with Applications, Vol. 100, pp. 157-164, 2018.

상세보기
Duan, K. B. and Keerthi, S. S., "Which is the best multiclass SVM method? An empirical study," International Workshop on Multiple Classifier Systems, Vol. 3531, pp. 278-285, 2005.
Gargiulo, F., Silvestri, S., Ciampi, M., and De Pietro, G., "Deep neural network for hierarchical extreme multi-label text classification," Applied Soft Computing, Vol. 79, pp. 125-138, 2019.

상세보기
Kang, S., Cho, S., and Kang, P., "Constructing a multi-class classier using one-against-one approach with different binary classifiers," Neurocomputing, Vol. 149, pp. 677-682, 2015.

상세보기
Kim, P. J. and Lee, J. Y., "An experimental study on the performance improvement of automatic classification for the articles of korean journals based on controlled keywords in international database," Journal of the Korean Society for Library and Information Science, Vol. 48, No. 3, pp. 491-510, 2014

원문보기 상세보기
Kim, P. J., "An analytical study on automatic classification of domestic journal articles based on machine learning," Journal of the Korean Society for information Management, Vol. 35, No. 2, pp. 37-62, 2018.
Kim, Y. S. and Lee, B. Y., "Multi-class support vector machines model based clustering for hierarchical document categorization in big data environment," The Journal of the Korea Contents Association, Vol. 17, pp. 600-608, 2017.
Kowsari, K., Jafari Meimandi, K., Heidarysafa, M., Mendu, S., Barnes, L., and Brown, D,, "Text classification algorithms: A survey," Information, Vol. 10, No. 4, 2019.
Lee, J. H., Yi, J. S., and Son, J. W., "Unstructured construction data analytics using R programming: Focused on overseas construction adjudication cases", Journal of the Architectural Institute of Korea Structure & Construction, Vol. 32, No. 5, pp. 37-44, 2016.
Lee, J. S. and Kwon, J. G., "A hybrid SVM classifier for imbalanced data sets," Journal of Intelligence and Information Systems, Vol. 19, pp. 125-140, 2013.
Lee, S. K. and Kim, K., "Academic Conference Categorization According to Subjects Using Topical Information Extraction from Conference Websites," The Journal of Society for e-Business Studies, Vol. 22, No. 2, pp. 61-77, 2017.

원문보기 상세보기
Lee, S. J. and Kim, H. J., "Keyword extraction from news corpus using modified TF-IDF," The Journal of Society for e-Business Studies, Vol. 14, No. 4, pp, 59-73, 2009.
Lorena, A. C., De Carvalho, A. C., and Gama, J. M. P., "A review on the combination of binary classifiers in multiclass problems," Artificial Intelligence Review, Vol. 30, No. 19, 2008.
Madzarov, G., Gjorgjevikj, D., and Chorbev, I., "A multi-class SVM classifier utilizing binary decision tree," Informatica, Vol. 33, 2009.
Min, J. H. and Lee, Y. C., "Bankruptcy prediction using support vector machine with optimal choice of kernel function parameters," Expert Systems with Applications, Vol. 28, pp. 603-614, 2005.

상세보기
Naik, A. and Rangwala, H., "Improving large-scale hierarchical classification by rewiring: A data-driven filter based approach," Journal of Intelligent Information Systems, Vol. 52, pp. 141-164, 2019

상세보기
Park, J. H. and Kim, J. S., "A text classification system for hierarchical categories," The Korean Institute of Information Scientists and Engineers, Vol. 27, No. 2, pp. 128-130, 2000.
Silla, C. N. and Freitas, A. A., "A survey of hierarchical classification across different application domains," Data Mining and Knowledge Discovery, Vol. 22, pp. 31-72, 2011

상세보기
Silva-Palacios, D., Ferri, C., and Ramirez-Quintana, M. J., "Probabilistic class hierarchies for multiclass classification," Journal of Computational Science, Vol. 26, pp. 254-263, 2018

상세보기
Sun, A., Lim, E. P., Ng, W. K., and Srivastava, J., "Blocking reduction strategies in hierarchical text classification," IEEE Transactions on Knowledge and Data Engineering, Vol. 16, pp. 1305-1308, 2004

상세보기
Tegegnie, A. K., Tarekegn, A. N., and Alemu, T. A., "A comparative study of flat and hierarchical classification for amharic news text using SVM," Information Engineering and Electronic Business, Vol. 3, pp. 36-42, 2017.
UNEP, "Technologies for climate change mitigation," UNEP, 2011.
Vapnik, V., "Estimation of Dependences Based on Empirical Data." Nauka, Moscow, 1979.
Vapnik, V., "The nature of statistical learning theory", Chapter 5. Springer-Verlag, New York, 1995.
Williams, T. P. and Gong, J., "Predicting construction cost overruns using text mining, numericaldata and ensemble classifiers," Automation in Construction, Vol. 43, pp. 23-29, 2014

상세보기
Yoon, Y. W. Lee, C. K., and Lee, G. B., "Hierarchical text categorization using support vector machine," Annual Conference on Human and Language Technology, pp. 7-13, 2013.
Zhang, L., Shah, S. K., and Kakadiaris, I. A., "Hierarchical multi-label classification using fully associative ensemble learning," Pattern Recognition, Vol. 70, pp. 89-103, 2017.

상세보기
Zhao, Z., Wang, X., and Wang, T., "A novel measurement data classification algorithm based on SVM for tracking closely spaced targets," IEEE Transactions on Instrumentation and Measurement, Vol. 68, No. 4, pp. 1089-1100, 2019.

상세보기
Zheng, J., Guo, Y., Feng, C., and Chen., H., "A hierarchical neural network based document representation approach for text classification," Mathematical Problems in Engineering, Vol. 2018, 2018.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증