주제 분리는 일련의 여러 주제로 이루어진 문서를 하나의 통일된 주제를 갖는 문단 등의 단위 문서로 분리하는 작업을 말한다. 주제 분리는 문서 요약, 문서 분류 등의 자연어 처리 과업을 수행하는 데에 앞서 전처리 과정으로서 큰 유용성을 갖는 작업으로, 본 논문은 사전 학습된 한국어 BERT에 기반하여 뉴스 기사 데이터를 분리하는 방법론을 제안한다. 특히, 제안된 모델은 요약 모델 구조를 차용함으로써 기존 주제 분리 연구에 비해 더욱 넓은 범위의 의미적 관계를 포착할 수 있다는 장점을 갖는다. 본 연구에서 제안하는 방법론에 대해 대용량 한국어 기사 ...
주제 분리는 일련의 여러 주제로 이루어진 문서를 하나의 통일된 주제를 갖는 문단 등의 단위 문서로 분리하는 작업을 말한다. 주제 분리는 문서 요약, 문서 분류 등의 자연어 처리 과업을 수행하는 데에 앞서 전처리 과정으로서 큰 유용성을 갖는 작업으로, 본 논문은 사전 학습된 한국어 BERT에 기반하여 뉴스 기사 데이터를 분리하는 방법론을 제안한다. 특히, 제안된 모델은 요약 모델 구조를 차용함으로써 기존 주제 분리 연구에 비해 더욱 넓은 범위의 의미적 관계를 포착할 수 있다는 장점을 갖는다. 본 연구에서 제안하는 방법론에 대해 대용량 한국어 기사 데이터셋을 이용하여 학습 및 성능 평가를 수행한 결과, 기존 주제 분리 방법론 대비 높은 성능을 보임을 확인하였다. 또한, 제안되는 모델이 실제 뉴스 영상 요약 과업에 활용될 수 있음을 보임으로써, 한국어 주제 분리 모델의 응용 서비스 구현 가능성 또한 확인하였다.
주제 분리는 일련의 여러 주제로 이루어진 문서를 하나의 통일된 주제를 갖는 문단 등의 단위 문서로 분리하는 작업을 말한다. 주제 분리는 문서 요약, 문서 분류 등의 자연어 처리 과업을 수행하는 데에 앞서 전처리 과정으로서 큰 유용성을 갖는 작업으로, 본 논문은 사전 학습된 한국어 BERT에 기반하여 뉴스 기사 데이터를 분리하는 방법론을 제안한다. 특히, 제안된 모델은 요약 모델 구조를 차용함으로써 기존 주제 분리 연구에 비해 더욱 넓은 범위의 의미적 관계를 포착할 수 있다는 장점을 갖는다. 본 연구에서 제안하는 방법론에 대해 대용량 한국어 기사 데이터셋을 이용하여 학습 및 성능 평가를 수행한 결과, 기존 주제 분리 방법론 대비 높은 성능을 보임을 확인하였다. 또한, 제안되는 모델이 실제 뉴스 영상 요약 과업에 활용될 수 있음을 보임으로써, 한국어 주제 분리 모델의 응용 서비스 구현 가능성 또한 확인하였다.
Topic segmentation refers to the work of separating a document consisting of several topics into unit documents, such as paragraphs, with one single topic. Topic segmentation has been considered as one of main preprocessing step prior to performing natural language processing tasks, such as document...
Topic segmentation refers to the work of separating a document consisting of several topics into unit documents, such as paragraphs, with one single topic. Topic segmentation has been considered as one of main preprocessing step prior to performing natural language processing tasks, such as document summary or document classification. This paper proposes a Korean BERT-based news article segmentation method aiming at separating a single news article, in which multiple subjects exist, into news segments, each of which contains a single subject. The proposed model has the advantage of being able to capture a wider range of semantic relationships compared to existing topic segmentation studies by borrowing a structure proposed for document summarization. Experimental results on a Korean news article dataset show that the proposed method outperform the benchmark models for topic segmentation. In addition, we also show that the proposed method can be used for practical news clip summarization task, supporting the possibility of implementing the application service based on Korean topic segmentation model.
Topic segmentation refers to the work of separating a document consisting of several topics into unit documents, such as paragraphs, with one single topic. Topic segmentation has been considered as one of main preprocessing step prior to performing natural language processing tasks, such as document summary or document classification. This paper proposes a Korean BERT-based news article segmentation method aiming at separating a single news article, in which multiple subjects exist, into news segments, each of which contains a single subject. The proposed model has the advantage of being able to capture a wider range of semantic relationships compared to existing topic segmentation studies by borrowing a structure proposed for document summarization. Experimental results on a Korean news article dataset show that the proposed method outperform the benchmark models for topic segmentation. In addition, we also show that the proposed method can be used for practical news clip summarization task, supporting the possibility of implementing the application service based on Korean topic segmentation model.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.