$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

문서 유사도를 통한 관련 문서 분류 시스템 연구

Related Documents Classification System by Similarity between Documents

방송공학회논문지 = Journal of broadcast engineering, v.24 no.1, 2019년, pp.77 - 86  

정지수 (세종대학교 소프트웨어융합학과) ,  지민규 (세종대학교 소프트웨어융합학과) ,  고명현 (세종대학교 디지털콘텐츠학과) ,  김학동 (세종대학교 디지털콘텐츠학과) ,  임헌영 (세종대학교 디지털콘텐츠학과) ,  이유림 (세종대학교 인공지능언어공학과) ,  김원일 (세종대학교 소프트웨어학과)

초록
AI-Helper 아이콘AI-Helper

본 논문은 머신 러닝 기술을 이용하여 과거의 수집된 문서를 분석하고 이를 바탕으로 문서를 분류하는 방법을 제안한다. 특정 도메인과 관련된 키워드를 기반으로 데이터를 수집하고, 특수문자와 같은 불용어를 제거한다. 그리고 한글 형태소 분석기를 사용하여 수집한 문서의 각 단어에 명사, 동사, 형용사와 같은 품사를 태깅한다. 문서를 벡터로 변환하는 Doc2Vec 모델을 이용해 문서를 임베딩한다. 임베딩 모델을 통하여 문서 간 유사도를 측정하고 머신 러닝 기술을 이용하여 문서 분류기를 학습한다. 학습한 분류 모델 간 성능을 비교하였다. 실험 결과, 서포트 벡터 머신의 성능이 가장 우수했으며 F1 점수는 0.83이 도출되었다.

Abstract AI-Helper 아이콘AI-Helper

This paper proposes using machine-learning technology to analyze and classify historical collected documents based on them. Data is collected based on keywords associated with a specific domain and the non-conceptuals such as special characters are removed. Then, tag each word of the document collec...

주제어

표/그림 (9)

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 향후에는 본 연구 결과를 기반으로 제품에 관련된 내용과 위해 정보의 포함 여부에 대해 라벨링하여 진행한 후 학습 데이터를 만든다. 그 후, 다양한 분야에 적용할 수 있는 다중 분류 모델 및 데이터의 계층적 표현을 위한 분류 모델을 연구한다.
  • 문서 분류에 있어 TF-IDF는 문서의 내용을 대표하는 주제어를 추출하는데 유용하게 사용되어 왔지만 빈도 정보에 의한 방법은 한계가 있다. 따라서 본 논문은 빈도 정보뿐만 아니라 단어의 의미를 알 수 있는 임베딩 모델에 주목하였다. 문서의 내용에 대한 유사도를 측정하는 임베딩 모델을 학습한 후, 분류 모델의 비교 분석을 하여 성능향상에 기여한다.
  • 본 연구는 머신 러닝 기술을 이용하여 과거의 수집된 문서를 분석하고 이를 바탕으로 문서 분류 모델을 제안한다. 연구를 위해 도메인과 관련된 키워드를 기반으로 데이터를 수집하고, 특수문자와 같은 불용어를 제거한다.
  • 본 연구는 문서 유사도를 통한 임베딩 모델을 토대로 분류기에 주로 사용되는 4개의 머신 러닝 알고리즘을 비교 분석한다. 웹 크롤러를 통해서 정해진 카테고리내의 분류 문서들이 아닌, 수집할 특정 도메인과 관련된 키워드를 필터링하여 과거 문서들을 수집한다.
  • 텍스트 데이터를 정형화하는 방법으로 벡터값으로 표현하는 방법이 일반적이며, 분류의 성능을 높이기 위해서 연구 과정이 진행되고 있다. 본 연구에서는 단어를 벡터로 표현하여 단어간의 거리로 단어의 의미와 유사도를 알 수 있는 단어 임베딩에 대해 주목하였다. 단어만이 아닌 문장, 단락, 문서와 같은 길이의 텍스트를 벡터로 표현하고, 문서 간의 유사도를 측정할 수 있는 문서 임베딩 모델에 주목하였고, 해당 모델을 통한 분류 과정이 미흡하다 판단하여 직접 데이터 수집을 위한 웹 크롤러를 설계하고 데이터의 일부를 분류 목적에 따른 전처리 과정을 진행하였다.
  • 본 연구에서는 데이터 수집을 위해 관련 키워드를 필터링하여 특정 도메인에 관한 문서를 수집하기 위한 웹 크롤러를 만든다. 수집한 일부 데이터를 학습데이터로 사용한다.
  • 기존 분류기 머신 러닝 기술을 사용하여 분류 모델 평가를 나타낸다. 실험한 결과로 비교 분석하고, 개선사항 및 향후 연구 방향에 대해 논의한다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
텍스트 마이닝이란? 텍스트 마이닝(text mining)은 비구조적인 텍스트 문서로부터 정보를 찾아 지식을 발견하는 것으로 텍스트 분류는 텍스트 마이닝 연구 분야의 부분이다[2][3]  목적에 따라 정보를 추출하기 위해서는 분석을 통해 분류를 할 필요가 있다. 문서 분류를 위해서는 텍스트 데이터를 정형 데이터로 변환해야 하고 이러한 연구에는 통계적 정보 기반, 신경망 기반 방법 등이 존재한다.
어떤 모델을 사용하여 문서를 임베딩하는가? 그리고 한글 형태소 분석기를 사용하여 수집한 문서의 각 단어에 명사, 동사, 형용사와 같은 품사를 태깅한다. 문서를 벡터로 변환하는 Doc2Vec 모델을 이용해 문서를 임베딩한다. 임베딩 모델을 통하여 문서 간 유사도를 측정하고 머신 러닝 기술을 이용하여 문서 분류기를 학습한다.
정형 데이터로 변환하고 문서를 분류하는 과정에서 텍스트 데이터를 정형화 하는 방법은 무엇인가? 정형 데이터로 변환하고 문서를 분류하는 과정에서 다양한 방법이 제시된다. 텍스트 데이터를 정형화하는 방법으로 벡터값으로 표현하는 방법이 일반적이며, 분류의 성능을 높이기 위해서 연구 과정이 진행되고 있다. 본 연구에서는 단어를 벡터로 표현하여 단어간의 거리로 단어의 의미와 유사도를 알 수 있는 단어 임베딩에 대해 주목하였다.
질의응답 정보가 도움이 되었나요?

저자의 다른 논문 :

LOADING...

관련 콘텐츠

오픈액세스(OA) 유형

GOLD

오픈액세스 학술지에 출판된 논문

섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트