텍스트 마이닝의 기반이 되는 자연어 처리는 언어의 종류에 따라 처리 방법이 다를 수 있다. 특히 타 언어에 비해 비교적 표현의 자유도가 높은 한글은 어미의 활용에 따라서 여러 가지 단어의 형태가 존재한다. 이처럼 다양한 형태로 굴절하는 단어에서 변화하지 않는 부분을 어간이라고 하며, 효과적인 텍스트 마이닝을 위해선 어간을 추출하여 다양한 형태의 단어들을 단일화하는 과정이 필수적이다. 따라서 본 논문에서는 한글문서의 효과적인 텍스트 마이닝을 위하여 한글 어간 추출 알고리즘을 제시한다.
텍스트 마이닝의 기반이 되는 자연어 처리는 언어의 종류에 따라 처리 방법이 다를 수 있다. 특히 타 언어에 비해 비교적 표현의 자유도가 높은 한글은 어미의 활용에 따라서 여러 가지 단어의 형태가 존재한다. 이처럼 다양한 형태로 굴절하는 단어에서 변화하지 않는 부분을 어간이라고 하며, 효과적인 텍스트 마이닝을 위해선 어간을 추출하여 다양한 형태의 단어들을 단일화하는 과정이 필수적이다. 따라서 본 논문에서는 한글문서의 효과적인 텍스트 마이닝을 위하여 한글 어간 추출 알고리즘을 제시한다.
Natural language processing, which is the basis of text mining, differs depending on the type of language. Especially, Hangeul, which has relatively high freedom of expression compared to other languages, has various forms of words depending on the use of ending. The part that does not change in the...
Natural language processing, which is the basis of text mining, differs depending on the type of language. Especially, Hangeul, which has relatively high freedom of expression compared to other languages, has various forms of words depending on the use of ending. The part that does not change in these various forms of words is called the stem. For effective text mining, it is essential to extract words and unify various types of words. Therefore, this paper proposes an extraction algorithm for Hangul word for effective text mining of Hangul document.
Natural language processing, which is the basis of text mining, differs depending on the type of language. Especially, Hangeul, which has relatively high freedom of expression compared to other languages, has various forms of words depending on the use of ending. The part that does not change in these various forms of words is called the stem. For effective text mining, it is essential to extract words and unify various types of words. Therefore, this paper proposes an extraction algorithm for Hangul word for effective text mining of Hangul document.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서 본 논문에서는 한글 텍스트 마이닝을 위한 스테밍 알고리즘을 제시한다. 또한 추출한 어간의 데이터베이스화와 문서화의 두 가지 방법을 비교하여 최적의 방법을 연구한다.
따라서 본 논문에서는 한글 텍스트 마이닝을 위한 스테밍 알고리즘을 제시한다. 또한 추출한 어간의 데이터베이스화와 문서화의 두 가지 방법을 비교하여 최적의 방법을 연구한다.
본 논문에서는 올바른 어간 추출을 위하여 국립국어원의 통합자료실에서 제공하는 말뭉치 파일 참조하였다. 말뭉치 파일을 토대로 어절에 대한 어간 정보를 추출하고, 추출한 정보를 다시 데이터베이스화 하는 과정을 거치게 된다.
본 논문에서는 자연어 처리 효과를 높이기 위한 한글 스테밍 알고리즘을 설계하고 구현하였다.
제안 방법
데이터 마이닝은 다루는 데이터의 대상에 따라 여러 종류로 나뉘는데 본 논문에서는 문자를 대상으로 하는 “텍스트 마이닝”에 대해서 다룬다.
mysql로 작성된 데이터베이스와 달리 텍스트 파일로 작성된 데이터베이스를 구축해서 실행 속도 비교를 수행했다. 텍스트 파일 데이터베이스의 구축방법은 2.2와 동일하며 쿼리문으로 데이터베이스에 INSERT하는 대신 스트림을 통해 어절과 어간 한 행을 출력하는 방식으로 작성하였다. A4용지 한 장 분량의 실행 속도는 둘 다 비슷한 속도를 보였으나, A4 용지 100장 분량의 문서로 테스트해본 결과, mysql은 약 7초 가량의 속도를 보인데 비해 텍스트 파일 데이터베이스는 0.
대상 데이터
말뭉치 데이터베이스는 원시 말뭉치 파일과 어간 추출에 필요한 형태분석 말뭉치 파일로 구성되어 있다. 형태분석 말뭉치는 특정한 문장에 대해서 공백을 기준으로 분리한 어절들에 대한 형태분석 정보를 나열하고 있으며, 그 정보에는 어절에 대한 어간정보를 포함하고 있다.
형태분석 말뭉치 파일은 각각 약 500~30000개의 형태분석 정보를 담은 행을 가지고 있으며, 데이터베이스 구축을 위해서 200개의 말뭉치 파일을 사용하였다. 파일에서 가져올 정보는 어절과 품사를 제거한 어간이므로 필요한 정보만 가져오기 위한 전처리 과정을 거친다.
데이터처리
mysql로 작성된 데이터베이스와 달리 텍스트 파일로 작성된 데이터베이스를 구축해서 실행 속도 비교를 수행했다. 텍스트 파일 데이터베이스의 구축방법은 2.
성능/효과
2와 동일하며 쿼리문으로 데이터베이스에 INSERT하는 대신 스트림을 통해 어절과 어간 한 행을 출력하는 방식으로 작성하였다. A4용지 한 장 분량의 실행 속도는 둘 다 비슷한 속도를 보였으나, A4 용지 100장 분량의 문서로 테스트해본 결과, mysql은 약 7초 가량의 속도를 보인데 비해 텍스트 파일 데이터베이스는 0.7초의 약 10배 가량 빠른 속도를 보였다.
또한 증가하는 문서 수에 대한 어간삽입확률 그래프를 통해 성능에 관한 유의미한 결과를 도출해 낼 수 있었다.
200개 문서를 20개씩 묶어서 문서 20개당 INSERT되는 횟수를 퍼센테이지로 구했는데, x축은 20개씩 묶은 문서의 개수이며, y축은 INSERT 확률이다. 본연구에서는 20개의 문서까지는 약 25%의 INSERT 확률을 보였으나 문서 수가 180개가 넘어가면서 부터는 확률의 변화가 미미한 것을 확인 할 수 있었다. 이는 180개의 문서를 데이터베이스화 했을 시, 약 10만개의 단어가 생성되었고 이후에는 데이터베이스에 추가되는 단어가 미미해 성능의 변화가 크지 않다는 것을 보여주고 있다.
후속연구
문제점으로는 일반적인 단어들에 대해서는 어느 정도 적절한 추출 결과를 보였으나 고유명사나 일반적으로 자주 쓰이지 않는 단어에 대해서는 취약점을 보였으므로 차후 개선해 나가야 할 것으로 보인다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.