$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

메모리 기반의 기계 학습을 이용한 한국어 문장 경계 인식
Korean Sentence Boundary Detection Using Memory-based Machine Learning 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.4 no.4, 2004년, pp.133 - 139  

한군희 (천안대학교 정보통신학부) ,  임희석 (한신대학교 소프트웨어학과)

초록
AI-Helper 아이콘AI-Helper

본 논문은 기계 학습 기법 중에서 메모리 기반 학습을 사용하여 범용의 학습 가능한 한국어 문장 경계 인식기를 제안한다. 제안한 방법은 메모리 기반 학습 알고리즘 중 최근린 이웃(kNN) 알고리즘을 사용하였으며, 이웃들을 이용한 문장 경계 결정을 위한 스코어 값 계산을 위한 다양한 가중치 방법을 적용하여 이들을 비교 분석하였다 문장 경계 구분을 위한 자질로는 특정 언어나 장르에 제한적이지 않고 범용으로 적용될 수 있는 자질만을 사용하였다. 성능 실험을 위하여 ETRI 코퍼스와 KAIST 코퍼스를 사용하였으며, 성능 척도로는 정확도와 재현율이 사용되었다. 실험 결과 제안한 방법은 적은 학습 코퍼스만으로도 $98.82\%$의 문장 정확률$99.09\%$의 문장 재현율을 보였다.

Abstract AI-Helper 아이콘AI-Helper

This paper proposes a Korean sentence boundary detection system which employs k-nearest neighbor algorithm. We proposed three scoring functions to classify sentence boundary and performed comparative analysis. We uses domain independent linguistic features in order to make a general and robust syste...

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 향후 연구로는 다양한 기계학습 기법을 적용하고, 보다 다양한 장르에서 실험 해 보고자 한다. 또한 구두점이 생략된 경우 등의 문제도 해결할 수 있는 새로운 자질들도 고려하고자 한다.
  • 본 논문에서는 기계 학습을 이용한 범용의 한국어 문 장 경계를 인식 방법을 제안하였다. 기계학습 방법으로는 입력값과 유사한 k개의 데이터를 이용하는 kNN 알고리즘을 사용하였고, 문장 경계 인식을 위한 제안된 방법은 적용의 범위가 넓고 특정 영역에 종속적이지 않는 방법 개발을 위하여 특정 언어 또는 장르에 독립적인 자질 정보를 사용하였다.
  • 그러나 구문 분석과 의미 분석 등 전통적인 한국어 정보처리뿐만 최근 웹로봇에 의한 정보 자동 수집, 정보검색, 문서 자동 분류, 그리고 스팸 메일 필터링과 같은 비정형화된 문서 데이터의 처리를 위해서도 한국어 문장 경계 인식에 관한 연구는 매우 필요한 실정이다. 이에 본 논문은 메모리 기반의 학습 방법을 이용한 한국어 문장 경계 인식 방법을 제 안한다.

가설 설정

  • 각 구두점마다의 특징이 다르다는 가정에 기반한 것이다. 후보 구두점은가지이다.
  • 전통 문법에서는 ”문장이란 비교적 완전하고 독립된 의사 전달의 한 단위다”라고 정의한다. 품사 태거나 파서와 같은 대부분의 자연어처리 관련 도구는 기본 처리 단위로서 문장을 사용하며, 문서가 이미 문장 구분이 되어 있다고 가정한다.
본문요약 정보가 도움이 되었나요?

관련 콘텐츠

섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로