최소 단어 이상 선택하여야 합니다.
최대 10 단어까지만 선택 가능합니다.
다음과 같은 기능을 한번의 로그인으로 사용 할 수 있습니다.
NTIS 바로가기한국정보처리학회 2017년도 춘계학술발표대회, 2017 Apr. 27, 2017년, pp.869 - 872
이정빈 (고려대학교 컴퓨터학과) , 인호 (고려대학교 컴퓨터학과)
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
핵심어 | 질문 | 논문에서 추출한 답변 |
---|---|---|
불용어 제거 과정의 기능은? | 정보 검색과 텍스트 분석을 위해서 수집되는 비정형 데이터인 자연어는 어휘나 문법적으로 표현의 형태가 매우 다양하고, 복잡하기 때문에 문장을 자르는 토큰화(Tokenization), 형태소 분석이나 불용어 제거와 같이 다양한 텍스트 마이닝 기법을 이용해 정형 데이터로 정제한다. 이 중, 불용어 제거 과정은 텍스트 분석에 있어 가치가 없거나, 불필요한 어휘들을 제거함으로써 분석 모델의 품질을 향상시킨다. 일반적으로 관사(a, an, the), 전치사(of, in for, through), 대명사(it, their) 등과 같이 자주 사용되는 어휘나 문장에서 큰 역할을 하지 않는 단어들이 불용어로써 제거된다. | |
불용어 자동 생성 기법은 어떤 기능을 가지고 있는가? | 따라서 본 논문에서는 이러한 표준 불용어 리스트의 문제점들을 해결하기 위해 점별 상호정보량(PMI: Pointwise Mutual Information)과 토픽 모델링 결과를 활용한 불용어 자동 생성 기법을 제안한다. 본 기법은 표준 불용어와 달리 비교적 최근에 사용되고, 모델링 대상과 관련된 도메인의 문서에서 계산된 점별 상호정보량을 활용하여 반복적인 토픽 모델링 과정에서 주제와 관련성이 떨어지는 불용어를 자동 생성해 준다. 실험 결과, 대표적인 표준 불용어 리스트인 Fox stopword에서 제공하는 단어 개수(421개)의 약 7%밖에 안 되는 30개의 자동 생성된 단어만으로도 8. | |
불용어 제거 과정에서 제거되는 것으로는 어떤 것이 있는가? | 이 중, 불용어 제거 과정은 텍스트 분석에 있어 가치가 없거나, 불필요한 어휘들을 제거함으로써 분석 모델의 품질을 향상시킨다. 일반적으로 관사(a, an, the), 전치사(of, in for, through), 대명사(it, their) 등과 같이 자주 사용되는 어휘나 문장에서 큰 역할을 하지 않는 단어들이 불용어로써 제거된다. |
*원문 PDF 파일 및 링크정보가 존재하지 않을 경우 KISTI DDS 시스템에서 제공하는 원문복사서비스를 사용할 수 있습니다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.