초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

지식검색은 방대한 지식정보 데이터를 바탕으로 사용자의 질문에 대한 답변을 검색하는 시스템이다. 이러한 사용자 참여로 구축된 지식정보는 잘못된 답변으로 인한 신뢰성 부족과 중복 답변 등의 문제점이 있어, 원하는 답변을 찾기 위해서는 지식검색에서 다수의 답변을 읽고 그 답변의 진위여부를 판단해야만 한다. 만일 정답에 포함되는 단어나 어구가 답변들에서 나타내는 통계적 특성을 활용하여 사용자가 원하는 답변을 제시할 수 있다면, 지식검색의 효용성과 신뢰성이 크게 향상될 수 있다. 본 논문에서는 지식정보 데이터 분석을 통해 사용자의 질문의 유형을 단어, 목록, 도표, 글의 4가지 유형으로 분류하고, 각 분류에 대한 사용자 질의어의 답변을 요약하는 방식을 제안한다. 단어, 목록, 글 유형은 TF와 IDF, 어휘 간의 거리 정보를 통해서 중요 단어를 추출하여 각 유형에 적합한 형식의 답변을 사용자에게 제시한다. 도표형은 답변들에서 사용자의 의견 정보를 추출하여 의견 통계를 도표로서 제시한다.

지식검색은 방대한 지식정보 데이터를 바탕으로 사용자의 질문에 대한 답변을 검색하는 시스템이다. 이러한 사용자 참여로 구축된 지식정보는 잘못된 답변으로 인한 신뢰성 부족과 중복 답변 등의 문제점이 있어, 원하는 답변을 찾기 위해서는 지식검색에서 다수의 답변을 읽고 그 답변의 진위여부를 판단해야만 한다. 만일 정답에 포함되는 단어나 어구가 답변들에서 나타내는 통계적 특성을 활용하여 사용자가 원하는 답변을 제시할 수 있다면, 지식검색의 효용성과 신뢰성이 크게 향상될 수 있다. 본 논문에서는 지식정보 데이터 분석을 통해 사용자의 질문의 유형을 단어, 목록, 도표, 글의 4가지 유형으로 분류하고, 각 분류에 대한 사용자 질의어의 답변을 요약하는 방식을 제안한다. 단어, 목록, 글 유형은 TF와 IDF, 어휘 간의 거리 정보를 통해서 중요 단어를 추출하여 각 유형에 적합한 형식의 답변을 사용자에게 제시한다. 도표형은 답변들에서 사용자의 의견 정보를 추출하여 의견 통계를 도표로서 제시한다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 본 논문에서는 위와 같은 문제점을 해결하기 위해서 지식검색에 적용 가능한 답변 추천 시스템을 제안한다. 이 시스템에서는 중복되는 답변들을 분석하여 사용자의 질문에 적합한 답변을 추천함으로써, 빠른 시간 내에 원하는 답변을 제공하고자 한다.
• 결과에서는 답변에 포함된 단어 중가장 빈도가 높은 단어가 정답 단어인 경우가 34%, 빈도상위 5위까지에 정답 단어가 포함된 경우가 56%로 분석되어, 중복 답변에 의한 단어 빈도수는 정답답변을 추출하기 위한 자질로 적합한 것으로 나타났다. 본 논문에서는 중복된 답변들의 빈도수를 활용하여 사용자의 질문에 대한 답변을 자동으로 추천하고자 한다.
• 본 논문에서는 지식검색의 효용성을 높이고 신뢰성을 증진시키기 위해 기존 지식검색의 문제점을 보완하여 질문의 유형을 단어, 목록, 도표, 글 4가지 유형으로 분류하고 각 유형에 적합한 추천 답변을 제시하는 방법을 제안하였다. 각 유형은 형태소 분석과 동의어 등의 문제에 의해 오답을 발생하였고, 이에 대해 기존 자연언어 처리연구에서 나타난 다양한 방법들을 추가 적용시킨다면 정답률을 개선시킬 수 있을 것으로 보인다.
• ” 와 같이 질의어와 관련이 없는 의견들이 다수 발생한다. 본 논문에서는 질의어외의 단어에 대한 의견정보를 분류하기 위해 고유명사와 합성명사별 구간을 나누어 질의어의 고유명사 구간에서 발생하는 의견정보만 추출한다. 그림 5는 본 논문에서 사용하는 의견정보 추출에 대한 예이다.
• 대해서는 미비한 실정이다. 본 논문은 빈도를 활용한 답변 추천 연구[9]에 기반하여 지식 검색에 대한 답변추천 시스템을 제안한다.
• 그림 2의 구간 0, 즉 검색순위 최상위에서 정답답변이 출현하는 빈도가 56%로 가장 높았다. 본 논문의 답변 추천 시스템에서는 이 결과에 기반하여, 질의어의 정답답변의 출현 빈도가 25%이하인 30위이하의 답변들은 생략하여 검색속도 및 처리량을 줄이고자 한다.
• 본 논문의 질문에 대한 답변 추천 시스템에서 위의 4 가지 유형의 각 유형에 적합한 답변을 제시하여, 사용자에게 검색의 효용성 및 시각 편의성을 제공하고자 한다.
• 제안한다. 이 시스템에서는 중복되는 답변들을 분석하여 사용자의 질문에 적합한 답변을 추천함으로써, 빠른 시간 내에 원하는 답변을 제공하고자 한다. 이러한 지식검색 답변 추천 시스템을 제안하기 위해서 본 논문에서는 지식검색의 특성을 연구하고 이러한 특성들을 통해서 답변 추천 방법 을 제 시 한다.
• 이 시스템에서는 중복되는 답변들을 분석하여 사용자의 질문에 적합한 답변을 추천함으로써, 빠른 시간 내에 원하는 답변을 제공하고자 한다. 이러한 지식검색 답변 추천 시스템을 제안하기 위해서 본 논문에서는 지식검색의 특성을 연구하고 이러한 특성들을 통해서 답변 추천 방법 을 제 시 한다.

가설 설정

• 텍스트형 질의어들은 문서 수집부-문서 분석부-질문 분류부-답변 분석부-정답 추론부의 경로를 통해서 질문유형에 적합한 답변이 추천되고, 의견형 질의어들은 문서 수집부-문서 분석부-질문 분류부-의견 분석부-의견 추론부의 경로를 통해서 질의어에 대한 의견정보 통계를 추천한다. 글형, 목록형 등의 질의 분류는 사용자가 질의시에 수동으로 선택하는 것으로 가정한다.

제안 방법

• 그리고 각 유형에 적합한 답변 추천 시스템을 제안하고 그 방법을 제시한다. 본 시스템은 대표적인 지식검색 서비스인 네이버 지식iN을 기반으로 설계되었다.
• 또한, 답변의 신뢰도에 따라 가중치를 적용하기 위해 지식iN에서 제공하는 비텍스트적 정보인 답변의 채택과 답변자의 채택률, 답변자의등급들을 활용한다. 기존 지식iN의 2만개의 정답답변들과 2만개의 비정답답변을 WEKA의 RBNF Network를 사용하여 학습시키고, 각 답변의 신뢰도를 이진화하여 답변의신뢰 여부에 따라 각 답변에 존재하는 단어에 가중치를부여한다. 구해진 점수를 통해서 단어를 순위화하고, 가장 높은 점수를 가지는 단어를 중요단어로 채택한다.
• 단어형에 대한 300개의 질문에 대한 답변을 이용하여 평가를 수행하였다. 평가에서는 정답단어가 시스템의 상위 5개 후보군에 발생하면 정답단어를 추천했다고 보았다.
• 1 의 지식검색의 중복 질문-답변의 특성에 기반하여, 중요단어 추출에서는 연구[9]에서 제시한 단어형 답변 추천 방식의 단어의 군집 내 빈도수와 답변 내 빈도수, 타문헌의 빈도수, 그리고 질의어의 형태소들과의 근접도를통해 구해진 점수를 활용한다. 또한, 답변의 신뢰도에 따라 가중치를 적용하기 위해 지식iN에서 제공하는 비텍스트적 정보인 답변의 채택과 답변자의 채택률, 답변자의등급들을 활용한다. 기존 지식iN의 2만개의 정답답변들과 2만개의 비정답답변을 WEKA의 RBNF Network를 사용하여 학습시키고, 각 답변의 신뢰도를 이진화하여 답변의신뢰 여부에 따라 각 답변에 존재하는 단어에 가중치를부여한다.
• 문서 수집부는 지식iN의 검색을 통해 사용자의 질의어에 대한 질문-답변 문서를 수집한다. 문서 분석부는 수집된 질문-답변 문서의 형태소를 분석하고, 각 단어의빈도 정보를 추출하고 빠른 검색을 위한 색인을 구축한다.
• 본 논문에서는 각 유형별로 나뉘어진 총 500개의 질문에 대한 답변을 수동으로 수집하여 평가데이터를 구축하고 평가데이터의 답변과 시스템에서 추천한 답변을 비교 . 분석하였다.
• 유형이다. 본 논문에서는 답변의 의견정보를 추출하는 방법을 연구 [10]의 감성분석 방법을 기반으로 구현한다. [10]은 상품평에 대한 극성단어를 활용하여 상품평에서 나타나는 감성분석 방법을 제시하였다.
• 본 논문에서는 위의 연구에서 분석된 지식검색의 특성을 활용하여 지식검색의 질문들을 4가지 유형으로 분류한다. 그리고 각 유형에 적합한 답변 추천 시스템을 제안하고 그 방법을 제시한다.
• 본 논문에서는 유형 1을 단어형, 유형 2를 목록형, 유형 3을 글형, 유형 4를 도표형으로 정의하고, 텍스트적정보를 통해서 답변을 제공하는 유형 1, 2, 3을 텍스트형, 의견 정보를 통해서 답변을 제공하는 유형 4를 의견형으로 정의한다.
• 질문 필터부에서는 유사한 질문에 대한 군집화를 수행한다. 수집된 질문-답변 문의 단어 빈도를 활용한 리더-팔로워 군집화(leader-follower clustering)를 통해서 검색결과에 존재하는 질문-답변 문서들을 분류하여, 사용자의 질의 의도에 맞지 않는 질문을 필터링한다. 답변분석부에서 각 단어의 군집 내 빈도수, 답변 내 빈도수, 질의어의 형태소들과의 근접도 계산을 하고, 기존 학습된 지식검색의 비텍스트적 정보를 통해 각 답변의 신뢰여부를 판별한다.
• 위의 4가지 유형의 타당성을 입증하기 위해서 2012년 9월 4일 네이버 지식iN의 작성된 질문 100개를 수동으로 분류하여 각 유형의 분포를 분석하였다. 그림 3과 같이모든 질문들을 4가지 유형으로 분류할 수 있었으며, 글형이 68%로 가장 높았으며, 도표형이 8%로 가장 낮았다.
• 이처럼 중복 질문과 답변에 의해 정답 단어는 여러 답변에서 중복적으로 등장할 가능성이 높다. 이를 확인하기 위해 무작위로 선정된 300개의 질문에 대한 답변을 수동 분석하여 정답을 파악하고, 지식iN의 검색결과에서 정답에 포함된 단어의 빈도 특성을 분석하였다. 분석에서는 질의문에 포함된 단어를 제외하였다.
• 답변분석부에서 각 단어의 군집 내 빈도수, 답변 내 빈도수, 질의어의 형태소들과의 근접도 계산을 하고, 기존 학습된 지식검색의 비텍스트적 정보를 통해 각 답변의 신뢰여부를 판별한다. 정답 추론부는 답변 분석부에서 분석된 단어 정보를 활용하여 중요단어를 추출하고, 이를 활용해 단어형, 목록형, 글형의 적합한 답변을 제시한다. 의견 분석부는 질의어에 대한 의견정보들을 극성사전을통해서 추출하고, 의견 추론부에서 위의 의견정보들을통해서 질의어에 대한 의견정보의 통계를 산출하여 도표형으로 제시한다.
• 지식 검색에서의 답변 추천을 위해, 지식정보 데이터의 특성을 분석한다. 데이터 분석에서는 국내에서 대다 수의 사용자가 사용하여 대량의 지식정보가 구축된 네이버 지식iN의 데이터를 활용한다.
• 어휘 연관성을 이용한 질문 분류[5]에서는 어휘 연관성을 통해서 질문을 분류하여 질문 -질문 쌍에 의한 질문 분류가 질문-답변 쌍에 의한 질문분류보다 더 뛰어난 분류 결과를 나타냄을 보였다. 확장나이브 베이지언 분류기를 활용한 질문 분류⑹에서는 질문들을 질문의 목적에 따라 정보형, 제안형, 의견형으로 분류하고, 각 유형으로 수동 분류한 질문 데이터를 학습하여 질문 분류를 시도하였다. 질문-답변의 품질 측정방법[기에서는 질문-답변의 길이나 구두점의 수와 같은텍스트 정보와 답변자의 등급, 추천수, 조회수 등의 비텍스트 정보들을 활용하여 답변의 품질을 측정방법을 제안하였으며, K-Means 알고리즘을 활용한 Yahoo! Answer의 카테고리 분류 연구[8]에서는 질문당 답변의 개수, 사용자간의 상호작용 패턴 등의 특성에 따라 질문들을 토론형, 상식-조언형, 사실형 질문으로 분류하였다.

대상 데이터

• 특성을 분석한다. 데이터 분석에서는 국내에서 대다 수의 사용자가 사용하여 대량의 지식정보가 구축된 네이버 지식iN의 데이터를 활용한다.
• 수집된 평가 데이터 중 100개의 질문은 질문에 대한 답변이 문장 또는 글 형식으로 본 논문에서 제안한 글형이다. 해당 평가데이터에서 제안한 정답과 수동 비교하여 타당성을 평가하였을 때, 82%의 정답률을 보였다.

데이터처리

• 수 있다. 이를 검증하기 위해 3.1에서 활용한 평가데이터를 활용하여 지식iN의 검색 순위에 따른 정답답변의 출현 빈도를 분석하였다. 결과에서는 그림 2에서와 같이 검색순위가 낮아질수록 정답답변이 출현 빈도가 감소함을 확인할 수 있었다.

이론/모형

• 그리고 각 유형에 적합한 답변 추천 시스템을 제안하고 그 방법을 제시한다. 본 시스템은 대표적인 지식검색 서비스인 네이버 지식iN을 기반으로 설계되었다.

성능/효과

• 1에서 활용한 평가데이터를 활용하여 지식iN의 검색 순위에 따른 정답답변의 출현 빈도를 분석하였다. 결과에서는 그림 2에서와 같이 검색순위가 낮아질수록 정답답변이 출현 빈도가 감소함을 확인할 수 있었다. 그림 2의 구간 0, 즉 검색순위 최상위에서 정답답변이 출현하는 빈도가 56%로 가장 높았다.
• 분석에서는 질의문에 포함된 단어를 제외하였다. 결과에서는 답변에 포함된 단어 중가장 빈도가 높은 단어가 정답 단어인 경우가 34%, 빈도상위 5위까지에 정답 단어가 포함된 경우가 56%로 분석되어, 중복 답변에 의한 단어 빈도수는 정답답변을 추출하기 위한 자질로 적합한 것으로 나타났다. 본 논문에서는 중복된 답변들의 빈도수를 활용하여 사용자의 질문에 대한 답변을 자동으로 추천하고자 한다.
• 수행하였다. 시스템의 추천한 5개의 정답 목록이 정답을 3개 이상 포함한다면 정답으로 간주할 때, 시스템은 52%의 정답률이 나타났다. 오류 분석에서는 동의어에 의한 오류 비율이 높았다.
• 위의 분석에서는 작성된 질문을 분석한 것으로, 사용자가 실제로 검색하는 질의에서는 글형 외의 유형들이 좀더 높은 분포를 가질 것으로 보인다. 실제 분석결과 글형의 36%가 개인적인 질문으로 다수의 사용자의 질의어에서 검색될 확률이 낮은 것으로 나타났다.
• 질의어에 대한 답변이 의견정보들의 통계로 표시되는 유형인 도표형에 대한 시스템에서 추천한 답변들을 분석한 결과, 질의어 “아이폰” 에 대하여 긍정 74%와 부정 26%의 결과 추천하였다. 각 의견정보에 대한 분석한 결과 아이폰의 답변에 존재하는 갤럭시에 관한 의견이 존재하였다.
• 질의어에 대한 동일한 질문들이 중복 등록되어 있고, 정답단어인 “군함조” 가 첫 번째 검색결과와 두 번째 검색결과에서 중복 발생하는 것을 확인할 수 있다. 이처럼 중복 질문과 답변에 의해 정답 단어는 여러 답변에서 중복적으로 등장할 가능성이 높다.
• 해당 평가데이터에서 제안한 정답과 수동 비교하여 타당성을 평가하였을 때, 82%의 정답률을 보였다. 검색결과에서 비정상적으로 높은 빈도수를 가지는 단어가 존재하여 잘못된 답변을 정답 답변으로 추천하는 오류가 발생하였다.

후속연구

• 각 유형은 형태소 분석과 동의어 등의 문제에 의해 오답을 발생하였고, 이에 대해 기존 자연언어 처리연구에서 나타난 다양한 방법들을 추가 적용시킨다면 정답률을 개선시킬 수 있을 것으로 보인다.
• 향후 연구로, 본 논문에서 제시한 4가지 유형을 시스템에 의해 자동 분류하는 방법과 정답률을 개선시키는방법에 대한 연구를 진행할 예정이다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기