질문(Question)과 답변(Answer)을 하는 커뮤니티 기반의 지식검색서비스에서는 질의를 통해 원하는 답변을 얻을 수 있지만, 수많은 사용자들이 참여함에 따라 방대한 문서 속에서 신뢰성있는 문서를 찾아내는 것은 점점 더 어려워지고 있다. 지식검색서비스에서 기존 연구는 사용자들이 생성한 데이터 즉 추천수, 조회수 등의 비텍스트 정보를 이용하거나 답변의 길이, 자료첨부, 연결어 등의 텍스트 정보 이용하여 문서의 품질을 평가하고, 이를 검색에 반영하여 검색성능을 향상시키는 데 활용했다. 그러나 비텍스트 정보는 질의/응답의 초기에 사용자들에 의해 충분한 정보를 확보할 수 없는 단점이 있으며, 텍스트 정보는 전체의 문서를 답변의 길이, 연결어등과 같은 일부요인으로 판단해야하기 때문에 품질평가의 한계가 있다고 볼 수 있다. 본 논문에서는 이러한 비텍스트 정보와 텍스트 정보의 문제점을 개선하기 위한 QualityRank 알고리즘을 제안한다. QualityRank는 텍스트/비텍스트 정보와 소셜 네트워크 분석 기반의 사용자 중앙성을 고려하여 질문에 적합하고 신뢰성 있는 답변을 랭킹화 한다 실험결과 제안한 알고리즘을 사용했을 경우 텍스트/비텍스트 모델 보다 랭킹성능에 있어 향상된 결과를 얻을 수 있었다.
질문(Question)과 답변(Answer)을 하는 커뮤니티 기반의 지식검색서비스에서는 질의를 통해 원하는 답변을 얻을 수 있지만, 수많은 사용자들이 참여함에 따라 방대한 문서 속에서 신뢰성있는 문서를 찾아내는 것은 점점 더 어려워지고 있다. 지식검색서비스에서 기존 연구는 사용자들이 생성한 데이터 즉 추천수, 조회수 등의 비텍스트 정보를 이용하거나 답변의 길이, 자료첨부, 연결어 등의 텍스트 정보 이용하여 문서의 품질을 평가하고, 이를 검색에 반영하여 검색성능을 향상시키는 데 활용했다. 그러나 비텍스트 정보는 질의/응답의 초기에 사용자들에 의해 충분한 정보를 확보할 수 없는 단점이 있으며, 텍스트 정보는 전체의 문서를 답변의 길이, 연결어등과 같은 일부요인으로 판단해야하기 때문에 품질평가의 한계가 있다고 볼 수 있다. 본 논문에서는 이러한 비텍스트 정보와 텍스트 정보의 문제점을 개선하기 위한 QualityRank 알고리즘을 제안한다. QualityRank는 텍스트/비텍스트 정보와 소셜 네트워크 분석 기반의 사용자 중앙성을 고려하여 질문에 적합하고 신뢰성 있는 답변을 랭킹화 한다 실험결과 제안한 알고리즘을 사용했을 경우 텍스트/비텍스트 모델 보다 랭킹성능에 있어 향상된 결과를 얻을 수 있었다.
We can get answers we want to know via questioning in Knowledge Search Service (KSS) based on Q&A Community. However, it is getting more difficult to find credible documents in enormous documents, since many anonymous users regardless of credibility are participate in answering on the question. In p...
We can get answers we want to know via questioning in Knowledge Search Service (KSS) based on Q&A Community. However, it is getting more difficult to find credible documents in enormous documents, since many anonymous users regardless of credibility are participate in answering on the question. In previous works in KSS, researchers evaluated the quality of documents based on textual information, e.g. recommendation count, click count and non-textual information, e.g. answer length, attached data, conjunction count. Then, the evaluation results are used for enhancing search performance. However, the non-textual information has a problem that it is difficult to get enough information by users in the early stage of Q&A. The textual information also has a limitation for evaluating quality because of judgement by partial factors such as answer length, conjunction counts. In this paper, we propose the QualityRank algorithm to improve the problem by textual and non-textual information. This algorithm ranks the relevant and credible answers by considering textual/non-textual information and user centrality based on Social Network Analysis(SNA). Based on experimental validation we can confirm that the results by our algorithm is improved than those of textual/non-textual in terms of ranking performance.
We can get answers we want to know via questioning in Knowledge Search Service (KSS) based on Q&A Community. However, it is getting more difficult to find credible documents in enormous documents, since many anonymous users regardless of credibility are participate in answering on the question. In previous works in KSS, researchers evaluated the quality of documents based on textual information, e.g. recommendation count, click count and non-textual information, e.g. answer length, attached data, conjunction count. Then, the evaluation results are used for enhancing search performance. However, the non-textual information has a problem that it is difficult to get enough information by users in the early stage of Q&A. The textual information also has a limitation for evaluating quality because of judgement by partial factors such as answer length, conjunction counts. In this paper, we propose the QualityRank algorithm to improve the problem by textual and non-textual information. This algorithm ranks the relevant and credible answers by considering textual/non-textual information and user centrality based on Social Network Analysis(SNA). Based on experimental validation we can confirm that the results by our algorithm is improved than those of textual/non-textual in terms of ranking performance.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 비텍스트 정보와 텍스트 정보가 갖는문제점을 완화시킬 수 였도록 텍스트 정보와 비텍스트정보, 사용자 중앙성 정보를 동시에 고려하여 평가 알고리즘을 제안했다. 또한 네이버 지식 질의/답변 서비스에서 수집한 실제 문서들을 대상으로 하여 확률 기반의제안한 문서 품질 알고리즘을 적용하였다.
본 논문은 지식검색 서비스의 이러한 문제점을 텍스트 요소와 비텍스트 정보, 소셜 네트워크 관점에서 해결하고자 한다. 이는 객관적 수치를 바탕으로 높은 품질 지수를 갖는 양질의 질문/답변을 통해 지식공유의 근본적 목적에 부합될 수 있을 것이라는 가정예서 시작되며, 이를 위해 대표적인 '국내 지식검색 서비스인 네이버 지식iN에서의 텍스트 정보와 비텍스트 정보를 바탕으로 카테고리별 Quality Rank 알고리즘을 제안한다.
비텍스트 정보는 질의/웅답의초기에 사용자들에 의해 충분한 정보를 확보할 수 없는문제점이 제기되며, 텍스트 정보는 전체의 문서를 답변의 길이, 자료 첨부 등과 같은 일부요인으로 판단해야하기 때문에 품질평가의 한계가 있다고 볼 수 있겠다. 본논문에서는 이러한 단점을 보완할 수 있도록 텍스트/비텍스트 특성과 소셜 네트워크의 사용자 중앙성을 기반으로 한 알고리즘을 제안한다.
주어진 답변을 문서 X라고 하고 이 X에 매길수있는 품질 등급을 y={높음, 보통, 낮음}라 하자. 품질 평가 모델의 목적은 조건부 확률 p=(y=높음lx) 즉, 주어진문서가 높은 품질의 문서일 확률을 구하는 것이다. 최대엔트로피 모델을 이용하면 p(y|x)는 식 (4)와 같이 계산된다(3).
제안 방법
것이다. 높은 품질의 답변에서 주로 출현하는 단어와 낮은 품질의 답변에서 자주 출현하는 단어들을 미리사전으로 작성하고, 사전에 기록된 단어가 답변에 등장한 비율을 측정한다[2].
할 수 있다. 따라서 답변자의 영향력 또는 신뢰성이라 할 수 있는 사용자 중앙성 요소가 텍스트, 비텍스트 요소 모두에 영향을 미치기 때문에 곱 연산을 수행하여 Quality value를 도출하였다.
제안했다. 또한 네이버 지식 질의/답변 서비스에서 수집한 실제 문서들을 대상으로 하여 확률 기반의제안한 문서 품질 알고리즘을 적용하였다. 일반화된 정확율과 재현율을 통해 성능을 평가한 결과 기존 텍스트요소와 비텍스트 요소만을 각각 고려한 경우 보다 QualityRank 알고리즘을 사용했을 때 높은 결과를 나타냈다.
본 논문에서는 QuaUtyRank 알고리즘을 통해 랭킹화된질의답변 문서를 3점 척도 법으로 점수를 부여한 후 기존정보검색 시스템 평가에 사용되는 Precision, Recalltll] 과 NDCGI12]를 통해 알고리즘의 정확도를 비교 평가한다. .
본 연구에서는 전체 지식IN에서 체계적인 표본 추출방식으로 선택된 질문에 대한 답변들을 학습 집합으로사용하고, Advice 클러스터내 질의에 적합하다고 판정된 답변의 집합을 평가집합으로 사용했다.
본 장에서는 제안한 QualityRank 알고리즘의 실험및 평가를 위해 네이버 지식iN 서비스에서 질의답변을활용하였다. 네이버 지식IN에서 카테고리를 그림 3과같이 Factual, Advice, Forum 클러스터로 분류하고 질의/답변자간 소셜 네트워크를 형성하였다[10].
하지만 본 연구에서 품질 지수는 "지식검색 서비스에서 질의/답변의 품질을 텍스트 요소와 비텍스트 요소를 고려하여 지수화한 것”으로 웹에서 제공되는 다수의 질의/답변 문서가 품질평가대상이 된다. 서비스에서 제공되는 추천수, 조회수 등의비텍스트 요소와 문서 자체의 길이, 답변에 주로 출현하는 단어 등과 같은 텍스트 요소, 질문자와 답변자의 관계를 나타낸 소셜 네트워크 요소를 고려하여 컴퓨터가 계산하기 쉬운 변수들을 통해 품질지수를 도출하였다.
답변일 가능성을 제시한다. 소셜 네트워크 분석 기법을 적용하여 카테고리별로 질문자와 답변 채택자 관계를 나타내는 네트워크를 구축하고 이를 통해 각 사용자의 중앙성 지수를 산출하였다. 한 사용자(노드)가 네트워크 내에서 중앙성을 갖는다는 것은 지식검색 서비스에서 다수의 다른 노드와 연결 관계를 갖는다는 것이다.
한다. 이는 객관적 수치를 바탕으로 높은 품질 지수를 갖는 양질의 질문/답변을 통해 지식공유의 근본적 목적에 부합될 수 있을 것이라는 가정예서 시작되며, 이를 위해 대표적인 '국내 지식검색 서비스인 네이버 지식iN에서의 텍스트 정보와 비텍스트 정보를 바탕으로 카테고리별 Quality Rank 알고리즘을 제안한다.
표본 추출 방식에 있어서는 전체 표본 프레임 구성에서 표본 선정의 용이성을 위해 체계적 표본 추출D 방식으로 데이터를 수집 하였다. 체계적 표집은 뽑은 사람의주관이 배제된 상태에서 동등한 확률로 뽑히도록 표본을 추출하므로 객관적이며 체계적인 방법이다.
학습용 데이터는 전체 네이버 지식 IN에서 선택된 질문에 대한 답변들을 학습 집합으로 사용하고, 평가용 데이터는 질의의 특성상 Advice 클러스터의 답변이 객관적인 사실과 주관적인 의견으로 고루 분포되어있어 클러스터내 질의에 적합하다고 판정된 답변을 사용했다. 각 답변에 대하여 신뢰도는 3점 척도(높음, 보통, 낮음)를 기준으로 문헌정보학 전공자들에 의해 평가되었다(1).
대상 데이터
Advice 카테고리내 데이터 중 표본 추출한 질문/답변은 총 2, 783개이다.
본 연구에서는 2010년 7월 한 달 간 네이버 지식IN 에 입력된 질의답변을 수집하였다. 질의는 하루 동안 입력된 질의답변, 전체 네이버 지식IN에서 무작위로 선정된 질의답변, 질의에 대한 답변들 중 질문자가 "Best Answer”로 선택한 답변으로 이루어져 있다.
데이터처리
같다. 그림 5는 수집된 데이터를 QualityRank 알고리즘을통해 랭킹화를 거친 후 상위 10%에 대해 NDCG를 이용하여 알고리즘 성능을 비교하였다.
선정된 텍스트/비텍스트 요소, 소셜 네트워크 요소와학습용 집합 데이터의 신뢰도 점수(높음=2’ 보통=1, 낮음 =0)를 통해 Pearson 상관계수로 표 7, 8, 9와 같이 가중치를 산출하였다. Pearson 상관계수는 식 (8)과 같다.
제안하는 알고리즘의 상대적인 문서 품질을 알아보기위해 각 요소에 대한 알고리즘의 성능을 평균정확율과재현율로 측정하였다. QualityRank 알고리즘과 기존 텍스트’ 비텍스트 요소의 성능을 비교실험한 결과는 표 10과같다.
이론/모형
통신공학, 경제학 등에서 폭넓게 연구 중인 소셜 네트워크 분석은 소셜 네트워크의 형태와 특성을 알고리즘 적으로 연구하는 것으로 전체 관계망에서의위치와 그 효과를 측정하는 위치적 접근법(Positional approach)과 연결망의 직접적인 관계에 초점을 둔 관계적 접근법 (R이ational Approach)으로 분류된다[7]. 소셜네트워크의 분석은 노드간의 관계 구조를 찾아내기 위해 그래프 이론을 이용한 소셔메트리 (Sociometry)와 수학적 방법인 계량적 방법을 이용한다. 수학적 방법의 기본은 행렬과 그래프의 이해이다.
등급을 모두 합한 값이다. 추가하여 부여된 점수에는 비례하지만 낮은 랭킹의 결과에 대해서 점진적으로 패널티를 주기 위해 LOG 함수를 사용한다.
성능/효과
가중치의 값이 양수이면 품질 요소의 값이 커질수록신뢰도 점수도 높아진다는 것을 나타내고, 음수이면 품질 요소의 값이 작아질수록 신뢰도 점수가 높아진다는것을 나타낸다. 상관계수가 0에 가까울수록 실제 신뢰도점수와의 관련성이 낮음을 나타낸다.
우수하다는 것을 의미한다. 결과적으로 지식 공유의 근본적 목적에 부합되도록 어떠한 형태든 양질의 질문/답변 문서를 평가하는 품질을 객관적 수치로 선별 가능함을 보여주는 것이라 할 수 있다. 선정된 품질지수를 통해 사용자가 원하는 지식 정보의 획득이 보다 용이해질 수 있을 것으로 판단된다, 또한? 향후연구에서는보다 더 효과적인 요소 추출 뵹법을 모색하여 성능의개선폭을 개선시킬 계획이다.
또한 품질의 지표로 지식 검색 서비스의 만족도를 한층 더향상시킬 수 있는 상당히 의미 있는 성능 향상으로 판단된다.
위 실험결과에서 지식문서 품질평가에 있어 본 논문에서 제안하는 QualityRank 알고리즘이 Textual과 Nontextuale 비해 평균 정확률에서 최대 7%, 랭킹 상위 10%에 대한 NDCG 측정결과에서는 최대 4%정도 개선된 것을 알 수 있다. 주목할 점은 기존의 Textual 속성만으로 평가했을 때와 NonTextual한 속성만을 고려했을 때보다 두 개의 속성을 동시에 고려하여 문서의 품질을 평가했을 때가 더 높은 정확율과 재현율을 보였다.
또한 네이버 지식 질의/답변 서비스에서 수집한 실제 문서들을 대상으로 하여 확률 기반의제안한 문서 품질 알고리즘을 적용하였다. 일반화된 정확율과 재현율을 통해 성능을 평가한 결과 기존 텍스트요소와 비텍스트 요소만을 각각 고려한 경우 보다 QualityRank 알고리즘을 사용했을 때 높은 결과를 나타냈다. 이는 질의/답변 문서를 평가하는 품질올 객관적수치로 선별 가능함을 보여주는 것이라 할 수 있다.
정확율과 재현율이 높다는 것은 제안한 알고리즘이지식검색 서비스 내에서 품질이 높은 문서를 찾는데 성능이 우수하다는 것을 의미한다. 결과적으로 지식 공유의 근본적 목적에 부합되도록 어떠한 형태든 양질의 질문/답변 문서를 평가하는 품질을 객관적 수치로 선별 가능함을 보여주는 것이라 할 수 있다.
것을 알 수 있다. 주목할 점은 기존의 Textual 속성만으로 평가했을 때와 NonTextual한 속성만을 고려했을 때보다 두 개의 속성을 동시에 고려하여 문서의 품질을 평가했을 때가 더 높은 정확율과 재현율을 보였다.
후속연구
보다 더 효과적인 요소 추출 방법을 모색하여 기존 방법 대비 알고리즘, 가중치 계산 등에 있어 성능의 개선폭을 향상시키는데 연구할 예정이다. 또한, 제안한 알고리즘은 지식 검색 문서에 종속적인 것이 아니기 때문에, 지식검색 서비스에서의 문서 품질평가뿐만 아니라 블부그, 제품 리뷰 등 다른 종류의 사용 자 제작문서의 품질평가에도 유용할 것이라 생각된다. 일반적인 사용자제작문서의 성능을 평가하고 효과적 연 향상 방안에 대해연구가 필요할 것이다.
필요하다. 보다 더 효과적인 요소 추출 방법을 모색하여 기존 방법 대비 알고리즘, 가중치 계산 등에 있어 성능의 개선폭을 향상시키는데 연구할 예정이다. 또한, 제안한 알고리즘은 지식 검색 문서에 종속적인 것이 아니기 때문에, 지식검색 서비스에서의 문서 품질평가뿐만 아니라 블부그, 제품 리뷰 등 다른 종류의 사용 자 제작문서의 품질평가에도 유용할 것이라 생각된다.
또한, 제안한 알고리즘은 지식 검색 문서에 종속적인 것이 아니기 때문에, 지식검색 서비스에서의 문서 품질평가뿐만 아니라 블부그, 제품 리뷰 등 다른 종류의 사용 자 제작문서의 품질평가에도 유용할 것이라 생각된다. 일반적인 사용자제작문서의 성능을 평가하고 효과적 연 향상 방안에 대해연구가 필요할 것이다.
향후연구로서 텍스트/비텍스트 특성 기반 Quality Rank 알고리즘 성능을 개선하기 위한 방안이 필요하다. 보다 더 효과적인 요소 추출 방법을 모색하여 기존 방법 대비 알고리즘, 가중치 계산 등에 있어 성능의 개선폭을 향상시키는데 연구할 예정이다.
결과적으로 지식 공유의 근본적 목적에 부합되도록 어떠한 형태든 양질의 질문/답변 문서를 평가하는 품질을 객관적 수치로 선별 가능함을 보여주는 것이라 할 수 있다. 선정된 품질지수를 통해 사용자가 원하는 지식 정보의 획득이 보다 용이해질 수 있을 것으로 판단된다, 또한? 향후연구에서는보다 더 효과적인 요소 추출 뵹법을 모색하여 성능의개선폭을 개선시킬 계획이다.
참고문헌 (12)
박소연, 이준호, 전지운, "지식검색 서비스 개선을 위한 문서의 적합도 및 신뢰도 분석", 한국문헌정보학회지, vol. 40, no.2, p.300, 2006년
이정태, 송영인, 임해창, "신뢰도 자질을 이용한 지식검색 문서의 품질평가", 한국정보학회지 학술발표 논문집, pp. 63-65, 2007년 10월.
Jiwoon Jeon, W.Bruce Croft, Joon Ho Lee, Soyeon Park, "A Framework to Predict the Quality of Answers with Non-Textual Features," In Proceedings of the 29th Annual International AGM SIGIR Conference on Research and Development in Information Retrieval, pp.22S-235, 2006.
김희연, "정보사회에서의 지식과 지직검색에 대한 고찰", 정보통신정책, vol.18, no.14, 통권398호, pp.6-8, 2006년 8월.
Szuba T, "Computational Collective Intelligence," Wiley and Sons NY, 2001.
M. V. Vieira, B. M. Fonseca, R. Damazio, P. B. Golgher, D. de Castro Reis and B. Ribeiro-Neto, "Efficient Search Ranking in Social Networks," In Proceedings of the 16th ACM Conference on Information and Knowledge Management (CIKM), pp.563-572, 2007.
Freeman L, "Centrality in Social Networks : A Conceptual Classification," Social Networks, no.1, 1979.
김용학, "사회연결망 분석", 박영사, pp.7-36, pp.8-122, 2003년.
Berger, A. L., Pietra, V.J.D., and Pietra S.A.D., "A maximum entropy approach to natural language processing," Compt. Linguist.m vol.22, no.1, pp.39-71, 1996
Lada A.Adamic, Jun Zhang, Eytan Bakshy, Mark S.Ackerman, "Knowledge Sharing and Yahoo Answers : Everyone Knows Something," WWW 2008, pp.667-570, April 2008.
Kekalainen, J. and Jarvelin, K., "Using graded relevance assessments in IR evaluation," Journal of the American Society for Information Science and Technology, vol.53, no.13, pp.1120-1129, 2002.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.