선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서 다루고 있는 문서의 품질 평가에 관한 연구는 학생들이 작성한 논술을 컴퓨터를 이용하여 자동으로 채점하는 논술 자동채점(Automated Essay Grading)에 관한 연구와 관련이 있다. 논술 자동채점 프로그램의 가장 대표적인 예로 Program Essay Grade(PEG)[2]를 들 수 있다.
- 본 논문에서는 기존 연구와 다르게 지식검색 문서의 품질을 내용의 신뢰도 측면에서 평가하는 방법을 제안한다. 이 방법은 높은 품질의 답변은 그 답변을 읽게 되는 사용자로 하여금 충분히 신뢰할 수 있을 정도로 최대한 성실하고 자세하게 작성되었고, 이에 비해 낮은 품질의 답변은 사용자가 신뢰할 수 없게끔 내용 면에서 불성실하고 불충분하게 작성되었을 것이라는 가정을 기반으로 한다.
- 본 논문에서는 사용자의 참여에 의해 작성된 지식검색 문서의 품질을 평가하기 위한 자질로서 신뢰도 자질을 제안하였다. 또한 네이버 지식검색 서비스에서 수집한 실제 문서들을 대상으로 하여 확률 기반의 문서 품질 평가 모델에 제안한 자질을 적용하였고, 실험 결과를 통해 신뢰도 자질이 지식검색 문서의 품질 평가에 있어 유용함을 입증하였다.
- 본 논문에서는 지식검색 문서의 품질 평가를 위해 신뢰도 자질이라고 정의한 새로운 자질을 제안한다.
- 본 연구에서는 문서 내용의 신뢰도를 측정하기 위한 새로운 자질을 제안한다. 또한 제안하는 신뢰도 자질의 유용성을 입증하기 위해 기존 비텍스트 정보를 다룬 연구[1]에서 진행한 방법과 동일하게 확률 기반의 문서 품질 평가 모델에 제안하는 자질을 적용하고 네이버 지식 검색 서비스에 실제로 존재하는 답변 문서를 대상으로 성능을 측정한다.
- 본 연구에서는 비텍스트 정보를 다룬 연구[1]에서 사용한 것과 동일한 분류 기반의 확률적 문서 품질 평가 모델을 구현하고, 이에 신뢰도 자질을 적용하여 자질의 유용성을 보이고자 한다. 이 모델은 최대 엔트로피 (maximum entropy) 모델[9]에 기반을 둔다.
- 주어진 답변을 문서 x라고 하고 이 x라는 문서에 매길 수 있는 품질 등급을 y = {good,medium,bad}라고 하자. 본 품질 평가 모델의 목적은 조건부 확률 p(y = good|x) 즉, 주어진 문서가 높은 품질의 문서일 확률을 구하는 것이다. 최대 엔트로피 모델을 이용하면 p(y|x)는 최대 엔트로피 모델을 이용하여 다음과 같이 계산될 수 있다.
가설 설정
- • 답변의 길이 : 답변이 무조건 길다고 하여 성실하다는 보장은 없지만, 본 연구에서는 주어진 답변의 길이가 길수록 질문에 대하여 성실하고 최대한 자세하게 기술한 답변이라고 가정한다.2
- • 개인의견 단어의 출현 비율 : 개인적 의견이 강한 문장에서 주로 나타나는 단어가 주어진 답변에서 차지하는 비율을 의미한다. 개인의견 단어가 빈번하게 사용될수록 문서가 객관적인 사실보다 주관적인 의견의 표현을 주로 담고 있을 가능성이 있기 때문에 신뢰도를 저하시킨다는 가정에 의해 자질로 선정되었다.
- • 광고성 단어의 출현 비율 : 광고 메일이나 문자메시지 등에 주로 쓰이는 단어가 주어진 답변에서 차지하는 비율을 의미한다. 광고성 어휘가 빈번하게 사용되면 질문에 관련된 답변이라 할지라도 불성실한 답변 또는 질문에 적합하지 않은 답변일 가능성이 크기에 신뢰도를 저하시킨다고 가정한다.
- • 가치판단어의 출현 비율 : 특정 객체에 대한 가치를 판단하기 위해 사용되는 가치판단어가 주어진 답변에서 차지하는 비율을 말한다. 성실하게 자신의 의견을 강조하거나, 어떤 주제에 대한 내용을 평가하고 근거를 제시하기 위해 자주 사용될 것이고, 따라서 신뢰도를 향상시킬 것이라는 가정 하에 자질로 사용하였다. 이모티콘의 출현 비율 : 주로 감정을 나타내는 이모티콘이 주어진 답변에서 차지하는 비율을 의미한다.
- 본 논문에서는 기존 연구와 다르게 지식검색 문서의 품질을 내용의 신뢰도 측면에서 평가하는 방법을 제안한다. 이 방법은 높은 품질의 답변은 그 답변을 읽게 되는 사용자로 하여금 충분히 신뢰할 수 있을 정도로 최대한 성실하고 자세하게 작성되었고, 이에 비해 낮은 품질의 답변은 사용자가 신뢰할 수 없게끔 내용 면에서 불성실하고 불충분하게 작성되었을 것이라는 가정을 기반으로 한다.
- 이모티콘의 출현 비율 : 주로 감정을 나타내는 이모티콘이 주어진 답변에서 차지하는 비율을 의미한다. 이모티콘이 빈번하게 나타난 답변일수록 가독성을 저하시키고, 이어 답변의 신뢰도를 저하시킬 것이라는 가정 하에 사용되었다.
- • 추정어의 출현 비율 : 추정의 느낌이 강한 문장에서 주로 사용되는 어휘가 주어진 답변에서 차지하는 비율을 의미한다. 추정어가 많이 사용되었을 경우 뚜렷한 확신 없이 글을 작성하였을 가능성이 있다고 이는 곧 신뢰도를 저하시킨다는 가정 하에 자질로 사용되었다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.