선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 지금까지 다중증거 결합을 이용하여 정보검색의 효율성을 향상시키는 방안이 많이 제안되어 왔으나, 가중치 퓨전을 통한 다양한 공기유사도에 기반하여 질의를 확장시키는 연구는 거의 이루어지지 않았다. 본 논문에서는 데이터 퓨전기법의 관점에서 검색효율성을 높이기 위해 가중치, 문헌분리가, 엔트로피, 문헌빈도, 공기유사도를 다중증거로서 적절히 결합하여 질의를 확장하는 방법을 제안한다.
가설 설정
- 벡터모델에는 <수식11>, 신경망모델에는 <수식21>를 각 가중치와 결합하여 실험을 하였다. 질의확장에서 가중치 퓨전 연산은 기존의 가중치 결합방식과는 달리 고빈도의 영향을 줄이기 위해서 가중치를 결합할 때 문헌분리가와 엔트로피(정영미, 1993)가 모두 음수값을 가지면 질의와 문서간의 관계에 대한 증거로서 가치가 없다고 가정하고 가중치를 결합하지 않았다. 이것은 특히 수작업으로 만들어진 키워드 질의가 아닌 자연어 질의를 이용할 때 유효한 실험결과를 얻었다.
제안 방법
- 실험은 구현된 검색시스템을 가지고 30개의 자연어 질의어로 벡터모델과 신경망 모델을 이용하여 실험하였다. 구현된 시스템은 검색된 문헌의 타이틀을 클릭하면 직접 원문에 접근이 가능하도록 하였다. 검색결과는 서지사항인 타이틀, 초록을 제시한다.
- 이것은 특히 수작업으로 만들어진 키워드 질의가 아닌 자연어 질의를 이용할 때 유효한 실험결과를 얻었다. 그리고 저빈도의 영향을 줄이기 위해 문헌빈도가 3이상인 용어만 가중치를 결합하였다.
- 실험집단은 KTSET 1000건을 대상으로 초록, 저자, 키워드를 추출하여 HAM으로 색인을 생성하였다. 데이터베이스로는 Mysql를 이용하였으며, 웹프로그래밍 언어인 PHP로 웹상에서 실시간으로 검색이 가능하도록 구현하였다. 실험은 구현된 검색시스템을 가지고 30개의 자연어 질의어로 벡터모델과 신경망 모델을 이용하여 실험하였다.
- 벡터모델에는 , 신경망모델에는 를 각 가중치와 결합하여 실험을 하였다.
- 그러나 기존의 연구결과 이론적으로는 매우 훌륭하나 실제로 실험한 결과들은 좋은 결과를 얻지 못했다. 본 논문에서는 가중치를 결합할 때 직접적으로 이들을 색인어 가중치로 이용 하지 않고 음수값을 가지면 가중치를 결합시키지 않는 결합제약조건으로만 문헌분리가와 엔트로피를 이용하였다. 이것은 유전자 알고리즘에서 우성인자가 열성인자보다 더 많은 자손을 낳도록 하는 것과 유사한 기법이다.
- 공기란 두 용어가 동일문서 혹은 몇 개의 단어 창안에서 같이 발생하는 것을 말하는데, 공기빈도수가 클수록 두용어가 밀접한 관련이 있다는 전제에 기반한다(Rijsbergen, 1977). 본 논문에서는 공기단위를 동일문서로 하였다.
- 본 논문에서는 다양한 유사도를 이용하여 실험한 결과 과 같은 내적(inner product)를 이용한 것이 좋은 성능을 보여 질의와 문서간의 유사도 모델로 내적유사도를 이용하였다.
- 그러나 질의처리를 어떻게 하느냐에 따라 문서벡터와 질의벡터간의 매칭에 많은 영향을 미치기 때문에 곧 검색성능에 영향을 미치게 된다. 본 논문에서는 자연어 질의를 Linux용 HAM5.0을 이용하여 입력된 질의를 분석하여 질의를 처리한다. KTSET 테스트 컬렉션에서 제공되는 불리언 질의에서 연산자를 제외한 키워드를 추출하여 단순히 공백으로 각 키워드를 분리하여 검색한 결과보다 키워드를 형태소 분석기로 처리하여 질의하는 것이 벡터모델과 신경망 모델 모두에서 더 높은 성능향상을 보였다.
- 현재의 검색시스템의 대부분은 이미 발표된 연구 문헌에 나타난 유용한 아이디어를 이용함으로써 상당한 개선이 가능하다. 최근에 기존 연구결과들을 분석하여 이러한 방법들을 결합하기 위한 연구들이 수행되었으며, 본 논문에서도 가중치, 문헌분리가, 엔트로피, 공기유사도의 다중증거 결합을 통해 질의확장을 하는 방법을 제시하였다. 가중치를 2-3개 결합할때는 시간복잡도가 크게 차이가 나지 않기 때문에 제안하는 방법은 기존 검색시스템에 쉽게 수용될 수 있다.
대상 데이터
- 데이터베이스로는 Mysql를 이용하였으며, 웹프로그래밍 언어인 PHP로 웹상에서 실시간으로 검색이 가능하도록 구현하였다. 실험은 구현된 검색시스템을 가지고 30개의 자연어 질의어로 벡터모델과 신경망 모델을 이용하여 실험하였다. 구현된 시스템은 검색된 문헌의 타이틀을 클릭하면 직접 원문에 접근이 가능하도록 하였다.
-
3.1 실험환경
실험집단은 KTSET 1000건을 대상으로 초록, 저자, 키워드를 추출하여 HAM으로 색인을 생성하였다. 데이터베이스로는 Mysql를 이용하였으며, 웹프로그래밍 언어인 PHP로 웹상에서 실시간으로 검색이 가능하도록 구현하였다.
이론/모형
- 최근 연구결과에서는 스마트의 코사인정규화는 Inquery의 최대단어 빈도정 규화와 Okapi의 바이트길이 정규화에 비해 낮은 검색효과를 보였으며, 코사인 정규화를 수정한 피벗코사인 정규화로 성능을 향상시킬 수 있다고 보고되었다. 본 논문에서는 색인어 가중치 부여 기법의 구성요소로 출현빈도, 장서빈도, 문헌빈도, 정규화 등을 조합한 가중치 알고리즘 중에서 일반적으로 많이 사용되는 것을 이용하였다.
- 본 논문에서는 일반적으로 많이 사용되는 결합함수로 누적 합을 이용하였으며, 전이 함수로 와 같은 비선형적인 시그모이드(sigmoid) 함수를 이용하였다.
- 보간법은 재현율의 값을 먼저 표준 재현율로 바꾸고 이에 대한 정확률의 값을 산출하는 방법으로 정확률의 산출방법은 크게 선형보간법과 비관적 보간법으로 나뉜다. 본 실험에서는 '비관적' 보간법에 의해 정확률을 산출하였다.
성능/효과
- 0을 이용하여 입력된 질의를 분석하여 질의를 처리한다. KTSET 테스트 컬렉션에서 제공되는 불리언 질의에서 연산자를 제외한 키워드를 추출하여 단순히 공백으로 각 키워드를 분리하여 검색한 결과보다 키워드를 형태소 분석기로 처리하여 질의하는 것이 벡터모델과 신경망 모델 모두에서 더 높은 성능향상을 보였다. 일례로 단순한 TFIDF 조합인 ntn의 경우 키워드를 형태소로 분석한 것이 키워드를 공백으로 분리한 경우보다 벡터공간 모델에서 11-포인트 평균 정확률이 18.
- 실험결과 문헌분리가와 엔트로피를 결합제약조건으로 이용할때가 이용하지 않은 경우보다 더 좋은 성능을 보였다. 가중치 퓨전 실험 결과, 코사인 정규화 기법을 이용한 atc의 경우 단일가중치 알고리즘의 평균정확률과 비교하면, 벡터 모델에서 11-포인트가 10.5%(0.4998), 3-포인트가 8.7%(0.4930), 순위 30위에서 평균정확률이 0.3932로 성능향상이 있었으며, 신경망 모델에서 11-포인트가 9.6%(0.4964), 3-포인트가 10.0%(0.4938), 순위 30위에서 평균정확률이 0.3895로 성능이 향상 되었다.
- 특히, 전반적으로 단순 TFIDF(ntn, Itn) 및 출현빈도를 최대출현빈도로 정규화한(atn) 가중치 알고리즘 보다 코사인 정규화(ntc, atc, anc)와 문서길이를 정규화( btu, dtus)한 가중치 알고리즘과 결합시켰을 때 11-포인트 평균정확률의 증가율이 높게 나타나는 실험결과를 얻었다. 가중치 퓨전기법을 통한 질의확장에서 좋은 성능을 보이고 있는 atc의 경우, 공기유사도 (cosign) 에서 단일가중치의 평균정확률보다 11.8%(0.5059), 질의확장을 하지 않고 가중치 퓨전만 한 것에 비해 1.2%, 가중치 퓨전 없이 단일 가중치로 질의확장한 경우보다 6.8%의 성능향상을 보였다. 문서길이 정규화 기법를 이용한 dtus 가중치 알고리즘이 벡터모델의 경우, 질의확장을 하여 11-포인트가 0.
- 그러나 에서 알 수 있듯이 가중치 퓨전을 통한 공기기반 질의확장과 질의확장 없이 가중치 퓨전만을 이용한 경우와 비교해보면 커다란 성능향상은 없었으며, 오히려 11-포인트 평균정확률이 감소하는 경우도 많았다.
- 8%의 성능향상을 보였다. 문서길이 정규화 기법를 이용한 dtus 가중치 알고리즘이 벡터모델의 경우, 질의확장을 하여 11-포인트가 0.5073으로 가장 좋은 성능을 보였으며, avtf (0.5013), ltf(0.5059), lnc(0.5052), ntc(0.5066), anc(0.5041), atc(0.5059), btu(0.502) 가중치 알고리즘이 좋은 성능을 보였고, 신경망 모델에서도 벡터모델과 비슷한 성능향상을 보여주었다. 그러나 <표3>에서 알 수 있듯이 가중치 퓨전을 통한 공기기반 질의확장과 질의확장 없이 가중치 퓨전만을 이용한 경우와 비교해보면 커다란 성능향상은 없었으며, 오히려 11-포인트 평균정확률이 감소하는 경우도 많았다.
- <표3>에서 알 수 있듯이 검색모델보다는 어떤 가중치 알고리즘과 결합하느냐에 따라 성능향상이 차이를 보이고 있다. 문서용어 가중치로 코사인 정규화한 ntc, atc, anc 가중치 알고리즘과 결합하여 공기유사도에 기반한 질의확장이 다른 가중치 알고리즘 보다 평균정확률의 향상이 더 높게 나타났다. 특히, 전반적으로 단순 TFIDF(ntn, Itn) 및 출현빈도를 최대출현빈도로 정규화한(atn) 가중치 알고리즘 보다 코사인 정규화(ntc, atc, anc)와 문서길이를 정규화( btu, dtus)한 가중치 알고리즘과 결합시켰을 때 11-포인트 평균정확률의 증가율이 높게 나타나는 실험결과를 얻었다.
- 이것은 유전자 알고리즘에서 우성인자가 열성인자보다 더 많은 자손을 낳도록 하는 것과 유사한 기법이다. 실험결과 문헌분리가와 엔트로피를 결합제약조건으로 이용할때가 이용하지 않은 경우보다 더 좋은 성능을 보였다. 가중치 퓨전 실험 결과, 코사인 정규화 기법을 이용한 atc의 경우 단일가중치 알고리즘의 평균정확률과 비교하면, 벡터 모델에서 11-포인트가 10.
- KTSET 테스트 컬렉션에서 제공되는 불리언 질의에서 연산자를 제외한 키워드를 추출하여 단순히 공백으로 각 키워드를 분리하여 검색한 결과보다 키워드를 형태소 분석기로 처리하여 질의하는 것이 벡터모델과 신경망 모델 모두에서 더 높은 성능향상을 보였다. 일례로 단순한 TFIDF 조합인 ntn의 경우 키워드를 형태소로 분석한 것이 키워드를 공백으로 분리한 경우보다 벡터공간 모델에서 11-포인트 평균 정확률이 18.6%(0.4614), 신경망 모델에서 19.1%(0.463)가 향상되었다. 그리고 키워드 질의를 형태소로 분석한 경우가 자연어 질의를 형태소로 분석하는 것보다 더 좋은 성능을 보였다.
- 문서용어 가중치로 코사인 정규화한 ntc, atc, anc 가중치 알고리즘과 결합하여 공기유사도에 기반한 질의확장이 다른 가중치 알고리즘 보다 평균정확률의 향상이 더 높게 나타났다. 특히, 전반적으로 단순 TFIDF(ntn, Itn) 및 출현빈도를 최대출현빈도로 정규화한(atn) 가중치 알고리즘 보다 코사인 정규화(ntc, atc, anc)와 문서길이를 정규화( btu, dtus)한 가중치 알고리즘과 결합시켰을 때 11-포인트 평균정확률의 증가율이 높게 나타나는 실험결과를 얻었다. 가중치 퓨전기법을 통한 질의확장에서 좋은 성능을 보이고 있는 atc의 경우, 공기유사도 (cosign) 에서 단일가중치의 평균정확률보다 11.
후속연구
- 최근에 기존 연구결과들을 분석하여 이러한 방법들을 결합하기 위한 연구들이 수행되었으며, 본 논문에서도 가중치, 문헌분리가, 엔트로피, 공기유사도의 다중증거 결합을 통해 질의확장을 하는 방법을 제시하였다. 가중치를 2-3개 결합할때는 시간복잡도가 크게 차이가 나지 않기 때문에 제안하는 방법은 기존 검색시스템에 쉽게 수용될 수 있다. 다양한 공기기반 유사도를 이용하여 질의확장을 한 결과 벡터모델과 신경망 모델에서 코사인 공기유사도를 이용하여 질의 확장한 경우가 다른 공기유사도보다 좋은 성능을 보였으며, 향후 이들 유사도 모델들을 결합하여 검색 효율성을 향상시키는 연구와 지식 기반과 탐색결과에 근거한 질의확장을 결합하는 것 또한 연구과제가 될 것이다.
- 가중치를 2-3개 결합할때는 시간복잡도가 크게 차이가 나지 않기 때문에 제안하는 방법은 기존 검색시스템에 쉽게 수용될 수 있다. 다양한 공기기반 유사도를 이용하여 질의확장을 한 결과 벡터모델과 신경망 모델에서 코사인 공기유사도를 이용하여 질의 확장한 경우가 다른 공기유사도보다 좋은 성능을 보였으며, 향후 이들 유사도 모델들을 결합하여 검색 효율성을 향상시키는 연구와 지식 기반과 탐색결과에 근거한 질의확장을 결합하는 것 또한 연구과제가 될 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.