선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 이들 데이터 결합연구의 배경은 기본적으로 정보검색의 복잡성과 불확실성으로 인해 특정 단일표현이나 기법들로는 일부 적합 문헌만을 효과적으로 검색할 수 있기 때문에 질의와 문헌 간의 여러 적합 중거들을 결합하여 검 색효율을 향상시키려는 시도에서 줄발한다. 본 논문에서는 데이터 결합 영역에서 7개 컬렉션과 17개의 가중치 알고리즘을 대상으로 용어가중치 결합이 실召적으로 효율적인가를 성능 향상률 측면과 검색시스템의 효율성 측면에서 검증하고, 성능이 향상된 용어가중치 결합의 특징을 분석하였다.
제안 방법
- 정규화된 문서값을 어떻게 결합시키느냐에 따라 실제로 검색 성능 은 상당한 편차를 보일 수 있다. 따라서 검색 결과를 결합하는 함수에 따라 용어가중치 결합이 검색 성능에 어떤 영향을 미치는지를 분석하기 위해 본 논문에서는 합계(SUM), 최대값 선택(MAX), 최소값 선택(MIN)의 3가지 의 문서값 결합함수를 사용하였다 [2].
- 비록 각 용어가중치 결합이 성둥 향상을 가져오더라도 상술한 바와 같이 최대의 성능을 보이는 단일가중치보다 더 낮은 검색 성능-을 보인다면, 용어가중치 결합은 검색시스템의 효율성 측면에서 효과적이지 못하다고 할 수 있다. 따라서[표 3]와 같이 각 실험집단 변兒 최대의 성능을 보이는 가중치 결합쌍을 분석하였다.[표3]에서 알 수 있듯이 단일 최적가중치보다 가중치 결합의 검색 성능이 5% 이상 차이를 보이는 실험집단은 KRIST뿐이며, 컬렉션 간에 농일가중치 결합이 하나도 없다.
- 문헌力의 용어가중치弗는과 같이 각 가중치 알고리즘 공식에 따라 계산하였으며, 질의어 가중치 如는 을 공통적으로 사용하였다.
- 문헌색인은 한글실험집단의 경우 형태소 분석기 HAM으로 색 인 하였고, 영문 실험집단은 HAM과 Ports- 스테밍 알고리즘으로 색 인 하였다 잘의어 처리도 문헌색인 방식과 동일하게 자동으로 처리하였다. 문헌力의 용어가중치弗는<표 1>과 같이 각 가중치 알고리즘 공식에 따라 계산하였으며, 질의어 가중치 如는 <1昭師+1>을 공통적으로 사용하였다.
대상 데이터
- 본 논문에서 사용한 7개 실험집단은 한글 실험집단 2개(KI%, K曲ST)와 영문 실험 집단 5개(CACM, C0 CRAN, USA, MED)이다. 실험 대상 가중치 용어가중치 알고리즘은 문헌 내 단어 빈도와 역문헌빈도의 조합(油血 htn, atn, dtn, stri) 수준과 코사인 정규화(知c, ntc, Itc, one, ate), 피벗 문헌길이 정규화 《d油, dtu, Lnu, I血, Okapi 문헌길이 정규화(成, onb, 血)에 따른 용어가중치 알고리즘으로 구분할 수 있다.
데이터처리
- 성능평가는 고정된 11개의 재현율 0.0, 0.1, 0.2, … , 1.0에 대해 정확률을 산출하고 이에 대한 평균값으로 검색 성능을 측정하는 11-포인트 평균 정확률을 사용하였다. 용어가중치 결합시의 검색 효율 평가는 각 가중치 기법을 각각 실행하여 검색된 문헌의 문서값들을 정규화시키고 결합함수를 이용하여 통합한 뒤 상위 1000건에 대하여 11-포인트 평균 정확률로 성능을 평가하였다 그리고 용어가중치 결합의 성능 향상률은 결합된 2개의 단일가중치 중에서 높은 검색 성능을 제공하는 것과 비교하였다.
- 0에 대해 정확률을 산출하고 이에 대한 평균값으로 검색 성능을 측정하는 11-포인트 평균 정확률을 사용하였다. 용어가중치 결합시의 검색 효율 평가는 각 가중치 기법을 각각 실행하여 검색된 문헌의 문서값들을 정규화시키고 결합함수를 이용하여 통합한 뒤 상위 1000건에 대하여 11-포인트 평균 정확률로 성능을 평가하였다 그리고 용어가중치 결합의 성능 향상률은 결합된 2개의 단일가중치 중에서 높은 검색 성능을 제공하는 것과 비교하였다.
이론/모형
- 서로 다른 용어가중치 기법에 의해 검색된 문헌들의 문서값sim(如 me 상이 한 분포를 가지기 때문에 정규화 과정은 필수적으로 이루어져야 한다. 본 논문에서는 문서값 정규화기법에 따른 검색 성능을 분석하기 위해 다음과 같이 5가지 정규화기법을 사용하였다
성능/효과
- [표2]는 실험집단수와 향상률에 따라 성능이 향상된 용어가중치 결합의 수와 비율을 나타낸다. 4개 실험집단 이상에서 78개(57.35%), 5개 실험집단 이상에서 53개(3&97%), 6개 실험집단 이상에서 19개(13.97%), 7개 실험집단에서 2개(1.7%)의 가중치 결합쌍이 성능이 향상되었다. 그러나 실험집단 1개 이상에서 5% 이상 성능이 향상된 가중치 결합쌍은 46개였으나 4개 실험집단 이상에서 5% 이상 향상된 가중치 결합쌍은 9개, 6개 실험집단에서 5% 이상 성능이 향상된 경우는 anc-ntn 가중치 결합쌍뿐이다.
- 예를 든 어 one 가중치와 ntn 가중치를 결합시키는 경우 최다I-최소 정규화《mmx)로 든-서값을 정규화시키고 합계함수로 통합할 때 검색 싱丫이 6개 신험칩단에서 5% 이상의 향상을 보였다. g와 n初의 용어가중치 결합시 KRIST(L7%)을 제외하고 KT防(6.7%), CACM(16.8%), CISK5.5%), CR怂心0%), USA(17%), MED(5.1%) 실험집단들에서 5% 이상 성능이 -향상되었으며, 3개 실험집단에서는 10% 이상 향상되었다. 그러나 one 가중치와 ntn 가중치가 결합된 때 셜합되는 두 단일가중치 중에서 높은 검색 성능을 보이는 것과 비五하면 모B 실험집단에서 성능 향상이 되었으나 각 실험집단별로 가장 높은 검색 성능을 보이는 단일가중치와 비교하면 모두 낮은 성능을 보였으며, CRAINS MED 실험집단을 제외한 5개 실험집단에서는 10% 이상 낮은 겁색성능을 보였다.
- 검색 성능이 5% 이상 향상된 용어가중치 결합쌍을 가중치 유형별로 분서한 결과, 단순 조합 가중치 알고리즘과 코사인 정규화 가중치 알고리즘들이 결합하였을 때 높은 성능 향상률을 보였다 특히 ntn-anc 결합쌍은 검색성능이 5% 이상 향상된 실험집단 비율이 0.86(6개 실험집단)으로 가장 높았다. 그리고 단순 조합인 dtn 가중치가 코사인 정규화 기법을 적용한 Inc, ntc, ate, one 가중치나 피벗코사 인 정규화 기법을 적용한 L叫 drib 가중치, 二I■리고 Okapi 문헌길이 정규화 기법을 적용한 onb 가중치와 결합했을 때 실험집단 4개 이상에서 5% 이상 성능이 향상되었다.
- 1%) 실험집단들에서 5% 이상 성능이 -향상되었으며, 3개 실험집단에서는 10% 이상 향상되었다. 그러나 one 가중치와 ntn 가중치가 결합된 때 셜합되는 두 단일가중치 중에서 높은 검색 성능을 보이는 것과 비五하면 모B 실험집단에서 성능 향상이 되었으나 각 실험집단별로 가장 높은 검색 성능을 보이는 단일가중치와 비교하면 모두 낮은 성능을 보였으며, CRAINS MED 실험집단을 제외한 5개 실험집단에서는 10% 이상 낮은 겁색성능을 보였다. 이것은 하나의 단적인 일례이지만 7개의 실험집단에서 검색성-旨이 향상된 대무분의 용어가중치 결합이 이런 현상을 나타냈다.
- 7%)의 가중치 결합쌍이 성능이 향상되었다. 그러나 실험집단 1개 이상에서 5% 이상 성능이 향상된 가중치 결합쌍은 46개였으나 4개 실험집단 이상에서 5% 이상 향상된 가중치 결합쌍은 9개, 6개 실험집단에서 5% 이상 성능이 향상된 경우는 anc-ntn 가중치 결합쌍뿐이다. 이것은 대부분의 용어가중치 결합이 실电집단의 특성에 따른 영향을 많이 받고 있으며 성능 향상이 높다 하氏라도 1-2개 실험집단에서만 효과적이라는 것을 의미한다.
- . 그리고 SMART 시스템에서 사용하는 전통적인 가중치 기법들 간의 결합은 높은 성능 향상률을 보였으나 단순 조합 수준에서 문헌길이를 반영한 가중치 알고리즘, 피벗코사인 정규화, 그리고 Okapi 문헌길이 정규화를 적용한 가증치알고리즘들 보다 5% 이상 높은 검색 성능을 보이지는 못했다 비록 각 용어가중치 결합의 성능이 높게 나타날지라도 최적의 성능을 보인 단일가중치와 비교하면 그 검색성능의 차이가 미미하거나 낮아서 대부분의 용어가중치 결합이 실질적으로 효가적이지 못하였다. 이런 문제들을 해결하기 위한 향후 연구과제로는 컬렉션과 질의 륵성에 따른 적응형 용어가중치 결합연구가 필요할 것이다.
- 특히 단일가중치 로 높은 평균 성능을 보였던 htn 가중礼피벗 코사인 정규화 기법을 적용한 dtu 가중치나 Okapi 문헌길이 정규화 기법을 적용한 otb 가중 치들은 다른 어떤 가중치와 결합해도 성능 향상이 5% 이상 되지 않았다 또한 血과 htn, stn 가중치 알고리즘 역시 다른 가중치 알고리즘과 결합되었을 때 대부분 5% 이상 향상되지 못했다. 그리고 늑정용어가중치가 다른 가중치와 결합될 때 검색 성능 향상에 미치는 영향력은 코사인 정규화 기법을 적용한 가중치 알고리즘 단어 빈도와 역문헌빈도 조합의가중치 알고리즘 순으로 나타났다.
- 86(6개 실험집단)으로 가장 높았다. 그리고 단순 조합인 dtn 가중치가 코사인 정규화 기법을 적용한 Inc, ntc, ate, one 가중치나 피벗코사 인 정규화 기법을 적용한 L叫 drib 가중치, 二I■리고 Okapi 문헌길이 정규화 기법을 적용한 onb 가중치와 결합했을 때 실험집단 4개 이상에서 5% 이상 성능이 향상되었다. 따라서 높은 향상률을 보이는 가중치 결합쌍들은 단순 조합 dm 가중치와 다른 가중치 알고리즘들이 겹합했을 때 실험집단에 크게 영향을 받지 않고 높은 검색 성능을 보이고 있다는 것을 알 수 있다.
- 한편, 실험집단 4개 이상에서 3% 이상의 성능 향상을 보인 용어기중치 결합의 개수를 결합함 수별로 비교해보면 합계함수(SUM)가 3% 이상에서 10개, 5% 이상에서 5개로 최소 값 선택함수(MIN)나 최대값 선택함수(MAX)보다 성능이 향상된 용어가중치 결합 개수가 많았으며, 최대값 선택함수(MAX)로 문서값을 결합할 경우 4개 신험집단 이상에서 성능이 향상된 용어가중치 결합은 하나도 없었다. 그리고 용어가중치 결합에서 문서값 정규화와 검색성능간의 상관관계를 분석한 결과 문서값 정규화 과정은 필수적이나 문서값 정규화기법들간에 는 현저한 성능 차이를 보이지 않았으며, 실험집단과 가중치 알고리즘의 특성이 검색 성능에 더 많은 영향을 미쳤다.
- 그리고 단순 조합인 dtn 가중치가 코사인 정규화 기법을 적용한 Inc, ntc, ate, one 가중치나 피벗코사 인 정규화 기법을 적용한 L叫 drib 가중치, 二I■리고 Okapi 문헌길이 정규화 기법을 적용한 onb 가중치와 결합했을 때 실험집단 4개 이상에서 5% 이상 성능이 향상되었다. 따라서 높은 향상률을 보이는 가중치 결합쌍들은 단순 조합 dm 가중치와 다른 가중치 알고리즘들이 겹합했을 때 실험집단에 크게 영향을 받지 않고 높은 검색 성능을 보이고 있다는 것을 알 수 있다. 二t러나 어떤 실험집단에서도 5% 이상의 성능 향상을 보이지 못하는 가중치 결합쌍이 많았다.
- 본 논문에서 사용한 실험집단 7개에서 각 가중치의 범주별로 최상위 가중치 알고리즘들은 보정된 단어 빈도와 역문헌빈도의 조합 수준이 3개(曲 htn, stn), 코사인 정규화 기법을 적용한 가중치 알고리즘이 2개 〔亦 Itc), 피벗 문헌길이 정규화 기법을 적용한 가중치 알고리즘이 2개 dtii), OE 문헌길이 정규화 기법을 적용한 가중치 알고 즘이 2개(o也 珈)로 총 9개 가중치로 나타났다. 최상위 가중치 알고리즘들 가운데 Itc 가중치는 코사인 정규화 기법을 사용한 가중치 알고리즘에서, otb 가중치는 Okapi 문헌길이 정규화 기법을 적용한 가중치 알고리즘에서 각각 가장 좋은 평균 성능을 보였다 이들 Itc, otb 가중치 알고리즘들은 5개 실험집단(CACM, CTSL CRAN, USA, MED)데서 가장 높은 검색 효율을 보이는 안정적인 성능을 보였다 피벗 문힌 길이 정규화는 정규화인자로 고유단 어수를 이용한 가중치 알고리즘들이 좋은 성능을 보였으며, 문헌 내 단어 빈도와 역문헌빈도 조합 수즌에서는 단어 출현빈도를 보정시키기 위해 문헌길이를 반영한 가중치 알고리즘들이 좋은 성능을 보이는 특징을 보였다.
- 본 논문에서는 용어가중치 결합이 검색 성능에 미치는 영향을 분석하기 위해 다양한 실험집단을 대상으로 여러 가중치 알고리즘들을 결함한 결과 욤어가 중치 결합의 효율성은 실험집단과 가중치트성에 의존적이었다. .
- 여기서 한 가지 주목할 만한 실험 결과는 문헌 내 단어 빈도를 图대단어빈도로 정규화한 atn 가중치가 코사인 정규화 기법을 적용한 가중치 알고리즘들과 결합하였을 때 5개 살험집단(KT95, KRIST, CACM, CISL MED)에서 최적 단일가중치와 비교해 2% 이상의 향상률을 보였다 이는 상이한 특성을 지니는 용어가중치 알고리즘들이 장단점을 보완하여 검색 성능을 향상시킬 수 있디는 것을 의미한다
- 본 논문에서 사용한 실험집단 7개에서 각 가중치의 범주별로 최상위 가중치 알고리즘들은 보정된 단어 빈도와 역문헌빈도의 조합 수준이 3개(曲 htn, stn), 코사인 정규화 기법을 적용한 가중치 알고리즘이 2개 〔亦 Itc), 피벗 문헌길이 정규화 기법을 적용한 가중치 알고리즘이 2개 dtii), OE 문헌길이 정규화 기법을 적용한 가중치 알고 즘이 2개(o也 珈)로 총 9개 가중치로 나타났다. 최상위 가중치 알고리즘들 가운데 Itc 가중치는 코사인 정규화 기법을 사용한 가중치 알고리즘에서, otb 가중치는 Okapi 문헌길이 정규화 기법을 적용한 가중치 알고리즘에서 각각 가장 좋은 평균 성능을 보였다 이들 Itc, otb 가중치 알고리즘들은 5개 실험집단(CACM, CTSL CRAN, USA, MED)데서 가장 높은 검색 효율을 보이는 안정적인 성능을 보였다 피벗 문힌 길이 정규화는 정규화인자로 고유단 어수를 이용한 가중치 알고리즘들이 좋은 성능을 보였으며, 문헌 내 단어 빈도와 역문헌빈도 조합 수즌에서는 단어 출현빈도를 보정시키기 위해 문헌길이를 반영한 가중치 알고리즘들이 좋은 성능을 보이는 특징을 보였다.
- 이를 통해 대부분의 가중치 알고리즘이 다른 가중치 알고리즘과 견함했을 때 최적의 단일가중치보다 2% 이상의 높은 성능을 보이지 않는다는 것을 알 수 있다. 특히 단순 조합인 rm 코사인 정규화 기법을 적용한 anc, 피벗코사인 정규화인 Lnu, dtu 가중치들이 다른 가중치와 결합될 때는 모든 실험집단에서 최적의 단일가중치보다 2% 이상 높은 성능을 보이지 않았다.
- 한편, 실험집단 4개 이상에서 3% 이상의 성능 향상을 보인 용어기중치 결합의 개수를 결합함 수별로 비교해보면 합계함수(SUM)가 3% 이상에서 10개, 5% 이상에서 5개로 최소 값 선택함수(MIN)나 최대값 선택함수(MAX)보다 성능이 향상된 용어가중치 결합 개수가 많았으며, 최대값 선택함수(MAX)로 문서값을 결합할 경우 4개 신험집단 이상에서 성능이 향상된 용어가중치 결합은 하나도 없었다. 그리고 용어가중치 결합에서 문서값 정규화와 검색성능간의 상관관계를 분석한 결과 문서값 정규화 과정은 필수적이나 문서값 정규화기법들간에 는 현저한 성능 차이를 보이지 않았으며, 실험집단과 가중치 알고리즘의 특성이 검색 성능에 더 많은 영향을 미쳤다.
후속연구
- 그리고 SMART 시스템에서 사용하는 전통적인 가중치 기법들 간의 결합은 높은 성능 향상률을 보였으나 단순 조합 수준에서 문헌길이를 반영한 가중치 알고리즘, 피벗코사인 정규화, 그리고 Okapi 문헌길이 정규화를 적용한 가증치알고리즘들 보다 5% 이상 높은 검색 성능을 보이지는 못했다 비록 각 용어가중치 결합의 성능이 높게 나타날지라도 최적의 성능을 보인 단일가중치와 비교하면 그 검색성능의 차이가 미미하거나 낮아서 대부분의 용어가중치 결합이 실질적으로 효가적이지 못하였다. 이런 문제들을 해결하기 위한 향후 연구과제로는 컬렉션과 질의 륵성에 따른 적응형 용어가중치 결합연구가 필요할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.