선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 인터넷 탐색엔진의 평가에 관한 실험연구는 검색실험에 사용되는 검색질의, 평가주체가 평가의 성격을 결정짓는다 할 수 있다. 기존의 연구들을, 연구대상으로 한 탐색엔진, 평가에 사용한 검색질의, 평가자에 대해 분석하고자 한다.
- 본 연구를 통해 이용자의 주관적인 판단에 의한 적합성을 파악하고 기존의 탐색엔진을 비교, 평가한 다른 연구와는 어떠한 차이가 있는지를 밝히고자 한다. 또한 본 연구의 결과를 바탕으로 국내 탐색엔진의 기능을 향상시키고, 나아가 이용자에게 적합한 국내 웹 탐색엔진을 개발하는데 기여하고자 한다. 아울러 다양한 이용자 중심의 탐색엔진 평가방법이 앞으로 많은 연구에 활용되기를 기대한다.
- 본 연구는 국내 인터넷 탐색엔진 한글알타비스타와 네이버를 독립 변인으로 정하고, 검색효율성, 검색결과의 정확률, 검색결과의 갱신성, 이용자의 만족도 등을 종속변인으로하여 서로 비교, 평가하고자 한다. 실험에 참가하는 피실험자는 하나의 인터넷 탐색엔진을 사용하는데 불편이 없는 성균관대학교 학생으로 선정하며, 탐색질의를 제한하지 않고 각자 인터넷을 통해 찾고자 하는 자신들의 검색질의를 가지고 탐색을 실행하도록 한다.
- 본 연구는 국내 인터넷 탐색엔진 한글알타비스타와 네이버의 검색효율성, 정확률, 갱신성, 이용자의 만족도에 있어서 어떠한 차이가 있는지를 밝히려 하였다. 이 연구를 통하여 얻어진 결론은 다음과 같다.
- 최근에는 탐색엔진들간의 검색기능과 네티즌의 눈길을 끌기 위한 부가서비스 개발 경쟁이 매우치열하다. 본 연구는 탐색엔진의 성격과 검색기능을 고려해서 이들 국내 인터넷 탐색엔진 중에서 한글알타비스타와 네이버를 평가 대상으로 선정하여 실제 이용자들의 탐색을 통해 그 성능을 비교, 평가하고자 한다.
- 본 연구의 목적은 이러한 수(Su)의 이용자중심의 평가기준을 바탕으로 하여 국내 탐색엔진 한글알타비스타와 네이버의 검색효율성, 탐색결과의 정확률, 갱신성, 이용자의 만족도를 비교 평가하고자 한다. 본 연구를 통해 이용자의 주관적인 판단에 의한 적합성을 파악하고 기존의 탐색엔진을 비교, 평가한 다른 연구와는 어떠한 차이가 있는지를 밝히고자 한다. 또한 본 연구의 결과를 바탕으로 국내 탐색엔진의 기능을 향상시키고, 나아가 이용자에게 적합한 국내 웹 탐색엔진을 개발하는데 기여하고자 한다.
- 본 연구의 목적은 이러한 수(Su)의 이용자중심의 평가기준을 바탕으로 하여 국내 탐색엔진 한글알타비스타와 네이버의 검색효율성, 탐색결과의 정확률, 갱신성, 이용자의 만족도를 비교 평가하고자 한다. 본 연구를 통해 이용자의 주관적인 판단에 의한 적합성을 파악하고 기존의 탐색엔진을 비교, 평가한 다른 연구와는 어떠한 차이가 있는지를 밝히고자 한다.
- 본 연구의 목적은 이용자의 실제질의를 바탕으로 국내 탐색엔진 한글알타비스타와 네이버의 검색효율성, 검색결과의 정확률, 검색결과의 갱신성, 이용자의 만족도를 비교 평가하는 하는 것이다.
가설 설정
- 1) 탐색엔진 한글알타비스타와 네이버의 검색효율성(efficiency)에는 차이가 없을 것이다.
- 2) 탐색엔진 한글알타비스타와 네이버 검색 결과의 정확률(precision)에는 차이가 없을 것이다.
- 3) 탐색엔진 한글알타비스타와 네이버 검색 결과의 갱신성(validity of the links)에는 차이가 없을 것이다.
- 4) 탐색엔진 한글알타비스타와 네이버 검색에 대한 이용자의 만족도(satisfaction)에는 차이가 없을 것이다.
제안 방법
- 1. 데드링크된 사이트: 본 실험에서는 탐색엔진의 연결성을 알아보기 위해서 각 탐색엔진의 출력 결과 상위 20건에 대해서, 실험자는 하이퍼링크가 된 것 중에서 데드링크된 사이트의 비율이 몇인지를 조사한다. 데드링크된 사이트는 각 검색결과에 대해 “Not Found” 나 “HTTP 404오류”와 같이 해당페이지가 존재하지 않는 사이트와 “서버에 연결되지 않습니다”처럼 서버에 연결이 안 되는 사이트로 나누어 조사한다.
- 1. 탐색엔진의 기능에 대한 만족도: 탐색에 직접적인 영향을 미치는 탐색엔진의 기능에 관한 만족도를 말하며 5문항으로 이루어졌다.
- 2) 피실험자는 질문지를 통해, 성별, 전공, 주제에 대한 지식의 정도와 자신의 검색질의를 밝히고, 두 탐색엔진 중 하나로 검색을 수행한다.
- 2. 중복탐색된 사이트: 본 실험에서는 중복 탐색을 검색결과 상위 20건에 대해서 동일한 사이트와 요약정보가 같은 사이트를 조사한다. 동일한 사이트는 주소가 동일하고 사이트의 내용이 일치한 사이트이며, 요약정보가 같은 사이트는 주소에서 마지막 파일명만 다르고 요약정보 내용이 같은 사이트를 말한다.
- 3) 실험자는 피실험자의 검색질의와 피실험자가 사용한 탐색용어, 연산자, 탐색시간, 탐색단계를 빠짐없이 기록하고 모든 탐색과정을 시스템을 이용해 자동 저장하여 후에 이를 분석한다.
- 7) 따라서, 기존의 연구들은 평가자의 주관적인 평가를 배제하고 객관적인 정확률을 산출하기 위해 같은 검색결과에 대해 한명 이상의 평가자를 두어 적합성을 판정하게 하거나, 적합성 판정의 기준을 두어 검색결과를 순위화하는 방법을 사용하였다. 본 연구는 이용자 중심의 평가를 수행하는 게 연구의 주 목적이기 때문에 피실험자의 적합성 판정 여부만을 사용하였다.
- 8) 실험자는 검색결과 20건에 대해 데드링크된 사이트의 수와 중복된 사이트의 수를 조사한다.
- 검색결과의 갱신성: 본 연구에서는 검색결과의 갱신성에 영향이 클 변인으로 데드링크된 사이트, 중복탐색된 사이트를 설정하며 다음과 같이 측정한다.
- 검색효율성(Retrieval Efficiency): 본 연구에서는 검색효율성의 주요변인으로 검색시간, 검색에 사용한 검색어의 수, 연산자의 수로 설정하고 다음과 같이 측정한다.
- 데드링크된 사이트: 본 실험에서는 탐색엔진의 연결성을 알아보기 위해서 각 탐색엔진의 출력 결과 상위 20건에 대해서, 실험자는 하이퍼링크가 된 것 중에서 데드링크된 사이트의 비율이 몇인지를 조사한다. 데드링크된 사이트는 각 검색결과에 대해 “Not Found” 나 “HTTP 404오류”와 같이 해당페이지가 존재하지 않는 사이트와 “서버에 연결되지 않습니다”처럼 서버에 연결이 안 되는 사이트로 나누어 조사한다.
- (1999)은 인터넷 데이터베이스와 온라인 데이터베이스의 검색시스템 검색효율을 비교하기 위하여 검색소요시간을 변인으로 설정하고 측정하였다. 또한, 이용자가 검색을 시작하여 최종의 검색결과를 얻을 때까지의 전과정을 분석하여, 검색효율성을 측정하였다. 실험 결과, 검색소요시간은 4명의 정보검색사가 6개의 질문 모두를 검색하는데 있어서 인터넷 데이터베이스가 상용 온라인 데이터베이스 보다 약 3배의 검색시간이 소요되었다.
- 본 연구에서 두 탐색엔진, 한글알타비스타와 네이버를 독립변인으로 선정하였으며 종속변인은 검색효율성, 검색결과의 정확률, 검색결과의 갱신성, 이용자의 만족도 등을 측정하는 것이다.
- 본 연구에서 선정된 피실험자들은 성균관대학교 학생으로서 전공학과에 제한없이 선정되었다. 신청서를 배포하고 내용을 설명한 후 흥미가 있고 참여의사가 있는 사람이 자발적으로 참여하도록 하였다. 가능한 한 동질적인 피실험자들을 표집하기 위해서, 탐색엔진을 사용해 본 경험이 있는 사람을 대상으로 하며, 이들은 인터넷을 통해 찾고자 하는 각기 다른 탐색 질의를 가지고 실험에 임한다.
- 는 주제별 디렉토리 서비스를 제공하고 있는 탐색엔진으로 야후와 키워드 탐색엔진 알타비스타의 검색효율을 비교하기 위해 실험연구를 하였다. 실험에 사용한 검색 질의는 연구자가 전에 참고질의로 사용되었던 검색질의 6개를 사용하였고, 연구자가 검색을 실행하고 그 결과에 대해 적합성을 판정하였다. 탐색엔진의 평가요소로는 상대재현율, 정확률, 총 출력문헌 수, 적합문헌의 수를 선정하였다.
- 실험은 검색자간의 오차를 줄이기 위해, 한피실험자가 동일한 검색질의로 한글알타비스타와 네이버 모두를 이용해 검색을 하도록 했고, 탐색엔진을 이용해 검색하는 일정한 순서로 인해 한 탐색엔진에서 얻은 경험이 두번째 탐색엔진의 결과에 영향을 미치는 전이효과(transfer effect)를 상쇄하기 위해서 무작위로 피실험자를 두 집단으로 나누어 탐색엔진의 검색순서를 통제했다. 한 집단은 한글알타비스타로 자신의 검색질의에 대해 실험을 시작하고, 실험이 끝나면, 네이버로 같은 검색질의로 실험을 반복하게 한다.
- 이용자의 탐색엔진에 대한 만족도: 본 연구는 탐색엔진에 대한 만족도를 측정하기 위해 탐색엔진의 기능에 대한 만족도와 인터페이스에 대한 만족도를 설정했다. 탐색엔진의 만족도는 하나의 탐색엔진에 대한 실험이 끝난 후, 피실험자와의 면담과 질문지를 통해 측정한다.
- 그러나, 같은 주소인데도 그 요약정보 내용이 다르면 이용자가 적합성을 판정하는데 영향을 미치므로, 이는 중복탐색에서 제외한다. 중복의 정도는 실험자가 피실험자의 한 탐색엔진에 대한 실험이 끝나면 검색결과 상위 20건을 조사하여 측정한다.
- 탐색엔진들을 비교하기 위해 롱아일랜드 대학 도서관의 참고 질의 10개를 실험에 사용하였고, 연구자가 검색결과의 적합성을 평가하였다. 탐색엔진에 대해 불리언연산자, 절단검색, 필드검색, 구문검색과 같은 검색성능과 정확성, 응답시간을 평가요소로하여 검색효율을 비교하였다.
- 이용자의 탐색엔진에 대한 만족도: 본 연구는 탐색엔진에 대한 만족도를 측정하기 위해 탐색엔진의 기능에 대한 만족도와 인터페이스에 대한 만족도를 설정했다. 탐색엔진의 만족도는 하나의 탐색엔진에 대한 실험이 끝난 후, 피실험자와의 면담과 질문지를 통해 측정한다. 각 질문은 10점 척도(1: ‘매우 불만족’ 10: ‘매우만족’)로 답하게 했다.
- 1) 피실험자는 실험내용과 절차에 대해 설명을 받는다. 피실험자에게 네이버와 한글알타비스타의 도움말로 구성된 도움자료를 제공하고, 탐색할 때 이를 참조할 수 있도록 한다.
- 피실험자의 온라인탐색 수업 및 탐색엔진 사용경험여부: 피실험자의 온라인탐색 수업 및 탐색엔진 사용경험여부는 실험 전 면담을 통해 조사한 결과를 분석한 것이다. 온라인탐색 및 인터넷 탐색엔진에 대해 교육을 받은 경험이 있는 피실험자는 총 21명이었다.
- 피실험자의 주제지식: 실험 전 질문지를 통해서, 피실험자가 찾고자 하는 탐색질문의 주제에 대해 어느정도 알고 있는지를 질문한 결과를 분석한 것이다. 질문지를 통해 10점 척도를 기준으로 하여 1(전혀모른다), 5는 14명으로 46.
- 한글알타비스타와 네이버의 검색효율성에 관한 변인들은 자동으로 저장된 시스템의 기록과 함께, 실험자의 기록을 바탕으로 분석하였다. 한글알타비스타와 네이버에 대한 탐색시간은 평균값으로는 한글알타비스타의 탐색 시간이 네이버 보다 많이 걸린 것으로 나타났으나, 유의수준 5%에서 통계적으로는 한글알타비스타와 네이버 사이에 뚜렷한 차이를 보이지 않았다.
- 한글알타비스타와 네이버의 탐색성능에 대한 비교분석은 첫째, 검색효율성, 둘째, 검색결과의 정확률, 셋째, 검색결과의 갱신성, 넷째, 검색에 대한 이용자의 만족도 등의 네가지 요인으로 구분하여 앞에서 제시한 제가설을 검정하기로 한다. 네가지 요인 중 이용자 만족도를 제외한 나머지 검색효율성, 정확률, 갱신성에 대한 한글알타비스타와 네이버의 비교분석은 실험에 참가한 총 30명의 피실험자 중 검색을 실패했거나 검색을 도중에 포기한 2명을 제외한, 28명의 데이터를 표본으로하였다.
대상 데이터
- 신청서를 배포하고 내용을 설명한 후 흥미가 있고 참여의사가 있는 사람이 자발적으로 참여하도록 하였다. 가능한 한 동질적인 피실험자들을 표집하기 위해서, 탐색엔진을 사용해 본 경험이 있는 사람을 대상으로 하며, 이들은 인터넷을 통해 찾고자 하는 각기 다른 탐색 질의를 가지고 실험에 임한다. 실험에 참가한 피실험자들은 총 30명으로 남자는 13명, 여자는 17명이었다.
- 한글알타비스타와 네이버의 탐색성능에 대한 비교분석은 첫째, 검색효율성, 둘째, 검색결과의 정확률, 셋째, 검색결과의 갱신성, 넷째, 검색에 대한 이용자의 만족도 등의 네가지 요인으로 구분하여 앞에서 제시한 제가설을 검정하기로 한다. 네가지 요인 중 이용자 만족도를 제외한 나머지 검색효율성, 정확률, 갱신성에 대한 한글알타비스타와 네이버의 비교분석은 실험에 참가한 총 30명의 피실험자 중 검색을 실패했거나 검색을 도중에 포기한 2명을 제외한, 28명의 데이터를 표본으로하였다. 본 연구에서는 가설의 검정을 위하여 평균차이를 검정하는 T검정(t-test)을 사용하여 대응비교한 결과를 분석하였다.
- 본 연구에서 선정된 피실험자들은 성균관대학교 학생으로서 전공학과에 제한없이 선정되었다. 신청서를 배포하고 내용을 설명한 후 흥미가 있고 참여의사가 있는 사람이 자발적으로 참여하도록 하였다.
- 본 연구는 국내 인터넷 탐색엔진 한글알타비스타와 네이버를 독립 변인으로 정하고, 검색효율성, 검색결과의 정확률, 검색결과의 갱신성, 이용자의 만족도 등을 종속변인으로하여 서로 비교, 평가하고자 한다. 실험에 참가하는 피실험자는 하나의 인터넷 탐색엔진을 사용하는데 불편이 없는 성균관대학교 학생으로 선정하며, 탐색질의를 제한하지 않고 각자 인터넷을 통해 찾고자 하는 자신들의 검색질의를 가지고 탐색을 실행하도록 한다.
- 가능한 한 동질적인 피실험자들을 표집하기 위해서, 탐색엔진을 사용해 본 경험이 있는 사람을 대상으로 하며, 이들은 인터넷을 통해 찾고자 하는 각기 다른 탐색 질의를 가지고 실험에 임한다. 실험에 참가한 피실험자들은 총 30명으로 남자는 13명, 여자는 17명이었다. 피실험자들의 전공은 모두 4개로 문헌정보학, 경영학, 전기전자컴퓨터학, 영어영문학이었으며, 1학년은 없었다.
- 피실험자의 온라인탐색 수업 및 탐색엔진 사용경험여부: 피실험자의 온라인탐색 수업 및 탐색엔진 사용경험여부는 실험 전 면담을 통해 조사한 결과를 분석한 것이다. 온라인탐색 및 인터넷 탐색엔진에 대해 교육을 받은 경험이 있는 피실험자는 총 21명이었다. 또한 한글알타비스타와 네이버의 사용경험에 대해선 한글알타비스타를 사용해 본 적이 없는 피실험자가 8명, 네이버를 사용해 본 적이 없는 피실험자가 8명으로 동일하였다.
- 은 탐색엔진 알타비스타, 라이코스, 익사이트의 검색효율을 비교하였다. 탐색엔진들을 비교하기 위해 롱아일랜드 대학 도서관의 참고 질의 10개를 실험에 사용하였고, 연구자가 검색결과의 적합성을 평가하였다. 탐색엔진에 대해 불리언연산자, 절단검색, 필드검색, 구문검색과 같은 검색성능과 정확성, 응답시간을 평가요소로하여 검색효율을 비교하였다.
- 실험에 사용한 검색 질의는 연구자가 전에 참고질의로 사용되었던 검색질의 6개를 사용하였고, 연구자가 검색을 실행하고 그 결과에 대해 적합성을 판정하였다. 탐색엔진의 평가요소로는 상대재현율, 정확률, 총 출력문헌 수, 적합문헌의 수를 선정하였다. 연구결과 알타비스타는 특정적이고 전문적인 용어의 탐색에 적합한 반면, 야후는 일반적이며 추상적인 용어의 탐색에 적합하다고 하였다.
데이터처리
- 네가지 요인 중 이용자 만족도를 제외한 나머지 검색효율성, 정확률, 갱신성에 대한 한글알타비스타와 네이버의 비교분석은 실험에 참가한 총 30명의 피실험자 중 검색을 실패했거나 검색을 도중에 포기한 2명을 제외한, 28명의 데이터를 표본으로하였다. 본 연구에서는 가설의 검정을 위하여 평균차이를 검정하는 T검정(t-test)을 사용하여 대응비교한 결과를 분석하였다. 통계처리는 SAS를 사용하였으며, 유의수준은 5%로 정했다.
- 본 연구에서는 가설의 검정을 위하여 평균차이를 검정하는 T검정(t-test)을 사용하여 대응비교한 결과를 분석하였다. 통계처리는 SAS를 사용하였으며, 유의수준은 5%로 정했다.
성능/효과
- 2) 검색식: 피실험자가 찾고자 하는 결과물을 얻기까지 사용한 탐색식의 수를 모두 합한 것으로, 탐색과정에서 변화한 탐색식의 수를 모두 포함한다. 이때, 네이버의 확장검색이나 한글알타비스타의 조건검색을 사용하는 경우, 이것도 하나의 탐색식으로 간주하여 계산한다.
- 2. 탐색엔진의 인터페이스에 대한 만족도: 탐색엔진의 인터페이스에 해당하는 화면구성, 용어의 이해 등에 관한 만족도로 7문항으로 이루어졌다.
- • 요약정보와 실제사이트에 의거한 정확률은 한글알타비스타와 네이버간에 현저한 차이가 없었다.
- • 탐색엔진의 인터페이스에 대한 만족도에서는 한글알타비스타와 네이버 사이에 현저한 차이가 없었다.
- • 한글알타비스타에서 데드링크된 사이트의 비율이 네이버 보다현저하게 높았다
- • 한글알타비스타에서 중복된 사이트의 비율이 네이버보다 현저하게 낮았다.
- • 한글알타비스타의 기능에 대한 만족도가 네이버보다 낮았다.
- 갱신성에 있어서 데드링크된 사이트에 네이버가 한글알타비스타보다 우위를 보였고, 이와 반대로 중복탐색된 사이트에 대해선 한글알타비스타가 네이버보다 갱신성의 우위를 보였다. 그러나, 이용자들의 요구사항에서 가장 많이 거론되는 것이 갱신성에 관련되는 부분들로 두 탐색엔진 모두 갱신성의 개선을 통해 이용자에게 최신의 정보를 제공할 수 있도록 노력해야 할 것이다.
- 은 인터넷 탐색엔진 알타비스타, 핫봇, 오픈텍스트 인덱스의 검색효율을 비교하는 기준으로 중복탐색의 정도를 조사하기 위해 동일한 사이트나 문서가 중복되어 검색된 경우를 조사하였다. 검색효율에 있어서는 탐색엔진들의 검색결과에 대해서 상대재현율과 정확률을 측정하였는데 탐색질문의 유형에 관계없이 알타비스타, 핫봇, 오픈텍스트인덱스가 비교적 좋은 검색효율을 보였으며 대부분의 탐색엔진은 질문의 유형에 따라 다른 검색효율을 보였다. 중복탐색의 정도는 마젤란, 웹크롤러, 야후를 제외한 나머지 탐색엔진들에서 모두 높게 나타났다.
- 또한, 요약정보에 의거한 정확률과 실제사이트의 내용에 의거한 정확률에 있어서 통계적으로 두 탐색엔진 사이에 현저한 차이가 없었다. 그러나, 요약정보에 의거한 정확률이 한글알타비스타가 평균 0.28, 네이버가 평균 0.34였으며 실제사이트의 내용에 의거한 정확률도 한글알타비스타가 평균 0.30, 네이버가 0.36으로 현저히 낮은 수치를 보여준다. 이는 검색결과에서 적합한 문헌이 순위 10~20개내 출력되지 않고 있으며 탐색엔진의 적합성 순위 결정방식에 문제가 있다는 것을 보여주는것이다.
- 1327로 유의수준 5%에서 통계적으로 두 탐색엔진 사이에 현저한 차이를 보이지 않았다. 그러나, 해당페이지가 존재하지 않는 사이트와 서버가 연결 안되는 사이트를 합한 비율은 한글알타비스타와 네이버의 평균 차이에 대한 유의도(p값)은 0.0152로 두 탐색엔진 간에 현저한 차이가 있는 것으로 나타났다.
- 데드링크된 사이트: 한글알타비스타와 네이버에 대해 해당페이지가 존재하지 않는 사이트에는 평균값으로는 한글알타비스타가 네이버보다 높은 비율을 보였으나, 두 탐색엔진의 평균 차이에 대한 유의도(p값)이 0.0648로 유의수준 5%에서 통계적으로는 두 탐색엔진 사이에 현저한 차이를 보이지 않고 있으나, 0.05에 거의 근접하는 차이를 보였다. 또한, 서버에 연결이 되지 않는 사이트에 대해서도 평균값으로는 한글알타비스타가 높은 비율을 보였으나, 두 탐색엔진의 평균 차이에 대한 유의도(p값)이 0.
- 이외에 전체적인 화면의 구성에 대한 만족도, 연산자를 익히고 사용하는데 어려움은 없었는가, WebHelp나 도움말이 탐색하는데 도움을 주었는가, 요약정보가 적합성을 판정하는데 도움을 주었는가, 동적하이라이트가 적합성을 판정하는데 도움을 주었는가에 대해선 평균값으로는 네이버가 높았으나, 통계적으로 유의한 차이를 보이지 않았다. 또한, 검색Tip이나 Help가 탐색하는데 도움을 주었는가에 대해선 평균값으로는 한글알타비스타의 만족도가 네이버보다 높았으나, 통계적으로 유의한 차이를 보이지 않았고, 이는 한글알타비스타와 네이버의 인터페이스에 대해 느끼는 이용자의 만족도에 현저한 차이가 없음을 의미한다.
- 05에 거의 근접하는 차이를 보였다. 또한, 서버에 연결이 되지 않는 사이트에 대해서도 평균값으로는 한글알타비스타가 높은 비율을 보였으나, 두 탐색엔진의 평균 차이에 대한 유의도(p값)이 0.1327로 유의수준 5%에서 통계적으로 두 탐색엔진 사이에 현저한 차이를 보이지 않았다. 그러나, 해당페이지가 존재하지 않는 사이트와 서버가 연결 안되는 사이트를 합한 비율은 한글알타비스타와 네이버의 평균 차이에 대한 유의도(p값)은 0.
- 또한, 요약정보에 의거한 정확률과 실제사이트의 내용에 의거한 정확률에 있어서 통계적으로 두 탐색엔진 사이에 현저한 차이가 없었다. 그러나, 요약정보에 의거한 정확률이 한글알타비스타가 평균 0.
- 마지막으로, 이용자의 인터페이스에 대한 만족도를 통해 무엇보다 한글알타비스타와 네이버의 도움말, Webhelp, Help, 검색Tip 기능이 빈약함을 알 수 있었다. 특히 온라인 도움말 기능에 있어서 더욱 충실하고 검색예제를 충분히 제시하여 이용자들이 따로 탐색엔진에 대한 교육이 없이도 검색식이나 연산자를 활용할 수 있도록 하여야 한다.
- 6833로 통계적으로 유의한 차이를 보이지 않았다. 실제사이트와 요약정보의 합한 중복비율은 한글알타비스타와 네이버의 평균 차이에 대한 유의도(p값)은 0.0002로 현저한 차이가 있는것으로 나타났다.
- 실제사이트의 내용에 의거한 정확률: 적합한 문헌에 대한 실제사이트의 내용에 의거한 정확률에 대해서 한글알타비스타와 네이버의 평균값에 있어서는 네이버가 더 높은 수치를 보였으나, 평균 차이에 대한 유의도(p값)은 0.3836으로 유의수준 5%에서 통계적으로는 현저한 차이를 보이지 못했고, 적합한 문헌과 부분적으로 적합한 문헌을 합해 계산한 실제 사이트의 내용에 의거한 확장정확률은 평균값으로는 네이버가 한글알타비스타 보다 높았으나, 두 탐색엔진의 평균 차이에 관해 유의수준 5%에서 유의도(p값)이 0.2368로 통계적으로는 현저한 차이를 보이지 못했다.
- 또한, 이용자가 검색을 시작하여 최종의 검색결과를 얻을 때까지의 전과정을 분석하여, 검색효율성을 측정하였다. 실험 결과, 검색소요시간은 4명의 정보검색사가 6개의 질문 모두를 검색하는데 있어서 인터넷 데이터베이스가 상용 온라인 데이터베이스 보다 약 3배의 검색시간이 소요되었다. 적합성 측정에서는 검색자와 질문자 적합성 평가에 차이가 없었다.
- 탐색엔진의 평가요소로는 상대재현율, 정확률, 총 출력문헌 수, 적합문헌의 수를 선정하였다. 연구결과 알타비스타는 특정적이고 전문적인 용어의 탐색에 적합한 반면, 야후는 일반적이며 추상적인 용어의 탐색에 적합하다고 하였다.
- 탐색엔진을 사용하는데 어려움은 없었는지에 대해서 네이버가 한글알타비스타보다 높은 값을 보였으나, 두 탐색엔진간의 유의한 차이를 보이지 않았다. 연산자의 기능에 대한 만족도에 대해서 두 검색엔진간에 통계적으로 뚜렷한 차이가 있는 것으로 나타났다. 탐색결과가 정보요구를 해결하는데 도움이 되었는지에 대해서두 검색엔진간의 유의수준 통계적으로 유의한 차이가 있는 것으로 나타났다.
- 요약정보에 의거한 정확률: 적합한 문헌에 대한 요약정보에 의거한 정확률에 대해서 한글알타비스타와 네이버의 평균 차이에 대한 유의도(p값)은 0.399로 유의한 차이를 보이지 못했고, 적합한 문헌과 부분적으로 적합한 문헌을 합해 계산한 요약정보의 확장정확률은 평균값으로는 네이버가 한글알타비스타 보다 높았으나, 두 탐색엔진의 평균 차이에 관한 유의도(p값)이 0.0661로 현저한 차이가 보이지 못했다.
- 이상과 같이 한글알타비스타와 네이버의 검색효율성, 갱신성, 이용자의 만족도에 대하여 차이가 있다는 것이 밝혀졌다. 이외에 연구결과에 의하면, 검색효율성에 있어서 이용자들이 한글알타비스타로 검색할 때 연산자를 네이버보다 더 많이 사용하는 반면에, 이용자들이 느끼는 연산자의 기능에 대한 만족도는 낮았다.
- 탐색엔진의 인터페이스에 관한 비교분석: 화면에서 사용하고 있는 용어들이 이해하기 쉬웠는가에 대해서 네이버의 화면에서 사용하고 있는 용어들이 한글알타비스타보다 이해하기 쉬웠다고 나타났다. 이외에 전체적인 화면의 구성에 대한 만족도, 연산자를 익히고 사용하는데 어려움은 없었는가, WebHelp나 도움말이 탐색하는데 도움을 주었는가, 요약정보가 적합성을 판정하는데 도움을 주었는가, 동적하이라이트가 적합성을 판정하는데 도움을 주었는가에 대해선 평균값으로는 네이버가 높았으나, 통계적으로 유의한 차이를 보이지 않았다. 또한, 검색Tip이나 Help가 탐색하는데 도움을 주었는가에 대해선 평균값으로는 한글알타비스타의 만족도가 네이버보다 높았으나, 통계적으로 유의한 차이를 보이지 않았고, 이는 한글알타비스타와 네이버의 인터페이스에 대해 느끼는 이용자의 만족도에 현저한 차이가 없음을 의미한다.
- 한글알타비스타와 네이버에 대한 이용자의 요구기능에 관한 비교분석은 실험 후 면담을 바탕으로 분석한 결과를 정리한 것이다. 전체적으로 한글알타비스타는 네이버와 비교했을 때, 검색결과가 너무 방대하며, 네이버는 상대적으로 검색결과가 너무 빈약하다고 피실험자들은 생각했다. 한글알타비스타와 네이버에 대해 공통적인 이용자들의 요구기능은 기존의 연구11)와 일치한다.
- 중복된 사이트: 한글알타비스타와 네이버에 대한 중복탐색된 사이트에 대해서, 검색결과 20건에 대한 동일한 사이트의 비율에 있어서 한글알타비스타와 네이버의 평균 차이에 대한 유의도(p값)은 0.0001로 통계적으로 유의한 차이가 있었다. 요약정보의 중복비율의 평균값은 한글알타비스타가 네이버 보다 높았으나, 두 탐색엔진의 차이에 대한 유의도(p값)이 0.
- 연산자의 기능에 대한 만족도에 대해서 두 검색엔진간에 통계적으로 뚜렷한 차이가 있는 것으로 나타났다. 탐색결과가 정보요구를 해결하는데 도움이 되었는지에 대해서두 검색엔진간의 유의수준 통계적으로 유의한 차이가 있는 것으로 나타났다. 탐색결과로 충분한가에 대해서도 검색엔진간에 통계적으로 뚜렷한 차이가 있는 것으로 나타났다.
- 탐색엔진의 기능에 관한 만족도 비교 분석: 탐색엔진의 전반적인 만족도에 대해서 한글알타비스타와 네이버의 집단 사이에 통계적으로 유의한 차이가 있는 것으로 나타났다. 탐색엔진을 사용하는데 어려움은 없었는지에 대해서 네이버가 한글알타비스타보다 높은 값을 보였으나, 두 탐색엔진간의 유의한 차이를 보이지 않았다.
- 탐색엔진의 인터페이스에 관한 비교분석: 화면에서 사용하고 있는 용어들이 이해하기 쉬웠는가에 대해서 네이버의 화면에서 사용하고 있는 용어들이 한글알타비스타보다 이해하기 쉬웠다고 나타났다. 이외에 전체적인 화면의 구성에 대한 만족도, 연산자를 익히고 사용하는데 어려움은 없었는가, WebHelp나 도움말이 탐색하는데 도움을 주었는가, 요약정보가 적합성을 판정하는데 도움을 주었는가, 동적하이라이트가 적합성을 판정하는데 도움을 주었는가에 대해선 평균값으로는 네이버가 높았으나, 통계적으로 유의한 차이를 보이지 않았다.
- 한글알타비스타와 네이버에 대한 탐색시간은 평균값으로는 한글알타비스타의 탐색 시간이 네이버 보다 많이 걸린 것으로 나타났으나, 유의수준 5%에서 통계적으로는 한글알타비스타와 네이버 사이에 뚜렷한 차이를 보이지 않았다. 한글알타비스타와 네이버간에 사용한 탐색식의 수에 대해서도 평균값으로는 한글알타비스타가 네이버보다 더 많은 탐색식을 사용하는 것으로 나타났으나, 5%의 유의수준에는 미치지 못했다. 반면, 한글알타비스타와 네이버에서 사용한 연산자의 수에 대해서 한글알타비스타와 네이버의 평균 차이에 대한 유의도(p)값은 0.
- 한글알타비스타와 네이버의 검색효율성에 관한 변인들은 자동으로 저장된 시스템의 기록과 함께, 실험자의 기록을 바탕으로 분석하였다. 한글알타비스타와 네이버에 대한 탐색시간은 평균값으로는 한글알타비스타의 탐색 시간이 네이버 보다 많이 걸린 것으로 나타났으나, 유의수준 5%에서 통계적으로는 한글알타비스타와 네이버 사이에 뚜렷한 차이를 보이지 않았다. 한글알타비스타와 네이버간에 사용한 탐색식의 수에 대해서도 평균값으로는 한글알타비스타가 네이버보다 더 많은 탐색식을 사용하는 것으로 나타났으나, 5%의 유의수준에는 미치지 못했다.
후속연구
- 앞으로 다른 인터넷 탐색엔진에 대해서도 최종 이용자 관점으로 이루어진 평가들이 필요하며, 이러한 이용자 중심의 탐색엔진의 평가가 지속적으로 이루어져야 한다. 또한 시간이 경과한 후, 같은 검색질의에 대해 한글알타비스타와 네이버를 재평가함으로써 그 연구결과가 어떻게 달라졌는지를 보는 연구가 있어야 할 것이다. 아울러, 이 연구에 사용된 이용자 중심의 평가 방법론이 다른 연구에도 적용되기를 기대한다.
- 마찬가지로 정보전문가는 탐색엔진의 평가를 통해 제공한 정보서비스를 이용자가 어떻게 활용하는지를 파악해 검색엔진의 향상에 도움을 주는 구체적이며 유용한 정보를 제공할 수 있어야 한다. 또한 이용자는 탐색엔진의 평가를 통해 자신의 정보요구에 적합한 탐색엔진을 선택하고 효율적으로 검색을 할 수 있을 것이다. 이처럼 탐색엔진의 평가는 탐색엔진 설계자 뿐 아니라 정보전문가나 인터넷을 사용하는 최종이용자들에게도 매우 중요한 일이다.
- 따라서, 주제마다 다양한 자료를 갖추길 원하였다. 또한 이용자들은 검색결과의 요약정보에 대해서 마지막 수정일을 나타내주어서 적합성 판정에 도움이 되길 원했다.
- 이는 두 탐색엔진이 제공하는 요약정보 내용이 실제사이트의 내용을 제대로 대표하고 있지 못함을 보여주는 것이다. 실제 면담을 통해서도 이용자들이 두 탐색엔진 모두 요약정보에 대해 좀 더 정확한 정보를 요구하고 있어서 한글알타비스타나 네이버 모두 요약정보 내용에 있어서 실제사이트의 내용에 대한 보다 정확하고 자세한 정보를 제공할수 있도록 노력해야 할 것이다.
- 또한 본 연구의 결과를 바탕으로 국내 탐색엔진의 기능을 향상시키고, 나아가 이용자에게 적합한 국내 웹 탐색엔진을 개발하는데 기여하고자 한다. 아울러 다양한 이용자 중심의 탐색엔진 평가방법이 앞으로 많은 연구에 활용되기를 기대한다.
- 또한 시간이 경과한 후, 같은 검색질의에 대해 한글알타비스타와 네이버를 재평가함으로써 그 연구결과가 어떻게 달라졌는지를 보는 연구가 있어야 할 것이다. 아울러, 이 연구에 사용된 이용자 중심의 평가 방법론이 다른 연구에도 적용되기를 기대한다.
- 이러한 결과들을 탐색엔진 설계자들이 시스템의 설계나 수정시에 반영한다면 국내 탐색엔진의 기능은 보다 향상되고 이용자에게 적합한 국내 웹 탐색엔진을 개발하는데 도움이 될 수 있을 것이다.
- 따라서, 실제 탐색엔진을 사용하는 이용자가 검색결과에 만족하고 이용자의 현재 정보요구는 해결이 되었으며 사용하는데 불편함은 없는지를 파악 하기가 어려웠다. 이용자 중심의 탐색엔진 평가 실험에 사용되는 검색질의를 이용자의 현재 정보요구를 대변하는 실제 질의로 사용하고, 정확률 측정을 위한 적합성 판정의 주체를 연구자가 아닌 이용자 스스로 한다면 기존 연구에서 밝히지 못한 새로운 연구 결과를 기대할 수 있을 것이다.
- 이용자가 직접 자신이 찾고자 한 탐색질의에 대해 검색하고 그 결과에 대해 각자 주관적인 판단에 의해 적합성을 판정한 이용자 중심의 탐색엔진의 평가의 결과에 따르면 정확률과 인터페이스에 대한 만족도에는 차이가 없었다. 이처럼 기존의 정형화된 객관적인 평가방법을 탈피하여 이용자를 참여시킨 탐색엔진의 기능과 검색결과에 대한 평가는 보다 나은 이용자 지향적인 탐색엔진의 발전에 기여할 수 있을 것이다.
- 특히 온라인 도움말 기능에 있어서 더욱 충실하고 검색예제를 충분히 제시하여 이용자들이 따로 탐색엔진에 대한 교육이 없이도 검색식이나 연산자를 활용할 수 있도록 하여야 한다. 탐색엔진의 화면에서 사용하고 있는 용어의 이해도에 있어서도 한글알타비스타가 현저히 낮은 점수를 보였으므로 이에 대한 개선 또한 필요할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.