선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
가설 설정
- 따라서 같은 URL을 접근한 키워드들 사이에는 서로 관련성이 있을 가능성이 있으며 동일하게 접근한 URL의 수가 많다면 그 키워드들 사이에는 관련성이 있을 가능성이 더욱 높을 것이다. 따라서 본 논문에서는 URL과 그것에 접근한 키워드 정보를 이용하면 연관 키워드들을 수집 할 수 있다고 가정한다. 이러한 가정을 실험적으로 증명하기 위하여 본 논문에서는 포털 사이트의 클릭로그 데이터를 이용한다.
- 본 논문에서 키워드를 확장하기 위한 주된 가정은 한 명 또는 그 이상의 웹 사용자가 입력한 여러 개의 키워드가 있을 때, 그 키워드가 서로 다르다 할지라도 접근한 URL이 같다면 그 키워드들은 서로 관련성이 있을 것이라는 것이다. 그리고 그 키워드들을 이용하여 동일한 URL을 접근한 횟수가 많을수록 해당 키워드 집합들은 서로 관련성이 더 많을 것이라 본다.
- 본 논문에서는 웹 사용자가 입력한 키워드가 달라도 접근한 URL이 같으면 그 키워드들은 서로 관련성이 있다는 간단한 가정을 바탕으로 연관키워드들을 추출하였다. 그리고 연관키워드들을 추출하기 위해 포털 사이트의 클릭로그 데이터를 이용하였다.
제안 방법
- 그리고 연관키워드들을 추출하기 위해 포털 사이트의 클릭로그 데이터를 이용하였다. 관련성이 없는 대량의 키워드가 접근한 URL과 하나의 키워드만이 접근한 유효하지 않은 URL이 포함된 클릭로그 데이터를 제거하여 실험 데이터를 추출하였다. 추출된 실험 데이터로부터 최소지지도를 변화시켜가면서 연관키워드들을 추출하였으며 정확도를 분석하였다.
- 그리고 실험2에서 강성연과 같은 가수 카테고리에 속하는 ‘강성연’이나 강세미가 출현했던 ‘강심장’이란 예능프로그램 등과 같이 간접적으로 관련성이 있는 연관키워드까지 정답으로 보았다.
- [9]는 웹 페이지에 즐겨찾기 추가나 마우스 사용정보와 같은 웹 사용자의 행동 규칙을 만들었다. 그리고 이를 이용하여 의미있는 문서 패턴을 정의하여 의미가 없는 웹 페이지를 제거하였으며, 사용자 질의어 계층구조 모델을 정의하여 사용자의 관심 분야를 분석하고 설계하였다.
- 본 논문에서는 클릭로그 데이터에서 키워드와 그 키워드로 접근한 URL 정보를 추출하여 연관키워드 수집에 이용한다.
- 12개의 연관키워드). 실험은 앞 절에서 기술한 두 개의 정답셋을 이용하여 다음과 같이 두 개의 그룹으로 나누어 실험을 하였으며, 여기에 사용된 정답셋의 일부를 부록에 제시하였다.
- 정답셋의 구축을 위해서 우선 최소지지도를 3으로 하여 일차적으로 연관키워드를 자동으로 수집하였으며, 이렇게 수집된 결과를 다시 사람이 직접 살펴보며 대표어휘에 대하여 관련성이 없는 연관키워드는 제거하였다. 실험은 정답셋을 구축한 10개의 파일들 중 3개의 파일을 임의로 선택하여 최소지지도를 3에서 10까지 변화시켜가면서 실험을 하였다. 실험에 쓰인 3개의 클릭로그 파일에는 총 701,581건의 클릭로그 데이터가 존재하였으며, 이 중 중복된 클릭로그 데이터(URL과 키워드가 같은 데이터)는 제거하였다.
- 클릭로그를 분석한 연구들도 있는데, [3]의 연구에서는 1년 동안 네이버에 입력된 검색어와 그 검색어를 이용하여 조회한 문서들에 근거하여 국내 웹 검색 질의의 형태 및 주제를 분석하였다. 이 연구는 18,200개의 클릭로그를 분석하여 16개의 주제 범주를 도출하였으며, 비중을 많이 차지하는 범주들은 하위범주로 세분화하였다. [8]은 가격 비교 사이트의 클릭로그 데이터를 이용하여 제품의 가격, 유형, 신뢰정보 등이 사용자의 가격 민감도에 미치는 영향에 대하여 분석하였다.
- 이렇게 추출된 부분집합에 최소지지도(minimum support)를 적용하여 최소지지도 이상의 지지도를 갖는 집합만을 유효 집합(valid set)으로 선별한다. 이렇게 선별된 집합을 다시 각 키워드(대표키워드)와 그 키워드와 같은 집합에 속해 있던 키워드 집합(연관키워드 집합)으로 데이터를 가공하고 정렬하여 연관키워드를 수집한다. <표 1>은 최소지지도 이상의 집합들로부터 수집된 연관키워드를 보여준다.
- 정답셋은 두 가지 유형으로 구축하였는데, 하나는 대표키워드에 대하여 동음이의어나 유사어 수준 또는 직접적으로 관련성이 있는 키워드만을 연관키워드로 한 경우이며, 다른 하나는 대표 어휘에 대하여 뜻은 다르나 그것의 범주가 같아 간접적으로 관계가 있는 키워드까지 연관키워드로 한 경우이다. 정답셋의 구축을 위해서 우선 최소지지도를 3으로 하여 일차적으로 연관키워드를 자동으로 수집하였으며, 이렇게 수집된 결과를 다시 사람이 직접 살펴보며 대표어휘에 대하여 관련성이 없는 연관키워드는 제거하였다. 실험은 정답셋을 구축한 10개의 파일들 중 3개의 파일을 임의로 선택하여 최소지지도를 3에서 10까지 변화시켜가면서 실험을 하였다.
대상 데이터
- 본 논문에서는 웹 사용자가 입력한 키워드가 달라도 접근한 URL이 같으면 그 키워드들은 서로 관련성이 있다는 간단한 가정을 바탕으로 연관키워드들을 추출하였다. 그리고 연관키워드들을 추출하기 위해 포털 사이트의 클릭로그 데이터를 이용하였다. 관련성이 없는 대량의 키워드가 접근한 URL과 하나의 키워드만이 접근한 유효하지 않은 URL이 포함된 클릭로그 데이터를 제거하여 실험 데이터를 추출하였다.
- 본 논문에서 제안한 방법이 연관키워드 추출에 효과적임을 분석하기 위해 2009년도에 수집된 포털 사이트의 1년 분량의 클릭로그 데이터를 이용하였다. 클릭로그 데이터의 총용량은 27.
- 본 논문에서는 연관키워드를 수집하기 위하여 클릭로그 데이터를 이용한다. 앞 절에서도 기술한 바와 같이 URL과 키워드 정보를 이용하기 위하여 클릭로그 데이터로부터 URL과 키워드 정보를 추출하고 다음과 같이 URL-키워드 집합의 형태로 데이터를 가공한다.
- 그리고 그 키워드들을 이용하여 동일한 URL을 접근한 횟수가 많을수록 해당 키워드 집합들은 서로 관련성이 더 많을 것이라 본다. 본 논문의 가정을 바탕으로 연관키워드들을 수집하는 것이 타당하다는 것을 보이기 위하여 포털 사이트의 클릭로그 데이터를 이용하였다. 클릭로그는 웹 사용자가 검색어를 입력하고 사용자가 해당 키워드와 그 키워드로부터 나온 결과 페이지에서 사용자가 클릭한 하이퍼텍스트(hyper-text)의 URL 정보를 가지고 있다.
- 실험은 정답셋을 구축한 10개의 파일들 중 3개의 파일을 임의로 선택하여 최소지지도를 3에서 10까지 변화시켜가면서 실험을 하였다. 실험에 쓰인 3개의 클릭로그 파일에는 총 701,581건의 클릭로그 데이터가 존재하였으며, 이 중 중복된 클릭로그 데이터(URL과 키워드가 같은 데이터)는 제거하였다. 그리고 이 클릭로그 데이터 중 다른 URL에 비하여 하나의 URL에 비약적으로 많은 키워드가 접근한 경우는 제외하였다.
- 따라서 본 논문에서는 URL과 그것에 접근한 키워드 정보를 이용하면 연관 키워드들을 수집 할 수 있다고 가정한다. 이러한 가정을 실험적으로 증명하기 위하여 본 논문에서는 포털 사이트의 클릭로그 데이터를 이용한다.
- 본 논문에서 제안한 방법이 연관키워드 추출에 효과적임을 분석하기 위해 2009년도에 수집된 포털 사이트의 1년 분량의 클릭로그 데이터를 이용하였다. 클릭로그 데이터의 총용량은 27.6GB(633개의 파일)이며, 이 중 10개의 파일을 임의로 추출하여 정답셋을 만들었다. 정답셋은 두 가지 유형으로 구축하였는데, 하나는 대표키워드에 대하여 동음이의어나 유사어 수준 또는 직접적으로 관련성이 있는 키워드만을 연관키워드로 한 경우이며, 다른 하나는 대표 어휘에 대하여 뜻은 다르나 그것의 범주가 같아 간접적으로 관계가 있는 키워드까지 연관키워드로 한 경우이다.
데이터처리
- 관련성이 없는 대량의 키워드가 접근한 URL과 하나의 키워드만이 접근한 유효하지 않은 URL이 포함된 클릭로그 데이터를 제거하여 실험 데이터를 추출하였다. 추출된 실험 데이터로부터 최소지지도를 변화시켜가면서 연관키워드들을 추출하였으며 정확도를 분석하였다. 실험 결과 최소지지도가 10일 때, 유사 키워드 수준에서는 89% 정도의 정확도와 간접적으로 관련성이 있는 키워드 수준에서는 99% 정도의 정확도를 보여 매우 만족할한 성능을 보였다.
성능/효과
- 그리고 하나의 URL에 하나의 키워드만 접근한 경우도 연관 키워드를 수집하는데 있어 의미가 없으므로 실험 데이터에서 제외시켰다. 그 결과 총 341,045건의 유효한 클릭로그 데이터가 추출되었다. 다음 <표 2>는 유효한 클릭로그 데이터를 추출한 결과를 정리한 것이다.
- 클릭로그를 분석하여 키워드의 주제 분류나 웹 사용자의 성향 등을 분석하는 연구[3,5,8,9]는 있었으나, 연관키워드를 수집하는 연구는 찾아보기가 힘들다. 따라서 본 논문에서 제안하는 방법으로 수집된 키워드들은 언어에 독립적으로 연관키워드들을 수집할 수 있으며, 실제 사용자가 사용하는 비표준 용어까지 처리할 수 있어 실용성이 높아 의미가 있다고 할 수 있다.
- 실험 결과 최소지지도가 10일 때, 유사 키워드 수준에서는 89% 정도의 정확도와 간접적으로 관련성이 있는 키워드 수준에서는 99% 정도의 정확도를 보여 매우 만족할한 성능을 보였다. 본 논문에서 제안한 방법은 클릭로그 데이터로부터 단순한 방법으로, 그리고 언어 독립적으로 연관키워드들을 수집할 수 있다는 장점이 있다. 하지만 클릭로그의 특성 상 데이터의 양이 방대하여 대용량의 클릭로그 데이터를 효과적으로 처리해야 하며, 따라서 대량의 데이터를 효과적으로 처리할 수 있는 방법에 대한 연구가 필요하다.
- 추출된 실험 데이터로부터 최소지지도를 변화시켜가면서 연관키워드들을 추출하였으며 정확도를 분석하였다. 실험 결과 최소지지도가 10일 때, 유사 키워드 수준에서는 89% 정도의 정확도와 간접적으로 관련성이 있는 키워드 수준에서는 99% 정도의 정확도를 보여 매우 만족할한 성능을 보였다. 본 논문에서 제안한 방법은 클릭로그 데이터로부터 단순한 방법으로, 그리고 언어 독립적으로 연관키워드들을 수집할 수 있다는 장점이 있다.
- 이런 정확도의 차이는 간접적으로 관련성이 있는 키워드가 추출되는 비율로 이 차이가 적어질수록 직접적으로 관련성이 있는 데이터들만이 결과로 추출된다는 것이고 차이가 커질수록 간접적으로 관련성이 있는 데이터들이 많이 추출된다는 것을 의미한다. 최소지지도 별로 정확도의 차이를 분석하여 보면 최소지지도가 높아질수록 그 차이가 줄어들 것으로 예상했지만 최소지지도가 3일 때보다 오히려 최소지지도가 5일 때가 그 차이가 더 크게 나타났으며 최소지지도가 5 이상일 때부터는 최소지지도가 커질수록 그 차이가 줄어들고 있음을 볼 수 있다. (그림 2)의 그래프는 최소지지도에 따른 정확도 변화추이를 보여주며, (그림 3)은 최소지지도에 따른 실험1과 실험2의 정확도 차이의 변화를 보여준다.
- 최소지지도가 3일 때 클릭로그 데이터로부터 추출된 전체 대표어의 수는 1,781개가 추출되었으며, 그에 대한 전체 연관키워드 수는 2,717개가 추출되었다(하나의 대표어 당 약 1.53개의 연관키워드). 그리고 최소지지도가 10일 때는 92개의 대표어와 103개의 연관키워드가 추출되었다(하나의 대표어 당 약 1.
- 최소지지도에 따른 정확도를 분석하여 보면 최소지지도가 높아질수록 정확도가 향상되는 것을 알 수 있으며 이것은 지지도가 높을수록 키워드들 사이에 관련성이 높아진다는 것을 의미한다. 그리고 두 실험 사이의 정확도 차이를 비교해보면 평균 13.
후속연구
- 따라서 재현율과 정확도를 고려하여 응용분야에 따라 최소 지지도의 적절한 선택을 할 수 있다. 다만, 최소지지도가 낮을수록 그 변화폭이 커서 최소지지도가 작아도 정확도를 높일 수 있는 추가의 연구가 필요하다 할 수 있다.
- 본 논문에서 제안한 방법은 클릭로그 데이터로부터 단순한 방법으로, 그리고 언어 독립적으로 연관키워드들을 수집할 수 있다는 장점이 있다. 하지만 클릭로그의 특성 상 데이터의 양이 방대하여 대용량의 클릭로그 데이터를 효과적으로 처리해야 하며, 따라서 대량의 데이터를 효과적으로 처리할 수 있는 방법에 대한 연구가 필요하다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.