[논문]사이트 기반의 URL 정규화 평가

정효숙; 김성진; 이상호

사이트 기반의 URL 정규화 평가
Evaluating Site-based URL Normalization 원문보기

정효숙 (숭실대학교 대학원 컴퓨터학과) , 김성진 (서울대학교 전기컴퓨터공학부) , 이상호 (숭실대학교 컴퓨터학부)

URL 정규화는 다양하게 표현된 동일 URL들을 하나의 통일된(cannonical) 형태의 URL로 변환하는 과정이다. 동일문서에 대한 중복된 URL 표현은 URL 정규화를 통하여 제거된다. 표준 정규화는 잘못된 긍정(동일하지 않는 URL들을 동일 문자열로 변환)이 없도록 개발되었다. 그러나 표준 정규화는 많은 잘못된 부정이 발생하게 되므로, 잘못된 긍정을 일부 허용하면서 잘못된 부정을 현격히 줄일 수 있는 확장 정규화가 제기되고 연구되어 왔다. 본 논문에서는 동일 사이트 내의 URL들에 대한 확장 정규화의 적용 결과가 유사한 정도를 보임으로써, 한 사이트 내의 URL에 대한 임의의 확장 정규화 결과 정보가 동일 사이트 내의 다른 URL들의 정규화에 효과적으로 사용될 수 있음을 보인다. 이를 위하여, 한 사이트의 확장 정규화 결과 동일성 척도와 사이트 기반의 확장 정규화 평가 척도를 제안한다. 20,000만개의 실제 국내 웹 사이트에서 추출된 25만개의 URL에 대해 6가지 확장 정규화가 평가된다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 한 사이트 내의 URL에 대한 임의의 확장 정규화 결과가 동일 사이트내의 다른 URL들의 정규화에 효과적으로 사용될 수 있는 정도를 보이는 것을 목적으로 한다. 이를 위하여, 사이트 기반의 확장 정규화 평가 척도 E를 제안한다.

가설 설정

둘째, 경로가 널(NULL)일 경우 7'로 대체된다. 셋째, 단편이 존재할 경우 단편이 제거된다. 셋째, 프로토콜 기반 정규화는 관례적으로 다양한 형태로 표현될 수 있는 동일 URL들에 대한 정규화이다.

제안 방법

첫째, u2를 웹에서 얻을 수 있는 경우 우리가 이미 알고 있었다면 문서 pl을 잃게 된다. 둘째, 니2를 웹에서 얻지 못하는 경우에 정규화를 통해 p2를 새로 획득하며 대신 .pl을 잃는다.
Ee 동일 사이트 내의 URL들의 확장 정규화 결과가 서로 동일할수록 높은 값을 갖는다. 마지막으로, 제안된 척도를 통하여 [5, 6]에 제안된 확장 정규화 방안을 20, 000만개의 실제 웹 사이트에서 추출된 25만개의 URL에 대해 평가한다.
본 논문은 사이트에 기반 하여 문서 손실율, 문서 획득율, 문서 변화율, 문서 .비손실율, 문서 감소율을 측정하고 각 정규화 결과의 동일성을 평가하는 척도를 제안하였다.
웹 프로그램의 대소문자 처리에 따라 결정된다. 본 실험에서는[6]에서 소개된 5개의 확장 정규화와 더불어 질의부를 소문자로 변환하는 확장 정규화를 추가적으로 실험한다. 총 6개의 확장 정규화가 평가되며, EN₁ 을 경로부 소문자 변환 정규화, EN₂를 질의부 소문자 변환 정규화, EN₃을 마지막 슬래시 문자 제거 정규화, EN₄, EN₅, EN₆을 기본문서 "index.
변화율, 문서 .비손실율, 문서 감소율을 측정하고 각 정규화 결과의 동일성을 평가하는 척도를 제안하였다. 또한 웹에서 추출된 실제 URL들을 통하여 확장 정규화들의 평가되었으며, 어플리케이션에서 적용하기에 충분한 결과를 나타냈다.
이를 위하여, 사이트 기반의 확장 정규화 평가 척도 E를 제안한다. Ee 동일 사이트 내의 URL들의 확장 정규화 결과가 서로 동일할수록 높은 값을 갖는다.

대상 데이터

2005년 7월에 20, 000개의 한국 웹 사이트로부터 추출된 655, 645개의 웹 문서들을 수집하였고, 수집된 웹 문서로부터 실험 대상이 될 25, 838, 285개의 URL들을 추출하였다. 정규화 없이 문자열 비교만으로 동일성 판별이 가능한 URL들을 제거하여 11, 046, 159개의 URL을 얻었다.
이후 URL들을 절대 경로로 변환하고 표준 정규화를 적용하여 2, 329, 770개의 표준 URL들을 얻었다. 웹 문서를 요청할 때마다 다른 내용이 반환되는 URLe 확장 정규화 적용결과의 정확성 유무를 알 수 없으므로 실험대상에서 제외되었고, 2, 027, 512개의 표준 URL들이 최종 실험 대상 URL로 사용되었다.

성능/효과

첫째, p2가 웹에 존재하면, 새로운 웹 문서 p2를 획득할 수 있다(경우8). 둘째, p2가 웹에 존재하지 않을 경 29우 pl도 p2도 잃지 않는 것이 된다(경우 10).
비손실율, 문서 감소율을 측정하고 각 정규화 결과의 동일성을 평가하는 척도를 제안하였다. 또한 웹에서 추출된 실제 URL들을 통하여 확장 정규화들의 평가되었으며, 어플리케이션에서 적용하기에 충분한 결과를 나타냈다. 다양한 확장 정규화가 개발될 수 있다.
셋째, 단편이 존재할 경우 단편이 제거된다. 셋째, 프로토콜 기반 정규화는 관례적으로 다양한 형태로 표현될 수 있는 동일 URL들에 대한 정규화이다. 예를 들어, 경로부가 널이 아닐 경우 마지막 슬래시 문자를 제거하는 것이 프로토콜 기반 정규화가 될 수 있다.
첫째, 문법 기반 정규화는 스킴의 종류에 상관없이 URL 자체의 문법에 따라 행해지는 정규화이다. 스킴부와 호스트부는 소문자로 변환되고, 디렉토리를 나타내는 “「'과 ".
확장 정규화는 개발자들의 경험적인 요인에 의하여 개발되는 경우가 다수이며, 개발된 확장 정규화를 분석적으로 평가하는 방법이 부재하였다. 특히 본 논문은 한 사이트 내의 URL에 대한 정규화 결과를 통하여 동일 사이트 내의 다른 URL들을 정규화 할 때 잘못된 긍정을 줄일 수 있음을 실증하였다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

사이트 기반의 URL 정규화 평가
Evaluating Site-based URL Normalization 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

사이트 기반의 URL 정규화 평가 Evaluating Site-based URL Normalization 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

사이트 기반의 URL 정규화 평가
Evaluating Site-based URL Normalization 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper