선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- - 간결하게 표현하기 위하여 테이블을 사용하는데, 본 논문에서는 웹으로부터 유용 한 정보를 추출하기 위한 목적의 일환으로과 같이 HTML 테이블의 논■리적 구조를 분석한 후 이를 XML 문서로 변환하는 효율적인 방법을 제안한다.
- 이를 위하여 논리적인 구조정보를 표현할 수 있는 XML 문서로의 변환이 필수적이다. 본 논문에서는 HTML 문서에 포함된 진짜 테이블의 영역을 구분하고 구조를 분석하여 XML 문서로 변환하는 효과적인 방법을 제안하였다.
- 또한 잡음 영역을 제거하지 않기 때문에 논리적 연관 관계를 정확히 추출하는데 제한적이다. 본 논문에서는 기존 연구들의 문제점을 개선하기 위하여 테 이블의 논리적 구조를 분석하고 이를 XML 문서로 변환하는 효율적인 방법을 제안한다. 제안된 방법은 테이블을 속성과 값 영역으로 구분하는 영역 구분과 테이블의 논리적 계층구조를 추출하여 XML 문서를 생성하는 구조분석의 두 단계로 구성된다.
- 본 절에서는 테이블의 속성 및 값 영역을 구분하여 구조를 분석하고 이로부터 XML 문서를 생성하는 효율적인 방법에 대하여 기술한다. 제안된 방법은 <그림 3>과 같이 영역 구분과 구조분석의 두 단계로 구성된다.
제안 방법
- 이러한 테이블은 구문적 일관성 검사를 통하여 영역을 구분한다[20]. 구문적 일관성이란 타입 및 길이의 일관성을 나타낸 값(식 (2) 참조)으로 제안된 방법은 우하단 셀을 기준으로 아래에서 위 (bottom-up)로 그리고 오른쪽에서 왼쪽(rightTeft) 방향으로 이웃 셀과 일관성을 계산한다.
- 한편 한 개 이상의 캡션(caption)과 분리된 헤딩 (separate heading)을 가지는 테 이블을 복합 테 이블(composite table)로 정의하며, 이를 다수의 서브 테이블로 분리한 후 제안된 변환규칙을 적용한다. 그러나 본 방법은 제한된 포맷 팅 정보만을 사용하여 속성과 값 영역을 구분한다. Masuda 등 [기 은행과 열간의 유사도 차이에 기반하여 속성과 값 영역을 구분한다.
- 제안된 방법은 우선 혼합-셀 테이블의 여부를 판단하기 위하여 ■:' 과 등의 구분자를 식별한다. 만약 테이블 내의 모든 셀에 구분자가 존재하며, 모든 셀의 구분자 좌우 데이터 타입이 각각 동일한 경우 제안된 방법은 해당 테이블을 혼합-셀 테이블로 간주하며, 구분자를 중심으로 속성 및 값 쌍을 추출한다.
- 특히 HTMLe 연관된 정보 (relational information)-!- 간결하게 표현하기 위하여 테이블을 사용하는데, 본 논문에서는 웹으로부터 유용 한 정보를 추출하기 위한 목적의 일환으로<그림 1>과 같이 HTML 테이블의 논■리적 구조를 분석한 후 이를 XML 문서로 변환하는 효율적인 방법을 제안한다. 본 논문에서는 테이블을 연관성을 갖는 데이터의 배열이라고 정의하며 속성(attribute)과 값(value)의 연관 관계를 포함하는 테이블을 진짜 테이블 (genuine table)로 간주한다. 특히<그림 1a>와 같이 속성을 나타내는 셀의 집합을 속성 영역(attribute area), 값을 나타내는 셀의 집합을 값 영역 (value area) 이라고 정의한다.
- 본 연구에서는 Jung 등의 실험 데이터를 입수할 수 없었기 때문에과 같이 동일한 성능평가 기준에 의하여 간접적으로 비교하였다.
- 역 제거와 정규화 과정을 통하여 테 이블의 구조분석을 용이하게 하며, 다양한 시각적 정보와 의미적 일관성을 사용함으로써 효과적인 영역 구분 및 연관 관계 추출이 가능하게 한다. 뿐만 아니라 합성 테이블의 구조분석을 위하여 휴리스틱 한 규칙을 제안한다.
- 시각적 일관성 검사에 의해 영역이 구분되지 않은 테이블과 2xn 열 방향 및 n>l, 테이블은 셀 데이터의 의미적 일관성을 사용하여 영역을 구분한다.
- <그림 12(a)>는 구조분석 단계에서 생성된 계층구조에 스택을 적용한 깊이 우선 탐색 결과로 중복태그가 존재한다. 이를 제거하기 위하여 제안된 방법은 병합규칙을 적용하며, 그 결과 적격성 요건의 만족과 동시에 문서를 간결화한다.<그림 12(b)>는 생성된 최종 XML 문서의 예이다.
- 이때, 단순 테 이블이 속성 영역을 가지지 않는다면 합성 테이블의 속성 영역을 복사한다. 입력된 테이블이 1개의 속성 영역을 가지고, 복합 테이블이 아니라면 제안된 방법은 이를 단순 테이블로 간주한다. 제안된 합성 테이블의 영역 구분 절차는<그림 8>과 같다.
- 제안된 방법은 먼저 테이블을 태그 TH와 TD를 식별하여 속성과 값 영역으로 구분한 후 테이블을 정규화한다. 정규화된 테이블은 제안된 규칙을 적용하여 계층구조를 가지는 DAH(DAta Hierachy)로 변환되며 이로부터 XML 문서가 생성된다. Wang 등 [18] 은 온톨로지를 사용하여 테이블의 셀을 개념(concept)과 인스턴스 (instance)로 구분하고, 이로부터 테 이블을 1차원, 2차원, 그리고 컴플렉스 테이블(complex table)S.
- 제안된 방법은 HTML 테 이블의 XML 변환을 위하여 영역 구분과 구조분석의 두 단계로 구성된다. 먼저 속성과 값 영역을 구분하는 영역 구분 단계는 잡음 영역을 제거하고 태그 속성 스팬을 정규화하는 등의 전처리 과정을 거친다.
- 이는 본 논문이 테이블의 구조를 분석하기 위하여 보다 체계적이며 정교한 방법에 기반하기 때문이다. 제안된 방법은 먼저 전처리 단계로서 잡음 영역을 제거하고 테이블을 정규화한다. 또한 시각적 일관성은 물론이고 일관성 검사가 어려운 테이블에 대하여 의미적 일관성을 검사함으 로서 보다 정교한 영역 구분이 가능하다.
- Lim 등 [16, 17] 은 HTML 문서를 XML 문서로 변환하는 휴리스틱 한 방법을 제안한다. 제안된 방법은 먼저 테이블을 태그 TH와 TD를 식별하여 속성과 값 영역으로 구분한 후 테이블을 정규화한다. 정규화된 테이블은 제안된 규칙을 적용하여 계층구조를 가지는 DAH(DAta Hierachy)로 변환되며 이로부터 XML 문서가 생성된다.
- 후처리 단계에서는 속성과 값이 단일 셀에 존재하는 혼합-셀 테이블의 영역 구분과 함께 합성 테이블의 여부 판단 및 단순 테이블로의 분리 역할을 담당한다. 제안된 방법은 우선 혼합-셀 테이블의 여부를 판단하기 위하여 ■:' 과 등의 구분자를 식별한다. 만약 테이블 내의 모든 셀에 구분자가 존재하며, 모든 셀의 구분자 좌우 데이터 타입이 각각 동일한 경우 제안된 방법은 해당 테이블을 혼합-셀 테이블로 간주하며, 구분자를 중심으로 속성 및 값 쌍을 추출한다.
- 정규화된 테이블은 이후 시각적인 일관성 검사를 통하여 영역이 구분된다. 제안된 방법은 이를 위하여 포맷팅 일관성과 구문적 일관성을 제안하였다. 한편, 시각적 일관성이 없거나 혹은 검사가 불가능한 테이블은 다시 의미적인 일관성 검사를 통하여 영역을 구분한다.
- <그림 9>는 테이블 모델과 계층구조를 나타낸다. 제안된 방법은 입력된 테이블을 5가지로 분류한 후 적절한 테이블 모델을 적용하여 속성-값 연관관 계 및 계층구조를 추출한다. 특히, 속성 영역을 나타내는 H1, …压은 주 속성 및 부 속성으로 표현이 가능하다.
- 제안된 방법은 잡음 영역을 제거하고 테이블을 정규화한 후 보다 정교한 시각적 및 의미적 일관성 검사를 실시하였기 때문이다. 또한 Jung 등의 방법으로 영역 구분이 어려운 합성 테이블에 대해서도 제안된 방법은 후처리를 적용함으로서 영 역구분이 가능하였기 때문이다.
- 본 논문에서는 기존 연구들의 문제점을 개선하기 위하여 테 이블의 논리적 구조를 분석하고 이를 XML 문서로 변환하는 효율적인 방법을 제안한다. 제안된 방법은 테이블을 속성과 값 영역으로 구분하는 영역 구분과 테이블의 논리적 계층구조를 추출하여 XML 문서를 생성하는 구조분석의 두 단계로 구성된다. 영 역구분 단계에서는 먼저 잡음 영역을 제거한 후 시각적 및 의미적 일관성 검사를 적용하여 테이블을 속성과 값 영역으로 구분한다.
- 제안된 방법은 테이블을 열 방향, 행 방향, 타임, 그리고 합성 테이블로 분류하여 각각 실험하였다. 제안된 방법의 성능 평가기준은<표 5>와 같다.
- , 그리고 후처리의 네 부분으로, 구조분석 단계는 테이블 모델에 기반한 구조분석과 XML 변환의 두 부분으로 이루어진다. 제안된 방법은 테이블의 영역 구분을 위하여 잡음 영역 제거 및 정규화 과정 등의 전처리 단계를 거친 후 시각적 및 의미적 일관성 검사를 통하여 속성과 값 영역을 구분한다. 구조분석 단계에서는 구분된 영 역에 제안된 테이블 모델을 적용하여 계층구조를 추출하며 이로부터 XML 문서를 생성한다.
- 제안된 방법은의 HTML 태그를 식별함으로써 영역을 구분한다.
- 한편 제안된 방법은 혼합-셀 테이블을 제외한 모든 테이블에 대하여 합성 테이블 여부를 판단한다.
- 특히<그림 1a>와 같이 속성을 나타내는 셀의 집합을 속성 영역(attribute area), 값을 나타내는 셀의 집합을 값 영역 (value area) 이라고 정의한다. 한편, 제안된 방법은 테이블을 단순 테이블(simple table)과 합성 테이블 (complex table)로 분류한다. 단순 테 이블은 다시 속성 영역의 위치에 따라 열 방향 테이블(column-wise table), 행 방향 테이블(row-wise table), 그리고 타 임 테 이블(time table)로 분류되며, 합성 테 이블은 하 나 이상의 단순 테이블을 포함하는 복합 테이블 (composite table)[6]과 단일 셀에 속성과 값이 함께 존재하는 혼합-셀 테 이블(mix-cell table)[9]로 분류한다.
대상 데이터
- 제안된 방법의 성능을 평가하기 위하여 Wang가 Hu [21] 의 연구에서 사용한 11, 477개의 테이블 중 1, 180개의 진짜 테이블을 대상으로 실험하였다. 제안된 방법의 성능을 정량적으로 평가한 결과는<표 6> 과 같다.
이론/모형
- 구조가 분석된 테이블은 XML 변환단계에서 XML 문서로 변환된다. XML 문서는 적격성 (well-fonned) 요건, 즉, XML 선언 및 모든 태그가 중첩되지 않아야 하는 등의 조건, 을 만족해야 하므로, 이를 위하여 제안된 방법은 깊이 우선 탐색(depth first search) 기법을 사용한다. 우선, HTML 테이블을 XML 문서로 변환하기 위해서 XML 선언 부를 정의한다.
- 이때 스택을 사용하여 적절한 시작 태그와 끝 태그를 생성함으로서 적격성 요건을 만족하도록 한다. 또한 생성된 XML 문서의 불필요한 요소의 중복 제거를 위하여 Li 등 [3-6]이 제안한 병합규칙을 사용한다.
- 영 역구분 단계에서는 먼저 잡음 영역을 제거한 후 시각적 및 의미적 일관성 검사를 적용하여 테이블을 속성과 값 영역으로 구분한다. 또한 합성 테이블의 영역 구분을 위하여 휴리스틱 한 규칙을 적용한다. 한편 구조분석 단계에서는 제안된 테이블 모델을 기반으로 속성 및 값 영역으로부터 논리적 계층구조를 추출하 Itai 등 [8]은 동일한 도메인에 존재하는 여러 가지 형태의 테이블을 단일 DTD (Document Type Definition)를 가지는 XML 문서로 통합한다. 이를 위하여 테이블의 셀에 해당하는 블록 (block)을 SVM(Support Vector Machine)과 HMM (Hidden Markov Model) 기법을 사용하여 속성과 값 영역으로 구분한다.
- Yoshida [10] 는 온톨로지와 HMM 기법을 사용하여 테이블의 셀을 나타내는 블록의 역할을 구분한다. 즉, 입력된 블록 시퀀스(block se- quence)에 해당하는 가장 적절한 스태이트 시퀀스 (state sequence)를 HMM 기법을 사용하여 추정한다. 이때 스태이트란 블록의 역할, 즉, 속성 또는 값을 의미한다.
성능/효과
- 또한 비정상적으로 편집된 테이블과 합성 테이블의 영역 구분을 위하여 후처리 단계를 거친다. 실험 결과, 제안된 방법은 기존 연구와 비교하여 우수한 성능을 보였다. 특히 기존 연구와는 달리 휴리스틱 한 규칙에 기반하지 않고, 다양한 테이블에 적용이 가능하기 때문에 효과적이다.
- 와과 같이 제안된 방법은 동일한 기준을 적용한 Jung 등의 방법보다 우수한 결과를 보였다.
- 제안된 방법은과 같이 86.7%의 정확도를 보여 우수한 결과를 보였다.
- 8em;">며 이로부터 XML 문서를 생성한다. 제안된 영역구 분 방법의 성능평가를 위하여 1, 180개의 HTML 테 이블을 대상으로 실험한 결과, 86.7%의 정확도를 보여 기존 연구보다 우수하였다.
후속연구
- Jung 등 [1]은 테이블의 각 셀에 7개의 휴리스틱 한 규칙을 적용하여 얻어진 이진 행렬의 값 차이에 따라 속성과 값 영역을 구분한다. 그러나 본 방법은 제한된 수준의 휴리스틱 한 규칙을 적용하기 때문에 다양한 종류의 속성 영역을 포함하는 복잡한 테이블을 처리하는데 한계를 갖는다. 또한 잡음 영역의 제거 및 정규화 과정을 거치지 않기 때문에 정확한 영 역구분이 어려울 수 있다.
- 향후 본 연구에서는 기 구축된 온톨로지 정보나 WordNet 등을 활용하여 보다 정교한 영역을 구분함 과 동시에 정보의 재사용 및 자동 온톨로지 구죽, 정보 검색 시스템 등의 다양한 응용 분야에의 활용에 대하여 연구를 진행할 예정이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.