시간의 단위별 처리를 이용한 자동화된 한국어 시간 표현 인식 및 정규화 시스템 Automatic Recognition and Normalization System of Korean Time Expression using the individual time units원문보기
시간 정보는 문서나 문장 등에서 매우 중요한 정보로 사용되기 때문에 다양한 종류의 데이터에서 시간 정보의 인식은 매우 중요하다. 시간 정보는 일정한 형태를 가진 것으로 간주되지만 실제 사용되는 시간 표현은 매우 다양하고 복잡하며 정보의 일부가 빈번하게 생략되는 경우가 발생한다. 본 연구에서는 시간 표현의 추출뿐만 아니라 추출된 표현을 정규화된 표준 형식으로 변환하는 범용 시간 표현 추출 및 변환 시스템을 제안한다. 다양한 시간 표현의 추출과 변환에 필요한 노력을 줄이고 새로운 데이터에 대한 확장성을 보장하기 위해 기본 시간 단위를 정의하였다. 추출단계에서는 기본 시간 단위의 조합으로 구성된 사전을 사용하여 가능한 시간 표현들을 추출한다. 정규화 변환 단계에서는 인접 추출 정보와 기준 시간 등을 사용하여 생략된 기본 시간 단위 정보를 복원하고 최종적으로 모든 기본 시간 정보들은 통합되어 정규화된 표준 형식으로 변환된다. 제안한 시스템은 모바일 기기 등의 잡음 환경에서 강인한 성능을 보장하며 영역이나 언어에 대해 독립적이므로 많은 영역에서 응용이 가능하다. 본 연구는 실험에서 다량의 오류가 포함된 SMS 데이터에서 시간 표현 추출 정확도 93.8%, 시간 표현 변환 정확율 93.2%을 보임으로써 오류에 강인하면서도 높은 성능을 유지함을 증명하였다.
시간 정보는 문서나 문장 등에서 매우 중요한 정보로 사용되기 때문에 다양한 종류의 데이터에서 시간 정보의 인식은 매우 중요하다. 시간 정보는 일정한 형태를 가진 것으로 간주되지만 실제 사용되는 시간 표현은 매우 다양하고 복잡하며 정보의 일부가 빈번하게 생략되는 경우가 발생한다. 본 연구에서는 시간 표현의 추출뿐만 아니라 추출된 표현을 정규화된 표준 형식으로 변환하는 범용 시간 표현 추출 및 변환 시스템을 제안한다. 다양한 시간 표현의 추출과 변환에 필요한 노력을 줄이고 새로운 데이터에 대한 확장성을 보장하기 위해 기본 시간 단위를 정의하였다. 추출단계에서는 기본 시간 단위의 조합으로 구성된 사전을 사용하여 가능한 시간 표현들을 추출한다. 정규화 변환 단계에서는 인접 추출 정보와 기준 시간 등을 사용하여 생략된 기본 시간 단위 정보를 복원하고 최종적으로 모든 기본 시간 정보들은 통합되어 정규화된 표준 형식으로 변환된다. 제안한 시스템은 모바일 기기 등의 잡음 환경에서 강인한 성능을 보장하며 영역이나 언어에 대해 독립적이므로 많은 영역에서 응용이 가능하다. 본 연구는 실험에서 다량의 오류가 포함된 SMS 데이터에서 시간 표현 추출 정확도 93.8%, 시간 표현 변환 정확율 93.2%을 보임으로써 오류에 강인하면서도 높은 성능을 유지함을 증명하였다.
Time expressions are a very important form of information in different types of data. Thus, the recognition of a time expression is an important factor in the field of information extraction. However, most previously designed systems consider only a specific domain, because time expressions do not h...
Time expressions are a very important form of information in different types of data. Thus, the recognition of a time expression is an important factor in the field of information extraction. However, most previously designed systems consider only a specific domain, because time expressions do not have a regular form and frequently include different ellipsis phenomena. We present a two-level recognition method consisting of extraction and transformation phases to achieve generality and portability. In the extraction phase, time expressions are extracted by atomic time units for extensibility. Then, in the transformation phase, omitted information is restored using basis time and prior knowledge. Finally, every complete atomic time unit is transformed into a normalized form. The proposed system can be used as a general-purpose system, because it has a language- and domain-independent architecture. In addition, this system performs robustly in noisy data like SMS data, which include various errors. For SMS data, the accuracies of time-expression extraction and time-expression normalization by using the proposed system are 93.8% and 93.2%, respectively. On the basis of these experimental results, we conclude that the proposed system shows high performance in noisy data.
Time expressions are a very important form of information in different types of data. Thus, the recognition of a time expression is an important factor in the field of information extraction. However, most previously designed systems consider only a specific domain, because time expressions do not have a regular form and frequently include different ellipsis phenomena. We present a two-level recognition method consisting of extraction and transformation phases to achieve generality and portability. In the extraction phase, time expressions are extracted by atomic time units for extensibility. Then, in the transformation phase, omitted information is restored using basis time and prior knowledge. Finally, every complete atomic time unit is transformed into a normalized form. The proposed system can be used as a general-purpose system, because it has a language- and domain-independent architecture. In addition, this system performs robustly in noisy data like SMS data, which include various errors. For SMS data, the accuracies of time-expression extraction and time-expression normalization by using the proposed system are 93.8% and 93.2%, respectively. On the basis of these experimental results, we conclude that the proposed system shows high performance in noisy data.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 단위 시간의 추출과 통합에 의해 시간 표현 추출과 생략 복원 그리고 정규화 과정을 포함하는 범용 시간 표현 추출 및 변환 시스템을 제안하였다. 제안한 방법은 새로운 영역에서 시간 표현을 추출하고 기존 모델을 수정하기 위한 시간과 노력을 줄일 수 있으며 추출 대상을 추가와 모델의 확장이 용이하기 때문에 광범위한 응용이 가능하다.
본 연구는 문장에 포함된 시간 표현을 추출하고 추출된 시간 표현들을 정규화된 표현으로 변환함으로써 여러 영역에 범용적으로 적용 가능한 방법을 제안한다. 시간 표현을 각각 기본이 되는 단위(Atomic Unit)로 분해하여 추출과 정규화 과정을 거치고, 기준 시간(Basis Time)과 인접 추출 정보를 이용하여 생략된 시간 정보를 복원한다, 최종적으로 기본 시간 정보들을 통합하고 정규화된 표준 형식으로 변환한다.
시간 정보 추출에서 정보를 가지고 있지 않는 국경일과 같은 표현들은 일반적인 방법으로 처리될 수 없다. 본 연구에서는 이와 같은 날짜를 나타내는 상용 표현들이 의미하는 날짜를 상용구 사전에 등록하는 방법으로 해결하였다. 이를 통해 새로운 상용구의 추가가 필요할 경우 새로운 오토마타 작성 등의 추가 작업 없이 상용구 사전에 새로운 문자열을 추가하는 것만으로 시간 정보를 추출할 수 있다.
SMS 데이터는 비교적 정형화된 신문 등의 문서와는 달리 실제 메시징 서비스를 사용하면서 발생하는 띄어쓰기 오류, 철자오류, 비속어 등의 오류가 포함되므로 보다 실제 모바일 환경과 유사한 상황에서 실험이 가능하다. 본 절에서는 제안 시스템의 성능 측정과 분석 결과를 설명하고 오류의 원인과 해결 방안에 대하여 논의한다.
가설 설정
시간 표현을 추출하기 위한 전통적인 접근 방법은 시간 표현이 정형화된 형태로 나타날 것을 가정한다. 따라서 시간 표현을 추출하기 위해 최적화된 규칙을 수동으로 작성하고 추출된 결과를 정규화하기 위한 모듈을 구현하는 것이 일반적이었다.
제안 방법
실제로 사용하는 시간 표현들은 각각의 단위에 따라 다양하게 조합되어 사용될 수 있기 때문에 표층적인 패턴마다 정규화하는 것은 사실상 불가능하다. 따라서 본 연구에서는 하나의 시간 표현을 하나의 처리 단위로 분석 하지 않고 시간의 기본 단위를 분석의 단위로 사용한다. 이 단계에서는 인식된 시간 표현들을 시간의 기본 단위들로 나누고 각각을 기계가 인식할 수 있는 형태로 표준화하는 작업을 수행한다.
이에 비해 본 연구에서는 인식 및 변환 규칙을 기본 단위로 분할하여 구축하기 때문에 조합을 통해 새로운 패턴의 인식과 변환이 가능하다. 또한 자동으로 추출 패턴을 조합하는 추출 패턴 생성 단계를 이용하여 수동으로 규칙을 생성하는 시간을 최소화하였다.
말뭉치의 각 문장에 포함된 시간 표현에 대해 추출 성능을 측정하고 추출된 부분을 정규화된 표준 형식으로 바꾸는 변환 성능을 별도로 측정하였다. (표 1)은 제안 시스템의 시간 표현 추출과 변환 성능을 보여준다.
각각의 표층적인 표현마다 개별적으로 처리하기 보다는 비슷한 의미를 나타내는 정보들을 결합하여 함께 처리하는 것이 효율적이다. 본 연구에서는 시간의 표층적인 표현에 대해 처리하는 것이 아니라 각각의 정규화된 심볼 단위로 처리한다. 다양한 표현 형태를 가지더라도 같은 유형의 심볼 열로 변환된다면, 기존의 추출 및 변환 과정을 그대로 사용할 수 있기 때문에 시스템은 각 단위 처리기의 수가 극적으로 증가하는 것을 막을 수 있다.
하지만 이것은 상식적인 정보를 생략하기 때문에 시간 정보를 추출하는 시스템은 이와 같은 시간 및 날짜 표현을 처리할 수 있어야 한다. 본 연구에서는 이와 같은 시간 표현을 위해 설정 파일을 통해 우선순위를 지정하고 있다. 하지만 이러한 표현은 생활의 패턴에 따라 기준이 달라질 수 있기 때문에 설정을 통해 상황에 맞춰 사용할 수 있도록 구성하였다.
시간에 관련된 코퍼스를 위해 수집된 전체 6,170개의 데이터 중에서 약속을 정하는 내용과 관련된 데이터 4,685개를 선정하여 구성하였다. 이 데이터는 관련 내용을 교육 받은 두 명의 대학원생에 의해 수집된 SMS에서 시간 및 날짜에 관련된 내용을 정보를 부착하고 교차 검토를 수행하였다. 수집된 데이터는 3,670개의 날짜 정보와 4,516개의 시간 정보를 포함하고 있다.
시간 표현을 각각 기본이 되는 단위(Atomic Unit)로 분해하여 추출과 정규화 과정을 거치고, 기준 시간(Basis Time)과 인접 추출 정보를 이용하여 생략된 시간 정보를 복원한다, 최종적으로 기본 시간 정보들을 통합하고 정규화된 표준 형식으로 변환한다. 제안 방법은 변형되지 않는 시간의 최소 단위를 대상으로 규칙을 작성하고 이들의 조합을 통해 시간 표현을 인식하고 변환한다. 따라서 새로운 시간 표현이나 영역의 변화에도 기본 단위의 조합을 통해 대부분의 시간 표현이 처리될 수 있으므로 높은 확장성을 가진다.
제안 시스템에서는 대상 영역의 시간 표현 열들을 모은 정답 문자열로부터 각각을 추출할 수 있는 의미 심볼 열로 치환한다. 치환된 의미 심볼 열은 추출패턴 DB에 등록되어 문장 내에 포함된 시간 표현을 추출할 수 있는 시간 표현 추출 패턴으로 사용된다.
대상 데이터
본 실험에서 사용된 코퍼스는 약속에 관련된 SMS 데이터이며 80명의 대학생 참가자들에 의해 실제 휴대폰을 사용하여 수집되었다. 시간에 관련된 코퍼스를 위해 수집된 전체 6,170개의 데이터 중에서 약속을 정하는 내용과 관련된 데이터 4,685개를 선정하여 구성하였다.
이 데이터는 관련 내용을 교육 받은 두 명의 대학원생에 의해 수집된 SMS에서 시간 및 날짜에 관련된 내용을 정보를 부착하고 교차 검토를 수행하였다. 수집된 데이터는 3,670개의 날짜 정보와 4,516개의 시간 정보를 포함하고 있다. 임의로 추출한 333개의 SMS 문장을 성능 측정을 위해 선택하였고 나머지 4,352 문장을 학습 데이터로 사용하였다.
본 실험에서 사용된 코퍼스는 약속에 관련된 SMS 데이터이며 80명의 대학생 참가자들에 의해 실제 휴대폰을 사용하여 수집되었다. 시간에 관련된 코퍼스를 위해 수집된 전체 6,170개의 데이터 중에서 약속을 정하는 내용과 관련된 데이터 4,685개를 선정하여 구성하였다. 이 데이터는 관련 내용을 교육 받은 두 명의 대학원생에 의해 수집된 SMS에서 시간 및 날짜에 관련된 내용을 정보를 부착하고 교차 검토를 수행하였다.
수집된 데이터는 3,670개의 날짜 정보와 4,516개의 시간 정보를 포함하고 있다. 임의로 추출한 333개의 SMS 문장을 성능 측정을 위해 선택하였고 나머지 4,352 문장을 학습 데이터로 사용하였다.
제안 시스템을 검증하기 위해 SMS 데이터 말뭉치를 사용하였다. SMS 데이터는 비교적 정형화된 신문 등의 문서와는 달리 실제 메시징 서비스를 사용하면서 발생하는 띄어쓰기 오류, 철자오류, 비속어 등의 오류가 포함되므로 보다 실제 모바일 환경과 유사한 상황에서 실험이 가능하다.
성능/효과
3번 문장은 의미적으로 오류가 포함된 문장으로 “오늘”, “새벽 2시”의 조합은 이미 지난 시간으로 “20080807020000”이 아니라 하루 뒤인 “20080808020000”로 변환 되는 것이 타당하다.
정규화 성능이 추출성능보다 다소 낮은 수치를 보이는 이유는 추출 과정에서의 오류가 정규화 과정으로 전파되어 정규화 성능에 영향을 미치기 때문이다. 따라서 시간 표현 추출이 정확한 경우에 대해서만 정규화 변환 정확률을 측정한 경우에는 전체 데이터의 정확률보다 높은 95.17%의 정확률을 보인다.
본 연구에서는 시간 표현을 시간의 기본 단위로 분리하여 각각 인식하며, 인식된 결과를 조합하는 방법으로 적은 인식기를 가지고 많은 표현들을 처리할 수 있다. 또한 기준 시간과 인접 추출 정보를 이용하여 생략된 단위 시간 정보를 복원하고 기계가 이해할 수 있는 정규화된 형태로 출력을 제공할 수 있다.
(표 1)은 제안 시스템의 시간 표현 추출과 변환 성능을 보여준다. 전체 말뭉치 333개 중에 포함된 시간 표현의 개수는 353개이며 제안 시스템은 시간 표현 추출에서 93.77% 의 정확률을 보여준다. 또한 추출된 시간 표현에 대한 시간 표현 정규화 변환 정확률은 93.
본 논문에서는 단위 시간의 추출과 통합에 의해 시간 표현 추출과 생략 복원 그리고 정규화 과정을 포함하는 범용 시간 표현 추출 및 변환 시스템을 제안하였다. 제안한 방법은 새로운 영역에서 시간 표현을 추출하고 기존 모델을 수정하기 위한 시간과 노력을 줄일 수 있으며 추출 대상을 추가와 모델의 확장이 용이하기 때문에 광범위한 응용이 가능하다. 뿐만 아니라 시간 표현 추출을 위한 지식 구축 작업 및 변환 과정이 특정 언어에 의존적인 형식이나 지식을 사용하지 않기 때문에 구축된 지식의 수정만으로 한국어뿐 아니라 다양한 언어에도 활용될 수 있는 범용 시간 표현 추출 및 변환 시스템으로 사용될 수 있다.
만일 시간 표현이 중첩되는 경우에는 영향을 미치는 시간 표현들 중에서 선택해야 하는 경우에는 더 자세한 정보를 제공하는 시간 표현이 선택된다. 최종적으로 추출된 시간 표현들은 유효한 시간 범위, (1~12월, 0~24시, 0~60분 등), 에 해당하는 값들을 가지고 있는지를 검토하여 결과를 통합한다.
후속연구
수동 규칙에 기초한 접근 방법은 시간 표현마다 각각 인식 및 변환을 위한 규칙이나 오토마타를 구현해야 하기 때문에 다른 영역에서는 새롭게 작업을 하는 경우가 대부분이었다. 또한 추가적인 시간 표현을 등록하기 위해서도 필요한 패턴을 분석하고, 이에 대한 변환 모듈을 다시 구현하는 과정이 필요하다. 이에 비해 본 연구에서는 인식 및 변환 규칙을 기본 단위로 분할하여 구축하기 때문에 조합을 통해 새로운 패턴의 인식과 변환이 가능하다.
4번 문장 또한 “저녁”은 특정 시간 구간을 의미하는 것이 아니고 “저녁 먹으러”의 일부 단어로서 “식사”의 의미를 갖는 것으로 보는 것이 타당하다. 이런 경우는 주변단어들과의 관계를 고려해야 하여 추출대상에서 제외할 수 있는 추가 연구가 수행되어야 할 것 이다. 5번 문장은 문장 내용의 의미해석이 필요한 경우이다.
2번 문장과 같은 오류는 구문 분석 정보와 같은 전통적인 언어처리 기법이 요구된다. 하지만 본 연구의 대상은 기존의 언어처리 기법의 대상과 달리 많은 오류를 포함하기 때문에 오류에 강인한 언어처리 기법 연구가 선행되어야 할 것이다. 마지막 오류 형태는 사용자의 표현이 의미적으로 오류를 포함하기 때문에 기존 언어처리 기법을 적용하여 보다 많은 정보를 분석할 수 있는 경우에서도 해결하기 어렵다.
질의응답
핵심어
질문
논문에서 추출한 답변
시간 정보는 어떤 분야에서 중요한 역할을 하는가?
시간 정보는 정보 추출, 질의 응답 시스템, 자동 요약 등 자연어처리의 여러 응용 분야에서 중요한 역할을 한다. 기존의 문서나 기사 등에서의 시간 표현은 일정한 형식을 가지고 있기 때문에 수동 구축된 규칙으로 손쉽게 추출 및 변환이 가능했다.
시간 표현을 추출하기 위한 전통적인 접근 방법은 어떠한 것을 가정하는가?
시간 표현을 추출하기 위한 전통적인 접근 방법은 시간 표현이 정형화된 형태로 나타날 것을 가정한다. 따라서 시간 표현을 추출하기 위해 최적화된 규칙을 수동으로 작성하고 추출된 결과를 정규화하기 위한 모듈을 구현하는 것이 일반적이었다.
본 연구에서 하나의 시간 표현을 하나의 처리 단위로 분석 하지 않고 시간의 기본 단위를 분석의 단위로 사용하는 이유는 무엇인가?
하나의 시간 표현들은 년, 월, 일, 시, 분, 초 단위로 구성된다. 실제로 사용하는 시간 표현들은 각각의 단위에 따라 다양하게 조합되어 사용될 수 있기 때문에 표층적인 패턴마다 정규화하는 것은 사실상 불가능하다. 따라서 본 연구에서는 하나의 시간 표현을 하나의 처리 단위로 분석 하지 않고 시간의 기본 단위를 분석의 단위로 사용한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.