초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

본 논문은 코퍼스로부터 추출된 단어들을 빈도수에 따라서 적절하게 표시하고 거리를 계산할 수 있는 새로운 메트릭 공간(metric space)에 대하여 논의한다. 일반적인 Cartesian 좌표 평면은 단어와 빈도수를 표시하는데 불편한 점이 있다고 할 수 있다. 본 논문에서는 빈도수에 기반 한 새로운 좌표 평면과 정보 이론에 기반 한 새로운 거리 계산 방법을 제시하여, 코퍼스 기반 언어 처리에 필요한 계산을 더욱 적합하게 할 수 있도록 하였다.

본 논문은 코퍼스로부터 추출된 단어들을 빈도수에 따라서 적절하게 표시하고 거리를 계산할 수 있는 새로운 메트릭 공간(metric space)에 대하여 논의한다. 일반적인 Cartesian 좌표 평면은 단어와 빈도수를 표시하는데 불편한 점이 있다고 할 수 있다. 본 논문에서는 빈도수에 기반 한 새로운 좌표 평면과 정보 이론에 기반 한 새로운 거리 계산 방법을 제시하여, 코퍼스 기반 언어 처리에 필요한 계산을 더욱 적합하게 할 수 있도록 하였다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 본 논문에서는 코퍼스, WordNet, 시멘틱 네트워크와 지식 베이스, 온톨로지 등을 논의하였다. 그리고 기존의 Cartesian 좌표 평면 이외에 코퍼스로부터 단어와 빈도수를 추출하여 구성할 수 있는 새로운 단어들을 위한 메트릭공간에 대하여 논의하였다.
• 본 논문에서는 코퍼스에 수록된 단어들을 빈도수에 따라 적합하게 표시할 수 있는 새로운 좌표계와 거리 계산 방법에 대하여 논의한다. 이 방법은 언어 처리에 계량적으로 유용하게 사용될 수 있을 것이다.

가설 설정

• 그리고 혹시 비슷한 부분에 단어의 빈도수가 몰리는 경우에는 단어 빈도수에 대하여 log 변환을 사용하여 단어 빈도수를 넓게 분포시켜서 거리를 계산하는 것도 좋을 것이다. 그리고 상호 정보 값이 계산되지 않는 경우에는 d(x, y) 값을 거리로 간주하여야 할 것이다. 코퍼스 전체의 단어수는 정규화를 할 때 사용할 수 있다.

제안 방법

• 베이스, 온톨로지 등을 논의하였다. 그리고 기존의 Cartesian 좌표 평면 이외에 코퍼스로부터 단어와 빈도수를 추출하여 구성할 수 있는 새로운 단어들을 위한 메트릭공간에 대하여 논의하였다. 단어 메트릭 공간인 코퍼스 그람은 언어 처리, 온톨로지, 지식 베이스, 시멘틱 네트워크 연구에 유용한 자원과 도구가 될 수 있을 것으로 생각한다.
• 왜냐하면 여기서 사용하는 좌표계는 Cartesian 좌표계가 아니고 단어의 빈도수에 의하여 정의된 새로운 좌표계이기 때문이다. 따라서 정보 이론 개념[31]을 활용하여 단어 사이의 거리를 계산하는 방법을 고안하였다. 즉, 개별 단어의 빈도수를 기반으로 자기 정보 (self-information)를 계산하고 또한 단어와 단어 사이의 동시 발생 빈도수(co-occurrence)를 계산하여 상호 정보 (mutual information)를 계산하여 단어와 단어 사이의 거리를 계산한다.
• 할 수 있을까? 이 문제를 생각하는 과정에서 0값을 나타내는 원점을 중심으로 하는 기존의 좌표계를 거꾸로 생각하여 0 값을 나타내는 점을 원점의 반대쪽에 위치시키는 방법으로 좌표계를 구성하는 새로운 좌표계를 생각해 보게 되었다. 예를 들어, x, y, z 축을 생각한다고 할 경우에, 코퍼스에서 단어와 빈도수를 추출하여, 빈도수가 높은 단어는 점점 좌표계의 중심 부분에 위치시키고 빈도수가 낮은 단어는 점점 좌표계의 바깥쪽에 위치시키는 방법을 생각하게 되었다.
• 따라서 정보 이론 개념[31]을 활용하여 단어 사이의 거리를 계산하는 방법을 고안하였다. 즉, 개별 단어의 빈도수를 기반으로 자기 정보 (self-information)를 계산하고 또한 단어와 단어 사이의 동시 발생 빈도수(co-occurrence)를 계산하여 상호 정보 (mutual information)를 계산하여 단어와 단어 사이의 거리를 계산한다. 즉, 자기 정보양이 작은 것은 자주 발생하는 것이기 때문에 관계가 많아서 거리가 짧다고 해석하고, 자기 정보 양이 큰 것은 자주 발생하는 것이 아니기 때문에 관계가 멀어서 거리가 멀다고 생각한다.

이론/모형

• 2차원과 3차원의 매트릭 공간에서 대부분의 거리 계산은 유클리디안 거리 공식을 사용한다[30].

성능/효과

• 그 밖에 WordNet에는 데이터베이스와 검색 소프트웨어가 개발되어 있으며 WordNet 어휘 관계를 자동으로 획득할 수 있는 시스템이 개발되어 있다. 따라서 결론적으로 WordNete 전자 어휘 사전이며 어휘 간의 의미 네트워크를 구현한 어휘 의미 네트워크(lexical semantic network) 라고 할 수 있다. 현재에는 영상네트(ImageNet), 의미 분별(Sense Disambiguation), 지식 베이스(Knowledge Base), 의미 추출(Meaning Extraction)등의 연구가 진행되고 있다[5].

후속연구

• 그리고 관심 영역에 대한 지식과 정보를 온톨로지에 의하여 지식 베이스를 구축하여 자연 언어처리에 유용하게 활용하는 방안을 찾아야 할 것이다. 이러한 지식 베이스를 구축할 때에 사용할 어휘는 WordNet의 어휘 시멘틱 네트워크를 활용하여 대상 응용 영역의 어휘 구조를 구축하면 좋은 효과를 얻을 수 있을 것이다.
• 그리고 명사의 분포를 생각하는 경우에 하나의 중심 명사에서 다른 명사로 이어지는 의미의 진행과 연결 과정을 좀 더 세밀하고 균질하게 파악하기 위하여 명사와 명사사이에 의미적으로 비슷한 명사(synonym)들을 WordNet의 어휘 시멘틱 네트워크를 활용하여 찾아서 점진적으로 배치시키는 것을 수행하면 어쩌면 중간에 생략된 명사를 찾아서 분포시키는 결과를 얻을 수가 있을 것이며 그리고 이것은 중간에 생략된 개념을 찾는 결과를 얻을 수도 있을 것으로 생각한다. 동사의 경우에 대하여서도 동일한 과정을 수행하면 중간에 생략된 동사를 찾을 수도 있을 것이다.
• 여기에 상호정보도 함께 고려하면 더욱 의미가 중요한 의미 관계나 술어를 구성할 수가 있을 것이다. 그리고 이 정보는 문장의 요약, 문장을 기반으로 한 온토롤지와 지식 베이스 구축, 그리고 정보 검색에 매우 효과적으로 활용할 수가 있을 것이다.
• 그리고 대명사 지칭 문제, 관계 대명사 지칭 문제, 전치사 접속 문제 등 전통적인 어려운 문제들을 거의 대부분 해결할 수 있을 것으로 생각한다. 그리고 이러한 도구들을 활용하면 문장 재작성(paraphrasing), 텍스트 요약, 텍스트 이해, 텍스트 생성 등도 대부분 가능할 것이다.
• 또한 전체 텍스트의 각 장이나 절마다 명사의 개수와 빈도수에 대하여 평균과 분산을 계산하여 보는 것도 통계적인 관점에서 으I미가 있을 것이다. 그리고 이를 바탕으로 빈도수가 높은 중심 명사와 그렇지 않은 명사들 간의 거리 혹은 거리의 역수를 변수로 하여 확률분포 함수를 예측하여 보는 것도 으I미가 있을 것이다. 동사의 경우에 대하여서도 동일한 과정을 생각해 볼 수 있다.
• 즉, 동일화의 결과가 전체 텍스트에서 명사의 고른 분포를 나타낼 수가 있을 수 있기 때문이다. 그리고 전체 명사의 고른 분포는 텍스트의 어떤 부분에서 있을 수 있는 명사의 집중 현상이나 희소 현상과 대비하여 그 근거를 설명할 수 있는 기본 자료가 될 수도 있을 것이다. 왜냐하면 일반적으로 명사가 전체 텍스트에서 균등하게 분포되어 있는 것이 바람직하다고 생각할 수 있기 때문이다.
• 즉, 명사와 형용사와의 관겨 L 복합 명사와 형용사와의 관계, 명사와 복합 명사의 관계, 동사와 부사와의 관계, 형용사와 부사와의 관겨 I, 동사와 명사와의 관계가 하나의 좌표계에 자연스럽게 표시가 되어 파악이 쉽게 되는 것이다. 더욱이, 코퍼스에서 빈도수가 높은 단어는 자연스럽게 좌표계의 중심 부분에 집중하게 되어, 전체적으로 코퍼스가 포함하고 있는 단어의 빈도수와 분포 그리고 단어의 분포에 따른 코퍼스 전체의 개념의 구조를 파악할 수가 있을 것이다.
• 또한 명사들을 각 장이나 절마다 빈도수를 중심으로 정렬을 하면 텍스트에서 나타내고자 하는 대상, 주제, 그리고 의미의 흐름을 알 수가 있을 것이다. 이것은 텍스트 전체의 의미 구조와 논의의 흐름 과정을 나타낼 수 있으며, 온톨로지와 지식 베이스 구성의 기본 자료가 될 수 있을 것이다.
• 왜냐하면 일반적으로 명사가 전체 텍스트에서 균등하게 분포되어 있는 것이 바람직하다고 생각할 수 있기 때문이다. 또한 전체 텍스트의 각 장이나 절마다 명사의 개수와 빈도수에 대하여 평균과 분산을 계산하여 보는 것도 통계적인 관점에서 으I미가 있을 것이다. 그리고 이를 바탕으로 빈도수가 높은 중심 명사와 그렇지 않은 명사들 간의 거리 혹은 거리의 역수를 변수로 하여 확률분포 함수를 예측하여 보는 것도 으I미가 있을 것이다.
• 단어 메트릭 공간인 코퍼스 그람은 언어 처리, 온톨로지, 지식 베이스, 시멘틱 네트워크 연구에 유용한 자원과 도구가 될 수 있을 것으로 생각한다. 앞으로의 연구로는 가까운 시일 안에 다량의 좋은 코퍼스를 확보하고 논문에서 논의한 코퍼스그람을 구축하여 언어처리와 온톨로지 구축에 적용하여 실험해 보는 것이다.
• 흐름을 알 수가 있을 것이다. 이것은 텍스트 전체의 의미 구조와 논의의 흐름 과정을 나타낼 수 있으며, 온톨로지와 지식 베이스 구성의 기본 자료가 될 수 있을 것이다. 동사들도 빈도수에 따라서 정렬을 하면 행위의 흐름을 알 수가 있을 것이다.
• 도리어 코퍼스에 10번 등장한 table이 기준이 되는 것이 바람직하다고 할 수 있다. 이러한 모순을 어떻게 해결하여 코퍼스에서 추출한 단어와 빈도수들을 가장 적절하게 표시하여 여러가지 유용한 계량적인 처리를 편리하게 할 수 있도록 할까? 이 논문은 이 질문에 대한 해답을 생각하는 과정이라고 할 수 있다.
• 예를 들어, 일차적으로 동사와 명사의 경우를 고려하면 명사가 주어인 경우에는 동사와 명사의 거리를 계산하여 우선 순위가 계산된 의미 관겨 〔(semantic relation)를 구성할 수가 있을 것이며, 명사가 목적어인 경우에도 역시 우선 순위가 계산된 술어 (predicate)를 구성할 수가 있을 것이다. 이러한 의미 관계는 정보 검색, 의미 네트워크 구성, 그리고 분석의 다중성을 해결하는데 유용하게 사용될 수 있을 것이다. 여기에 상호정보도 함께 고려하면 더욱 의미가 중요한 의미 관계나 술어를 구성할 수가 있을 것이다.
• 방안을 찾아야 할 것이다. 이러한 지식 베이스를 구축할 때에 사용할 어휘는 WordNet의 어휘 시멘틱 네트워크를 활용하여 대상 응용 영역의 어휘 구조를 구축하면 좋은 효과를 얻을 수 있을 것이다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기