선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 연구는 수학식 검색 및 토픽 모델 적용이라는 두 가지 주제에 대하여 실험을 수행하였다. 먼저 일반 질의어를 이용하여 수학식을 검색하기 위해 수학식 데이터를 자연어 문장으로 변환하였으며 Indri 시스템을 이용하여 검색을 수행하였다.
제안 방법
- 먼저 일반 질의어를 이용하여 수학식을 검색하기 위해 수학식 데이터를 자연어 문장으로 변환하였으며 Indri 시스템을 이용하여 검색을 수행하였다. 또한 검색 성능 향상을 위해 토픽 모델을 적용하였는데, Indri 검색 순위를 재랭킹 하는 데 있어서 토픽 모델에서 산출된 스코어를 이용하였다. 이와 같은 재랭킹 결과 토픽 모델 적용 전에 비해서 토픽 수 2인 경우 평균 5%의 성능향상을 확인할 수 있었다.
- 본 연구는 수학식 검색 및 토픽 모델 적용이라는 두 가지 주제에 대하여 실험을 수행하였다. 먼저 일반 질의어를 이용하여 수학식을 검색하기 위해 수학식 데이터를 자연어 문장으로 변환하였으며 Indri 시스템을 이용하여 검색을 수행하였다. 또한 검색 성능 향상을 위해 토픽 모델을 적용하였는데, Indri 검색 순위를 재랭킹 하는 데 있어서 토픽 모델에서 산출된 스코어를 이용하였다.
- 본 실험 데이터로는 고등학교 과정 수학 교재의 수학식을 MathML로 변환한 데이터를 사용하였으며, 특정 단원에 편향되지 않게 로그, 미분, 벡터, 행렬 등 다양한 단원으로부터 균등한 비율로 수학식을 선택하였다. 는 실험 데이터를 요약한 것이다.
- 는 실험 데이터를 요약한 것이다. 시스템 평가 도구로는 일반 검색에서도 많이 사용되는 MRR(Mean Reciprocal Rank)을 사용하였으며, 먼저 전체 수학식 데이터 중 임의의 200개 수학식을 사용자에게 보여준 후 평문으로 자유롭게 질의어로 입력하도록 하였고, 검색 결과에 대해 MRR을 산출하였다. [표 4]는 실험 데이터 수를 요약해서 보여주고 있다.
- 또한 b 뒤에 “의”라는 조사는 부착된 경우도 생략된 경우도 관찰할 수 있었다. 이런 많은 수학식 평문 표현을 관찰하여 수학 기호에 대한 MathML 표현과 다양한 평문 표현을 연결시킨 수학 기호 표현에 대한 동의어 사전[표 1]을 구축하였다.
- 즉, 수학식을 소리 내어 읽듯이 검색어를 입력함으로써 복잡한 수학 기호를 입력하거나 별도의 수식 입력 툴 사용 없이도 해당 수식을 검색할 수 있도록 한다. 이를 위해 먼저 다양한 수학식 평문 표현을 관찰하고 MathPlayer[5]를 참고로 하여 수학식을 한글 문장으로 변환하는 시스템을 구축하였다. 아래는 그 예를 보여준다.
- 첫 번째 주제는 수학식 검색에 대한 것으로, MathML에 대해 전혀 모르는 사용자들도 수학식을 검색할 수 있도록 일반 자연어 질의어를 이용하는 데에 중점을 두며, 이를 위해 각각의 수학식 데이터를 한글 문장으로 변환하는 방법을 사용한다. 이 때 하나의 수학식에 대해 일반 문장으로는 표현하는 방법이 여러 가지가 있을 수 있기 때문에, 수학 기호 표현에 대한 동의어 사전의 구축을 통해 질의어로 들어오는 다양한 표현을 정확히 인식하는 데 주력한다.
- 두 번째 주제는 토픽 모델을 이용하여 검색 성능을 향상시키는 방법에 대한 연구이다. 토픽 모델을 적용함으로써 비감독 학습(unsupervised learning)에 의해 수학식 데이터를 적정 수의 토픽수로 미리 클러스터링(clustering)하며, 이 때 산출된 두 가지 스코어인 문서VS토픽 (여기서 문서는 수학식을 의미함) 스코어 및 단어VS토픽 스코어를 이용하여 Indri 검색 결과를 재랭킹(reranking)하는 방법을 이용한다.
- 한글 문장으로 변환된 수학식을 대상으로 Indri 검색 시스템을 이용하여 수학식 검색을 수행한다. 이 때 검색 성능 향상을 위해서 토픽 모델을 이용한다.
- 이 때 검색 성능 향상을 위해서 토픽 모델을 이용한다. 한글로 변환된 수학식 데이터에 대해 미리 LDA (Latent Dirichelet Allocation)에 의한 토픽 모델링을 수행하여 수학식VS토픽, 단어VS토픽 스코어를 산출하며, 이 스코어를 이용하여 수식 (1)과 같은 Indri 검색 결과를 수식 (2)와 같이 재랭킹하였다. 아래 수식에서 w는 수학식 d에 포함된 질의어를 의미하며, z는 토픽을 가리킨다.
대상 데이터
- 실험 결과 토픽 수가 2와 3일 때 최종 검색 성능이 향상됨을 확인할 수 있었는데, [표 2] 및 [표 3]은 토픽 수를 각각 2 및 3으로 했을 때 토픽별 스코어가 상위에 랭크된 단어 리스트이다. 여러 토픽에서 고른 스코어를 보여주거나 숫자인 경우를 제외하고, 해당 토픽에 편중 현상을 보이는 상위 20개 단어들이다.
이론/모형
- 먼저 토픽 모델 적용 전 Indri를 이용한 수학식 검색 결과는 [표 5]와 같다. 가중치 방법은 Indri에서 기본적으로 제공하는 language model (LM)과, 추가로 Tfidf 및 Okapi를 사용하였다.
- 한글 문장으로 변환된 수학식을 대상으로 Indri 검색 시스템을 이용하여 수학식 검색을 수행한다. 이 때 검색 성능 향상을 위해서 토픽 모델을 이용한다. 한글로 변환된 수학식 데이터에 대해 미리 LDA (Latent Dirichelet Allocation)에 의한 토픽 모델링을 수행하여 수학식VS토픽, 단어VS토픽 스코어를 산출하며, 이 스코어를 이용하여 수식 (1)과 같은 Indri 검색 결과를 수식 (2)와 같이 재랭킹하였다.
성능/효과
- [표 6]에서 볼 수 있듯이 2 토픽 경우 평균 5%의 성능 향상을 보였으며, 3 토픽 경우에도 3%에 가까운 성능 향상을 확인할 수 있었다. 요약하자면, 토픽 모델 결과를 이용하여 수학식 검색 순위를 재랭킹함으로써 평균 검색 성능을 성공적으로 향상시킬 수 있음을 알 수 있다.
- 여 수학식 데이터를 수학 영역(혹은 단원)별로 분류하고 있음을 알 수 있다. 그리고 이러한 분류 정보가 단어의 가중치를 결정 할 때 최종 성능을 향상시킬 수 있는 수단으로 사용될 수 있음을 실험을 통해 확인할 수 있다.
- 반면 토픽 수가 4 이상인 경우 최종 검색 성능 향상을 확인할 수 없었는데, 단어의 스코어가 한 토픽에 편중되기 보다는 둘 이상의 토픽에서 고른 스코어를 보여주는 경우가 많았고, 토픽 수가 많아질수록 편중 현상은 더 줄어들고 각 토픽별로 상위에 랭크된 단어리스트에서 특정 수학 영역 발견에 모호함이 많았다. 이는 실험에 사용된 데이터 수가 1,811개로 상대적으로 작아서 토픽 수가 많은 경우 명확한 분류가 어려웠을 것으로 판단된다.
- 실제 재랭킹 시에는 위 두 수식을 선형 결합한다. 실험 결과 토픽 수가 2와 3일 때 최종 검색 성능이 향상됨을 확인할 수 있었는데, [표 2] 및 [표 3]은 토픽 수를 각각 2 및 3으로 했을 때 토픽별 스코어가 상위에 랭크된 단어 리스트이다. 여러 토픽에서 고른 스코어를 보여주거나 숫자인 경우를 제외하고, 해당 토픽에 편중 현상을 보이는 상위 20개 단어들이다.
- [표 6]에서 볼 수 있듯이 2 토픽 경우 평균 5%의 성능 향상을 보였으며, 3 토픽 경우에도 3%에 가까운 성능 향상을 확인할 수 있었다. 요약하자면, 토픽 모델 결과를 이용하여 수학식 검색 순위를 재랭킹함으로써 평균 검색 성능을 성공적으로 향상시킬 수 있음을 알 수 있다.
- 또한 검색 성능 향상을 위해 토픽 모델을 적용하였는데, Indri 검색 순위를 재랭킹 하는 데 있어서 토픽 모델에서 산출된 스코어를 이용하였다. 이와 같은 재랭킹 결과 토픽 모델 적용 전에 비해서 토픽 수 2인 경우 평균 5%의 성능향상을 확인할 수 있었다.
후속연구
- 향후 연구로는 수학식 검색 시스템을 영어 등 다른 언어에 대해 적용하는 방법에 대해서 연구할 예정이다. 또한 수학식을 한글로 변환한 데이터와 MathML 수학식 자체를 둘 다 사용하여 검색을 수행하는 실험을 계획중이며, 토픽 모델을 이용하여 단어간 유사도를 산출 후 검색 가중치에 결합시키는 실험을 계획 중이다.
- 향후 연구로는 수학식 검색 시스템을 영어 등 다른 언어에 대해 적용하는 방법에 대해서 연구할 예정이다. 또한 수학식을 한글로 변환한 데이터와 MathML 수학식 자체를 둘 다 사용하여 검색을 수행하는 실험을 계획중이며, 토픽 모델을 이용하여 단어간 유사도를 산출 후 검색 가중치에 결합시키는 실험을 계획 중이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.