[국내논문]한국어 워드넷에서의 개념 유사도를 활용한 선택형 문항 생성 시스템 A Question Example Generation System for Multiple Choice Tests by utilizing Concept Similarity in Korean WordNet원문보기
본 논문에서는 난이도를 고려하여 선택형 문항을 자동으로 생성하는 방법을 고안하였으며, 학습자 수준에 적합하도록 동적인 형태로 다양한 문항 제시를 할 수 있는 시스템을 구현하였다. 선택형 문제를 통한 평가에서는 적절한 규모의 문제 은행이 필요하다. 이와 같은 요구를 만족시키기 위해서는 보다 쉽고 빠른 방식으로 다양하고 많은 문제 및 문항을 생성할 수 있는 시스템이 필요한데, 본 논문에서는 문제 및 문항의 생성을 위하여 워드넷이라는 언어 자원을 이용한 자동 생성 방법을 고안하였다. 자동 생성을 위해서는 주어진 문장에서 형태소 분석을 통해 키워드를 추출하고, 각 키워드마다 워드넷의 계층적 특성에 따라 유사한 의미를 가진 후보 단어를 제시한다. 의미 유사 후보 단어를 제시할 때, 기존의 한국어 워드넷의 스키마를 개념간 의미 유사도 행렬을 구할 수 있는 형태의 스키마로 변경한다. 단어의 의미 유사도는 동의어를 의미하는 수준 0에서 거의 유사도가 없다고 볼 수 있는 수준 9까지 다양하게 제시될 수 있으며, 생성될 문항에 어느 정도의 유사도를 가진 어휘를 포함시키느냐에 따라서 출제자의 의도에 따른 난이도의 조정이 가능하다. 후보 어휘들의 의미 유사도 측정을 위해서, 본 논문에서는 두 가지 방법을 사용하여 구현하였다. 첫째는 단순히 두 어휘의 워드넷 상에서의 거리만을 고려한 것이고 둘째는 두 어휘가 포함되어 있는 트리 구조의 크기까지 추가적으로 고려한 것이다. 이러한 방법을 통하여 실제 출제자가 기존에 출제된 문제를 토대로 더 다양한 내용과 난이도를 가진 문제 또는 문항을 더 쉽게 출제할 수 있는 시스템을 개발할 수 있었다.
본 논문에서는 난이도를 고려하여 선택형 문항을 자동으로 생성하는 방법을 고안하였으며, 학습자 수준에 적합하도록 동적인 형태로 다양한 문항 제시를 할 수 있는 시스템을 구현하였다. 선택형 문제를 통한 평가에서는 적절한 규모의 문제 은행이 필요하다. 이와 같은 요구를 만족시키기 위해서는 보다 쉽고 빠른 방식으로 다양하고 많은 문제 및 문항을 생성할 수 있는 시스템이 필요한데, 본 논문에서는 문제 및 문항의 생성을 위하여 워드넷이라는 언어 자원을 이용한 자동 생성 방법을 고안하였다. 자동 생성을 위해서는 주어진 문장에서 형태소 분석을 통해 키워드를 추출하고, 각 키워드마다 워드넷의 계층적 특성에 따라 유사한 의미를 가진 후보 단어를 제시한다. 의미 유사 후보 단어를 제시할 때, 기존의 한국어 워드넷의 스키마를 개념간 의미 유사도 행렬을 구할 수 있는 형태의 스키마로 변경한다. 단어의 의미 유사도는 동의어를 의미하는 수준 0에서 거의 유사도가 없다고 볼 수 있는 수준 9까지 다양하게 제시될 수 있으며, 생성될 문항에 어느 정도의 유사도를 가진 어휘를 포함시키느냐에 따라서 출제자의 의도에 따른 난이도의 조정이 가능하다. 후보 어휘들의 의미 유사도 측정을 위해서, 본 논문에서는 두 가지 방법을 사용하여 구현하였다. 첫째는 단순히 두 어휘의 워드넷 상에서의 거리만을 고려한 것이고 둘째는 두 어휘가 포함되어 있는 트리 구조의 크기까지 추가적으로 고려한 것이다. 이러한 방법을 통하여 실제 출제자가 기존에 출제된 문제를 토대로 더 다양한 내용과 난이도를 가진 문제 또는 문항을 더 쉽게 출제할 수 있는 시스템을 개발할 수 있었다.
We implemented a system being able to suggest example sentences for multiple choice tests, considering the level of students. To build the system, we designed an automatic method for sentence generation, which made it possible to control the difficulty degree of questions. For the proper evaluation ...
We implemented a system being able to suggest example sentences for multiple choice tests, considering the level of students. To build the system, we designed an automatic method for sentence generation, which made it possible to control the difficulty degree of questions. For the proper evaluation in the multiple choice tests, proper size of question pools is required. To satisfy this requirement, a system which can generate various and numerous questions and their example sentences in a fast way should be used. In this paper, we designed an automatic generation method using a linguistic resource called WordNet. For the automatic generation, firstly, we extracted keywords from the existing sentences with the morphological analysis and candidate terms with similar meaning to the keywords in Korean WordNet space are suggested. When suggesting candidate terms, we transformed the existing Korean WordNet scheme into a new scheme to construct the concept similarity matrix. The similarity degree between concepts can be ranged from 0, representing synonyms relationships, to 9, representing non-connected relationships. By using the degree, we can control the difficulty degree of newly generated questions. We used two methods for evaluating semantic similarity between two concepts. The first one is considering only the distance between two concepts and the second one additionally considers positions of two concepts in the Korean Wordnet space. With these methods, we can build a system which can help the instructors generate new questions and their example sentences with various contents and difficulty degree from existing sentences more easily.
We implemented a system being able to suggest example sentences for multiple choice tests, considering the level of students. To build the system, we designed an automatic method for sentence generation, which made it possible to control the difficulty degree of questions. For the proper evaluation in the multiple choice tests, proper size of question pools is required. To satisfy this requirement, a system which can generate various and numerous questions and their example sentences in a fast way should be used. In this paper, we designed an automatic generation method using a linguistic resource called WordNet. For the automatic generation, firstly, we extracted keywords from the existing sentences with the morphological analysis and candidate terms with similar meaning to the keywords in Korean WordNet space are suggested. When suggesting candidate terms, we transformed the existing Korean WordNet scheme into a new scheme to construct the concept similarity matrix. The similarity degree between concepts can be ranged from 0, representing synonyms relationships, to 9, representing non-connected relationships. By using the degree, we can control the difficulty degree of newly generated questions. We used two methods for evaluating semantic similarity between two concepts. The first one is considering only the distance between two concepts and the second one additionally considers positions of two concepts in the Korean Wordnet space. With these methods, we can build a system which can help the instructors generate new questions and their example sentences with various contents and difficulty degree from existing sentences more easily.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서 본 연구에서는 자동으로 생성되는 문항의 유사도를 조절함으로써 문제의 난이도를 조절할 수 있도록 하였다. 기존의 [5] 연구에서도 워드넷(WordNet)[6]을 한국어로 번역한 한국어 워드넷[7]을 사용하여 유사한 문항을 동적으로 생성할 수 있었으나, 본 연구에서는 이러한 한국어 워드넷의 구조를 보다 적극적으로 이용하여 유사도를 조절함으로써 보다 다양한 난이도의 문제를 출제할 수 있도록 한다.
따라서 본 연구에서는 자동으로 생성되는 문항의 유사도를 조절함으로써 문제의 난이도를 조절할 수 있도록 하였다. 기존의 [5] 연구에서도 워드넷(WordNet)[6]을 한국어로 번역한 한국어 워드넷[7]을 사용하여 유사한 문항을 동적으로 생성할 수 있었으나, 본 연구에서는 이러한 한국어 워드넷의 구조를 보다 적극적으로 이용하여 유사도를 조절함으로써 보다 다양한 난이도의 문제를 출제할 수 있도록 한다. 선택형 문제에서 오답은 문제의 난이도 및 학습자의 대상 어휘에 대한 이해도 평가에 중요한 역할을 한다[8].
선택형 문제에서 오답은 문제의 난이도 및 학습자의 대상 어휘에 대한 이해도 평가에 중요한 역할을 한다[8]. 따라서 본 연구에서는 정답 문항의 어휘와 새로이 만들어지는 오답 문항의 어휘의 유사도를 워드넷에서 제공하는 Synset, Hypernym, Hyponym 과 같은 계층적 특성을 이용하여 조절함으로써 새로이 생성되는 문제의 난이도를 조절할 수 있도록 하였다. 어휘간 개념 유사도의 측정을 위해서, 본 논문에서는 [9], [10]에서 제시된 측정방법을 구현하여 사용자가 이들 두 가지 방법 중에서 본인의 의도에 더 적합한 방법을 선택할 수 있도록 하였다.
그러나 (그림 2)의 한국어 워드넷의 기본 구조는 많은 정보를 표현하기 위하여 어휘 개념 유사도 행렬 구성에는 필요하지 않은 데이터 필드를 가지고 있으며, 또한 데이터가 지나치게 세분화되어 유사도 행렬을 구성할 때 오버헤드를 유발시켜 성능을 저하시키는 문제를 가지고 있다. 따라서 본 논문에서는 이러한 문제를 해결하기 위하여 주어진 한국어 워드넷의 기본 구조를 유사도 행렬 구성에 맞추어 재구성하였다.
문제의 난이도는 기존 문항의 어휘를 유사도를 토대로 대체함으로써 조절한다. 본 논문에서는 난이도를 상향 조절하는 것을 실험하였다. 난이도를 높이기 위해서 정답을 토대로 오답을 구성하거나, 역시 정답을 토대로 정답을 재구성하는 방법을 이용하였다.
본 실험은 자동 생성 시스템을 통하여 실제 문제의 난이도를 얼마나 높일 수 있었는가에 대한 평가 실험이다. 먼저 본 실험을 위하여 컴퓨터 활용 능력 2급 필기 문제[15] 중에서 난이도를 고려하여 20문제를 선택하였다.
본 연구에서는 한국어 워드넷의 계층 구조를 이용하여 주어진 문항을 가지고 원하는 정도의 유사도를 가진 새로운 문항을 생성하는 시스템을 구현하였다. 본 시스템은 대체어의 선택시 단순히 주어진 어휘의 동의어 또는 하위어만을 고려하는 부분과 워드넷의 계층 구조상에서의 유사도를 고려하여 대체어를 선택하는 부분으로 이루어진다.
마지막으로 시험의 성격을 반영한 시스템의 구축이 진행되어야 할 것이다. 본 연구에서 활용한 시험은 그 성격상 전문 지식의 인지 여부를 물어보는 시험이다. 이러한 시험의 경우에는 많은 문항들이 특정 용어 및 수치로 이루어진다.
가설 설정
따라서 두 유형의 결과 값의 차이가 0인지를 검정하는 paired t-검정을 적용하였다. 검정시 기본가설은 원문 유형과 변경문 유형간 점수 차이가 없다는 것이며, 대립가설은 두 유형간 점수 차이가 통계적으로 유의하게 차이난다는 것이다. (H0:A-B=0 vs H1:A-B≠0) 다음에 검정 결과가 정리되어 있다.
제안 방법
따라서 본 연구에서는 정답 문항의 어휘와 새로이 만들어지는 오답 문항의 어휘의 유사도를 워드넷에서 제공하는 Synset, Hypernym, Hyponym 과 같은 계층적 특성을 이용하여 조절함으로써 새로이 생성되는 문제의 난이도를 조절할 수 있도록 하였다. 어휘간 개념 유사도의 측정을 위해서, 본 논문에서는 [9], [10]에서 제시된 측정방법을 구현하여 사용자가 이들 두 가지 방법 중에서 본인의 의도에 더 적합한 방법을 선택할 수 있도록 하였다.
새로운 문장을 생성하기 위해서, 출제자는 먼저 자신이 참고할 만한 기존의 문장을 입력하거나 저장된 파일에서 불러오고, 원하는 유사도를 입력한다. 시스템은 한국어 형태소 분석기[11]를 사용하여 문장에서 키워드를 추출하고, 동시에 각 키워드와 주어진 유사도를 가지는 후보 어휘들을 한국어 워드넷에서 찾고 그 결과를 출제자에게 제시한다. 마지막으로 출제자는 후보 어휘 중에서 적절한 어휘를 선택하여 새로운 문항을 생성한다.
본 논문에서 사용한 한국어 워드넷[7]은 (그림 2)의 구조로 구성되어 있어 이해가 쉽고 다양한 정보를 얻을 수 있다는 장점이 있다. 본 논문에서는 이 스키마를 이용하여 어휘 개념 유사도 행렬을 구성한다. 또한 주어진 키워드의 동의어 및 하위어는 실제 문장을 생성하는 단계에서 추출하기도 한다.
어휘 개념간의 유사도 측정에서는 한/영 키워드 변환 및 관련 정보 추출에서 관계 사이의 조인 연산이 빈번히 이루어지는데, 질의 처리에 있어서 가장 많은 시간을 사용하는 조인 연산을 줄이기 위해서 (그림 2)의 속성 중에서 불필요한 속성들을 제거하여 기본 구조를 재구성하였다. 또한 하나의 속성에 복수개의 값을 허용하면 속성의 크기의 최대값을 예상하기 어려워 구현시 비효율적인 공간 사용이 초래되고, 또한 질의를 통해 추출한 속성 값 전체를 실제 사용을 위하여 재가공하여야 되는 추가적인 과정이 필요하다.
본 논문에서는 재구성을 진행할 때, 실제로 전체 한국어 워드넷 공간에서 유일한 값을 가지는 synsetOffset 속성을 SynsetIdx라 명칭을 바꾸어 모든 관계의 주키(primary key) 로 결정하고, Synset, Tran 관계에서 중복적으로 주키로 되어 있는 idx 속성을 제거하여 공간 사용을 줄이고 동시에 접근을 더욱 간단하게 하였다. 그리고 여러 번의 조인 연산을 통하여 입력된 한국어 어휘에 대한 영어 어휘를 찾아 이를 변환하던 것을 stdDic 및 synset 관계의 주키들의 비교를 통하여 보다 간소화시켰다.
본 논문에서는 재구성을 진행할 때, 실제로 전체 한국어 워드넷 공간에서 유일한 값을 가지는 synsetOffset 속성을 SynsetIdx라 명칭을 바꾸어 모든 관계의 주키(primary key) 로 결정하고, Synset, Tran 관계에서 중복적으로 주키로 되어 있는 idx 속성을 제거하여 공간 사용을 줄이고 동시에 접근을 더욱 간단하게 하였다. 그리고 여러 번의 조인 연산을 통하여 입력된 한국어 어휘에 대한 영어 어휘를 찾아 이를 변환하던 것을 stdDic 및 synset 관계의 주키들의 비교를 통하여 보다 간소화시켰다. 또한 synset, hypernym, hyponym 관계는 모두 idx, offset과 같이 동일한 필드로 구성되기 때문에, ISA 관계로 이들을 하나로 결합시킴으로써 한국어 워드넷 구조를 더욱 단순화할 수 있었다.
개념 유사도 #1은 [9]의 방법론을 그리고 개념 유사도 #2는 [10]의 방법론을 사용하여 구성하였다. 먼저 각 Synset들의 Hypernym들을 더 이상 Hypernym이 존재하지 않는 최상위 Synset 까지 순차적으로 순회하면서 상위어 리스트를 각 Synset마다 구성한다. 임의의 두 synset에 대하여, 위에서 구축된 최상위 Synset부터 내림차순으로 정렬이 되어 있는 리스트를 순회하면서 LSO(lowest superordianate)를 찾고 이를 통하여 식 (1)의 d값과 식 (2)의 D 값을 계산한다.
또한 서로 다른 개념 트리간의 의미 유사도 계산은 사실상 불가능하기 때문에 이러한 값을 위한 공간 역시 불필요하다. 이러한 불필요한 공간을 줄여 보다 최적화된 행렬을 구현하였다.
단계(1)에서 사용된 문장이 입력되면, 사용자 인터페이스를 처리하는 CStyleAIDlg 클래스에서 이를 받아 WordManager 클래스을 통하여 한국어 형태소 분석기인 HAM(Hangul Analysis Module)[11]을 사용하여 {파일, 압축, 목적, 저장, 공간, 절약, 통신, 속도 ,향상}으로 이루어진 Keyword Set을 추출하여 문장 내에서의 순서에 따라 인덱스를 부여하여 인덱스, Keyword, 조사로 이루어진 KeywordSet클래스를 와 같이 구성한다.
둘째는 한국어 워드넷에서 정밀한 유사도 측정을 위해 필요한 정보를 추출하여 재구성한 의미 유사도 행렬을 한국어 워드넷과 함께 이용하여 사용자가 입력한 유사도에 따른 후보 단어를 추출하는 방법이다. 이 방법에서 유사도를 한국어 워드넷을 통하여 실시간으로 계산하면 엄청난 오버헤드가 발생하기 때문에, 한국어 워드넷의 단어들의 Index를 PrimaryKey로 하여 각 단어마다 상위어, 하위어, 다른 단어와의 Edge의 개수 등을 미리 계산하여 유사도 행렬을 미리 구축 하였다. 사용자가 유사도를 입력하면 KeyWord를 한국어 워드넷을 이용하여 영문으로 대치한 후, 그에 해당하는 Index를 통해 유사도 행렬을 검색하여 후보 단어들을 추출할 수 있게 하였다.
이 방법에서 유사도를 한국어 워드넷을 통하여 실시간으로 계산하면 엄청난 오버헤드가 발생하기 때문에, 한국어 워드넷의 단어들의 Index를 PrimaryKey로 하여 각 단어마다 상위어, 하위어, 다른 단어와의 Edge의 개수 등을 미리 계산하여 유사도 행렬을 미리 구축 하였다. 사용자가 유사도를 입력하면 KeyWord를 한국어 워드넷을 이용하여 영문으로 대치한 후, 그에 해당하는 Index를 통해 유사도 행렬을 검색하여 후보 단어들을 추출할 수 있게 하였다. (그림 7)은 이러한 모든 과정을 보여준다.
본 논문에서는 난이도를 상향 조절하는 것을 실험하였다. 난이도를 높이기 위해서 정답을 토대로 오답을 구성하거나, 역시 정답을 토대로 정답을 재구성하는 방법을 이용하였다. 즉 의미상 정답이라 볼 수 있는 문항에서 일부 어휘를 유사도가 높은 어휘로 대체하고, 그 결과 의미가 동일하다고 보이는 문항은 그대로 정답 문항으로 사용하고, 의미가 틀려졌다고 보이는 문항을 오답 문항으로 사용하였다.
난이도를 높이기 위해서 정답을 토대로 오답을 구성하거나, 역시 정답을 토대로 정답을 재구성하는 방법을 이용하였다. 즉 의미상 정답이라 볼 수 있는 문항에서 일부 어휘를 유사도가 높은 어휘로 대체하고, 그 결과 의미가 동일하다고 보이는 문항은 그대로 정답 문항으로 사용하고, 의미가 틀려졌다고 보이는 문항을 오답 문항으로 사용하였다. 이렇게 함으로써, 새로운 정답 문항은 정답으로 인정할 수 있는 의미를 가지지만, 기존 정답 문항과는 약간 다른 내용을 갖게 되고, 새로운 오답 문항은 정답으로 인정하기 어려우나 기존 정답 문항과 매우 유사한 내용을 갖게 되어 수험자의 혼란을 가져오게 된다.
본 연구에서 제시된 자동 생성 방법은 후보 어휘들을 생성 시스템이 자동으로 생성하여 출제자에게 제시하고, 이를 출제자가 문맥상 하자가 없는지를 검토하고, 이를 통과한 문항을 기존 문항을 대치할 수 있는 문항, 기존 문항으로의 선택을 방해함으로써 문제의 난이도를 높일 수 있는 문항, 그리고 기존 문항과 그 의미의 차이가 커서 쉬운 난이도의 문제를 구성할 수 있는 문항으로 구분하여 활용한다. 후자의 경우에는 정답 문항으로 여러 후보 문항을 생성할 때, 유사도 2이상의 어휘로 생성하여 문맥을 검증하게 되면 기존 문항과 전혀 뜻이 다른 문항들이 생성된다.
본 실험은 자동 생성 시스템을 통하여 실제 문제의 난이도를 얼마나 높일 수 있었는가에 대한 평가 실험이다. 먼저 본 실험을 위하여 컴퓨터 활용 능력 2급 필기 문제[15] 중에서 난이도를 고려하여 20문제를 선택하였다. 이 문제를 임의로 10문제씩 2개의 부분으로 구분하였는데, 한 부분은 원래 문제 그대로인 상태이고 다른 하나는 본 시스템을 활용하여 문항을 변경한 상태이다.
이 문제를 임의로 10문제씩 2개의 부분으로 구분하였는데, 한 부분은 원래 문제 그대로인 상태이고 다른 하나는 본 시스템을 활용하여 문항을 변경한 상태이다. 본 시스템을 가지고 문항을 변경할 때에는 유사도가 2 이하인 대체어를 선택하도록 하였다. 각 부분들은 모두 동일한 10명의 학생들로 하여금 풀게 하였다.
본 연구에서는 한국어 워드넷의 계층 구조를 이용하여 주어진 문항을 가지고 원하는 정도의 유사도를 가진 새로운 문항을 생성하는 시스템을 구현하였다. 본 시스템은 대체어의 선택시 단순히 주어진 어휘의 동의어 또는 하위어만을 고려하는 부분과 워드넷의 계층 구조상에서의 유사도를 고려하여 대체어를 선택하는 부분으로 이루어진다. 이렇게 다양한 정도의 유사성을 가진 문항을 생성함으로써 원하는 정도의 문제 난이도를 구현할 수 있었다.
대상 데이터
본 시스템을 가지고 문항을 변경할 때에는 유사도가 2 이하인 대체어를 선택하도록 하였다. 각 부분들은 모두 동일한 10명의 학생들로 하여금 풀게 하였다.
또한 실험의 객관성을 확보하기 위하여, 위와 같은 실험을 동일한 방식으로 다른 2개의 부류를 대상으로 행하였다. 각 부류는 10명의 학생으로 이루어져 있으며 각각 10개의 원문 및 변경문에 대하여 답하도록 하였다.
또한 실험의 객관성을 확보하기 위하여, 위와 같은 실험을 동일한 방식으로 다른 2개의 부류를 대상으로 행하였다. 각 부류는 10명의 학생으로 이루어져 있으며 각각 10개의 원문 및 변경문에 대하여 답하도록 하였다. <표 6>은 두 부류 학생들의 시험 결과를 보여준다.
데이터처리
본 실험의 통계적인 검증을 위하여 paired t-검정 [16]을 사용하였다. t-검정은 기본적으로 2개의 집단의 평균값이 차이가 있는가를 검정하는 것인데, 본 연구에서 얻은 표본의 경우 한 학생이 원문 및 변경문에 모두 답하였으므로, 이 두 유형의 값이 서로 독립적이라고 보기가 어렵다.
t-검정은 기본적으로 2개의 집단의 평균값이 차이가 있는가를 검정하는 것인데, 본 연구에서 얻은 표본의 경우 한 학생이 원문 및 변경문에 모두 답하였으므로, 이 두 유형의 값이 서로 독립적이라고 보기가 어렵다. 따라서 두 유형의 결과 값의 차이가 0인지를 검정하는 paired t-검정을 적용하였다. 검정시 기본가설은 원문 유형과 변경문 유형간 점수 차이가 없다는 것이며, 대립가설은 두 유형간 점수 차이가 통계적으로 유의하게 차이난다는 것이다.
그리고 의 실험과 의 실험을 모두 합하여 이를 하나의 실험으로 설정하여 다시 paired t-검정을 실시함으로써 원문 및 변경문의 평균의 차이가 통계적으로 유의함이 있는지를 검정하였다.
이론/모형
본 연구에서는 말뭉치 데이터에서 추출되는 어휘의 관련도 (relatedness) 대신 워드넷의 계층구조에서 추출되는 어휘의 유사도 (similarity)를 활용하였다. 이는 새로운 문장을 생성하는데 있어, 그 전체적인 의미가 얼마나 변하는가에 따른 난이도 조절을 목표로 하기 때문이다.
본 연구에서는 워드넷에서 Synset간의 Hyponym과 Hypernym 관계를 활용하여 어휘간 또는 개념간 유사도를 계산하였는데 [13]에서 제시된 바와 같이 성능면에서 큰 차이가 없고 대량의 데이터를 구축할 필요가 없는 [9]과[10]에서 제시한 방식을 사용하였다. [9]와 [10]에서 제시한 방식으로 어휘간 또는 개념간 유사도를 계산하였는데, 이 알고리즘에 대한 간략한 설명은 다음과 같다.
성능/효과
본 연구에서 구현한 난이도를 고려한 문항의 자동 생성 시스템을 이용하여 출제자는 보다 빠르고 간편하게 보다 다양한 문항을 생성할 수 있었으며, 테스트 결과 학생들에게 보다 높은 난이도의 문제를 간편하게 제시할 수 있었다.
그리고 여러 번의 조인 연산을 통하여 입력된 한국어 어휘에 대한 영어 어휘를 찾아 이를 변환하던 것을 stdDic 및 synset 관계의 주키들의 비교를 통하여 보다 간소화시켰다. 또한 synset, hypernym, hyponym 관계는 모두 idx, offset과 같이 동일한 필드로 구성되기 때문에, ISA 관계로 이들을 하나로 결합시킴으로써 한국어 워드넷 구조를 더욱 단순화할 수 있었다. 재구성 결과를 함수종속성의 폐포와 후보키를 고려하여 BCNF (Boyce-Codd Normal Form)[14] 정규화의 조건을 맞추어 테이블을 재구성하면 (그림 3)과 같은 새로운 구조가 된다.
실험 결과, 10개의 기존 문제를 풀게 하였을 때에는 학생들이 평균 7.2점을 획득한 반면에 본 시스템을 활용하여 문항을 변경하여 풀게 하였을 경우에는 평균 6.4점을 획득하였다. 보다 자세한 실험 결과는 <표 5>에 나타나 있다.
<표 6>을 보면 t-값이 임계값보다 크기 때문에, 검정통계량이 기각역에 속하게 되므로 기본 가설을 기각하게 되므로, 본 연구의 결과로 두 유형간 점수 차이가 통계적으로 차이 난다고 볼 수 있다. 즉, 원문의 평균이 변경문의 평균보다 유의하게 크다고 판정되어 본 실험의 난이도 조절 효과가 있었다고 판단된다.
05보다 훨씬 작다. 따라서 귀무가설은 기각되며, 평균값이 0.67으로 양수의 값을 가지므로, 변경문에 대한 시험 결과가 원문에 대한 시험 결과보다 통계적으로 유의하게 낮다는 것을 알 수 있다. 즉 시험의 난이도가 향상되었다고 판단할 수 있다.
후속연구
어휘 개념간의 유사도 측정에서는 한/영 키워드 변환 및 관련 정보 추출에서 관계 사이의 조인 연산이 빈번히 이루어지는데, 질의 처리에 있어서 가장 많은 시간을 사용하는 조인 연산을 줄이기 위해서 (그림 2)의 속성 중에서 불필요한 속성들을 제거하여 기본 구조를 재구성하였다. 또한 하나의 속성에 복수개의 값을 허용하면 속성의 크기의 최대값을 예상하기 어려워 구현시 비효율적인 공간 사용이 초래되고, 또한 질의를 통해 추출한 속성 값 전체를 실제 사용을 위하여 재가공하여야 되는 추가적인 과정이 필요하다.
또한 워드넷은 분야별로 새로이 등장하는 어휘를 즉각적으로 반영하지 못하는 문제도 가지고 있다. 따라서 향후 이러한 워드넷의 한계를 극복하기 위하여 첫째, 문제의 영역(domain)에 따라서 말뭉치를 구축하고 이러한 말뭉치에서 추출되는 정보를 통하여 어의 중의성을 해소하여야 하며, 둘째, 새로이 등장하는 전문 어휘들을 워드넷 상에 위치시킬 수 있는 방법에 대한 연구가 필요하다. 또한 다양한 문제 난이도를 구현하기 위해서는, 문항의 개별 키워드별로 별도의 유사도를 반영하여 대체어를 찾을 수 있는 방법도 구현하여야 할 것이다.
따라서 향후 이러한 워드넷의 한계를 극복하기 위하여 첫째, 문제의 영역(domain)에 따라서 말뭉치를 구축하고 이러한 말뭉치에서 추출되는 정보를 통하여 어의 중의성을 해소하여야 하며, 둘째, 새로이 등장하는 전문 어휘들을 워드넷 상에 위치시킬 수 있는 방법에 대한 연구가 필요하다. 또한 다양한 문제 난이도를 구현하기 위해서는, 문항의 개별 키워드별로 별도의 유사도를 반영하여 대체어를 찾을 수 있는 방법도 구현하여야 할 것이다. 마지막으로 시험의 성격을 반영한 시스템의 구축이 진행되어야 할 것이다.
이러한 시험의 경우에는 많은 문항들이 특정 용어 및 수치로 이루어진다. 이러한 성격의 시험에서는 본 연구에서 제안된 방법이 제한적으로 활용 될 수 밖에 없다. 따라서 본 연구에서 제안된 방법을 [8]의 연구에서 활용한 성격의 시험에 적용하고 이에 맞추어 최적화하는 연구를 진행하여야 할 것이며, 동시에 전문 지식을 물어보는 시험에 최적화된 방법론을 새로이 개발하여야 할 것이다.
이러한 성격의 시험에서는 본 연구에서 제안된 방법이 제한적으로 활용 될 수 밖에 없다. 따라서 본 연구에서 제안된 방법을 [8]의 연구에서 활용한 성격의 시험에 적용하고 이에 맞추어 최적화하는 연구를 진행하여야 할 것이며, 동시에 전문 지식을 물어보는 시험에 최적화된 방법론을 새로이 개발하여야 할 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
한국어 워드넷의 선택형 문제에서 오답은 어떤 역할을 하는가?
기존의 [5] 연구에서도 워드넷(WordNet)[6]을 한국어로 번역한 한국어 워드넷[7]을 사용하여 유사한 문항을 동적으로 생성할 수 있었으나, 본 연구에서는 이러한 한국어 워드넷의 구조를 보다 적극적으로 이용하여 유사도를 조절함으로써 보다 다양한 난이도의 문제를 출제할 수 있도록 한다. 선택형 문제에서 오답은 문제의 난이도 및 학습자의 대상 어휘에 대한 이해도 평가에 중요한 역할을 한다[8]. 따라서 본 연구에서는 정답 문항의 어휘와 새로이 만들어지는 오답 문항의 어휘의 유사도를 워드넷에서 제공하는 Synset, Hypernym, Hyponym 과 같은 계층적 특성을 이용하여 조절함으로써 새로이 생성되는 문제의 난이도를 조절할 수 있도록 하였다.
최근 워드넷은 어디에 활용되고 있는가?
워드넷[6]은 1985년 프린스톤(Princeton)대학 인지과학연구실에서 연구되어 발전된 것으로써, 최초에는 어휘들의 연관성을 나타내기 위하여 고안되었으며 최근에는 언어처리, 정보검색 등의 분야에서 매우 활발하게 활용, 연구되고 있다[12].
한국어 워드넷이 다시 한글 변환이 필요한 이유는?
한국어 워드넷은 영문을 기준으로 의미의 계층이 이루어지기 때문에 키워드의 영문 변환 후에 유사도를 측정하여야 하며 유사도에 따른 후보단어 확장 이후 다시 한글 변환이 필요하다. 한국어 워드넷에서 동의어를 추출하기 위해서는 키워드의 한국어 워드넷 상에서의 offset을 계산하고 이와 같은 offset을 가지는 단어들을 후보단어로 추출하며, 하위어를 추출할 때에는 키워드에 연결된 하위어들의 인덱스를 이용하여 hypernym table에서 추출하여 후보단어를 추출한다.
참고문헌 (16)
Educational Testing Service, http://www.ets.org
황대준, “사이버 스페이스상의 상호참여형 실시간 원격교육 시스템에 관한 연구”, 한국정보처리학회 제4권 3호, 1997. 5
조은순, “원격교수-학습을 위한 사고의 전환: 하드웨어에서 소프트웨어로”, 한국정보처리학회 제4권 3호, 1997. 5
G. A. Miller, "WordNet: An On-Line Lexical Database," International Journal of lexicography, 1990
이은령 임성신, “WordNet2.0의 한국어 번역 작업과 결과물”, 부산대학교 한국어정보처리연구실
최수일, 임지희, 최호섭, 옥철영, “사용자 어휘지능망과 자동문제생성기술을 이용한 한국어 어휘학습시스템”, 제 18회 한글 및 한국어 정보처리 학술대회 논문집, pp.15-21, 2006
Graeme Hirst and David St-Onge, “Lexical chains as representations of context for the detection and correction or malapropisms,” In Fellbaum, pp.305-332, 1998
Claudia Leacock and Martin Chodorow, “Combining local context and WordNet similarity for word sense identification,” In Fellbaum, pp.265-283, 1998
강승식, 범용 형태소 분석기 “HAM Ver 6.0.0”, 국민대학교 자연언어 정보 검색 연구실, http://nlp.kookmin.ac.kr
Wikipedia, http://en.wikipedia.org/wiki/WordNet
Budanitsky, A., and G. Hirst, “Semantic Distance in WordNet: An Experimental Application-oriented Evaluation of Five Measures“, Workshop on WordNet and Other Lexical Resources, in the North American Chapter of the Association for Computational Linguistics (NAACL-2001), Pittsburgh, PA, June, 2001
Date, C. J., “An Introduction to Database Systems: 7th edition,” Addison Wesley Longman, 1999
대한상공회의소 감정사업단, http://www.passon.co.kr
Goulden, C. H., “Methods of Statistical Analyssi 2nd ed.,” New York: Wiley, pp.50-55, 1956
이 논문을 인용한 문헌
저자의 다른 논문 :
연구과제 타임라인
LOADING...
LOADING...
LOADING...
LOADING...
LOADING...
활용도 분석정보
상세보기
다운로드
내보내기
활용도 Top5 논문
해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다. 더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.