[논문]구문의미트리 비교기를 이용한 주관식 문항 채점 시스템에 대한 연구

강원석

doi:10.32431/kace.2018.21.6.007

[국내논문] 구문의미트리 비교기를 이용한 주관식 문항 채점 시스템에 대한 연구
Research on Subjective-type Grading System Using Syntactic-Semantic Tree Comparator 원문보기

컴퓨터교육학회논문지 = The Journal of Korean Association of Computer Education, v.21 no.6, 2018년, pp.83 - 92

초록
AI-Helper

주관식 문항은 깊이 있는 사고능력 평가와 고등정신능력 평가에 적합하나 채점하기가 쉽지 않다. 동일한 채점기준을 갖더라도 채점자에 따라 다른 채점결과를 가져올 수 있으므로 객관적인 자동 채점 시스템이 필요하다. 그렇지만 채점 시스템은 표현 언어인 한국어 분석과 비교의 문제가 걸려있다. 본 연구는 한국어의 구문 분석을 구현하고 결과인 구문분석 트리를 비교하는 비교기를 이용하여 주관식 문항을 채점하는 채점 시스템을 설계, 개발하였다. 이 시스템은 단어 중심의 채점 시스템과 구문의미트리 중심의 채점 시스템을 복합한 시스템으로 구문의미트리 비교기를 활용하였다. 본 시스템의 실험 결과 제안한 구문의미트리 중심의 채점 시스템과 복합 채점 시스템이 더 나은 결과를 가져옴을 알 수 있었다. 본 연구는 한국어 구문의미분석과 주관식 채점 영역에 활용할 수 있고 또한 문서 분류에도 활용할 수 있을 것이다.

Abstract ▼ AI-Helper

The subjective question is appropriate for evaluation of deep thinking, but it is not easy to score. Since, regardless of same scoring criterion, the graders are able to produce different scores, we need the objective automatic evaluation system. However, the system has the problem of Korean analysis and comparison. This paper suggests the Korean syntactic analysis and subjective grading system using the syntactic-semantic tree comparator. This system is the hybrid grading system of word based and syntactic-semantic tree based grading. This system grades the answers on the subjective question using the syntactic-semantic comparator. This proposed system has the good result. This system will be utilized in Korean syntactic-semantic analysis, subjective question grading, and document classification.

Keyword

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그렇지만 답변의 문장들이 여러 개의 구문의미트리들로 구성되므로 구문의미트리 비교기를 그대로 적용할 수 없다. 본 연구는 여러 개의 구문의미트리로 이루어지는 답변의 채점을 위해 구문의미트리 비교기를 어떻게 적용할 것인지를 연구하였다.
기존의 많은 주관식 문항 채점시스템들이 단어 중심의 채점 방식을 적용하였다. 본 연구에서는 구문의미트리 중심의 채점방식을 제안하였다. 실험 1에서 설명한 것과 같이 단어 중심의 채점 시스템의 결과 0.
본 연구는 주관식 문항 채점을 위해 구문의미 분석이 필요함을 제시하였고 구문의미분석의 결과인 구문의미트리를 비교하는 비교기를 이용하여 구문의미트리 중심의 채점 시스템을 제안하였다. 또한 단어 중심의 채점과 구문의미트리 중심의 채점의 복합 채점 시스템을 제안하였다.

가설 설정

원칙1) 두 구문의미트리의 유사성은 두 트리의 루트의 유사성과 서브트리 유사성의 합이다.
원칙2) 루트의 유사성은 서브트리 유사성보다 더 중요하다.
원칙3) 루트의 유사성은 노드를 구성하는 어휘의 의미 유사성으로 정의한다.
원칙4) 서브트리의 유사성은 격이 같은 서브트리의 유사성의 합이다.
원칙5) 서브트리의 유사성은 서브트리 수에 의존하고 한계치를 넘지 못한다.

제안 방법

최근 이를 해결하려는 자동 채점 시스템에 대한 연구가 이루어지고 있다. 이 연구들은 서술된 답변의 한국어 문장을 형태소 해석하여 단어를 추출하고 단어들의 출현빈도 등을 근거로 자동채점을 시도하였다[1][2].
본 연구는 구문의미트리 비교기를 활용하여 서술식 답변 채점의 성능을 향상하는 복합 채점 시스템을 설계, 구현한다. 이 시스템은 단어간의 구문, 의미관계를 분석하는 구문의미해석기, 구문의미해석의 결과인 구문의미트리를 비교하는 구문 의미트리 비교기, 그리고 단어 중심의 채점과 구문의미트리 중심의 채점을 복합하는 복합채점기 등을 이용하여 주관식 문항을 채점한다.
본 연구는 구문의미트리 비교기를 활용하여 서술식 답변 채점의 성능을 향상하는 복합 채점 시스템을 설계, 구현한다. 이 시스템은 단어간의 구문, 의미관계를 분석하는 구문의미해석기, 구문의미해석의 결과인 구문의미트리를 비교하는 구문 의미트리 비교기, 그리고 단어 중심의 채점과 구문의미트리 중심의 채점을 복합하는 복합채점기 등을 이용하여 주관식 문항을 채점한다.
조우진과 동료들(2005)은 대량의 말뭉치를 이용하여 의미커널을 구축하고 답안을 채점할 때 구축된 의미커널과 한글 워드넷을 이용하여 답안을 채점하였다[3]. 이 연구들은 형태소 분석의 결과인 단어를 추출하고 대량의 데이터 속에 은닉된 단어 간의 의미관계나 사전을 통한 단어의 의미적 유사어 추출 기능을 이용하여 채점을 시도하였다. 그렇지만 단어간 거리나 구조적 관계를 고려한 구문분석이 이루어지지 않아 채점에 한계가 있다.
구문의미트리는 하나의 루트노드와 여러 개의 서브트리로 이루어진다. 두 구문의미트리가 같은지는 루트노드가 서로 같은지 그리고 여러 개의 서브트리 가운데 서로 같은 것이 있는지를 비교한다. 따라서 전체의 유사도는 루트노드의 유사성과 서브트리의 유사성의 합으로 정의한다.
가중치 γ는 원칙 5를 반영한 것으로 서브트리의 수가 증가함에 따라 가중치가 증가하나 한계값까지만 증가하도록 설계하였다.
루트노드를 이루는 단어는 트리의 유형을 결정하는 정보를 담고 있다. 따라서 루트노드의 유사성을 비교하기 위해 단어가 가지고 있는 유형과 의미 정보를 추출하는 의미속성 추출기를 이용하고 추출된 의미속성의 유사도 함수를 정의하여 이용한다.
각 자식 서브트리는 서로 역할(격)이 다르다. 따라서 같은 역할을 하는 서브트리끼리 비교하여 그 유사성을 도출하고 그 결과를 합한다.
전체 시스템은 형태소 해석기, 단어벡터 처리기, 단어벡터 비교기, 구문의미 분석기, 의미속성추출기, 구문의미트리 비교기, 구문의미트리 리스트 비교기, 복합 채점기로 구성된다.
강원석(2015)의 연구에서는 한계값 이상의 유사한 구문의미트리를 찾아내고 이를 같은 벡터의 축으로 인식하도록 같은 구문의미트리로 복사한 후 코사인 계수와 같은 유사도 계산방식을 적용하였다[21]. 본 연구에서는 한계값을 사용하지 않고 구문 의미트리 유사도 값을 그대로 계산에 적용한 구문의미트리 리스트 비교기를 구성하였다. 구문의미트리 리스트 비교기에 적용한 원칙과 식은 다음과 같다.
[그림 4]의 원은 정답과 학생답안의 구문의미트리 리스트를 나타낸다. 정답의 리스트는 AT1, AT2, AT3의 구문의미트리로 구성되고 학생답안은 BT1, BT2, BT3, BT4의구문의미트리로 구성된다고 하자. AT1과 가장 유사한 것 BT1을 화살표로 표현하였다.
cal(TAi, TB)은 TB의 구문의미트리들 가운데 구문의미트리 TAi와 가장 유사한 것을 찾고 그 유사도 값을 계산한다. 그리고 반대방향의 관점에서의 유사도 합을 계산한 후 전체 구문의미트리 수로 나누어 평균을 구한다.
학생 답안의 유형에 따라 단어 중심의 채점이 더 좋은 결과를 가져오는 것도 있고 구문의미 트리 중심의 시스템이 더 좋은 결과를 가져오는 것도 있을 것이다. 본 연구에서는 어떤 유형이라도 좋은 채점결과를 얻도록 두 채점 시스템을 복합하였다.
실험 결과에서 먼저 α값의 변화가 채점에 어떠한 영향을 미치는지를 알아보기 위해 의 내용을 그래프로 도시하였다.
채점 시스템의 성능은 사람이 채점한 점수와 시스템이 채점한 점수의 상관계수로 측정하였다. 그 식은 다음과 같다.
본 연구에서는 두 가지 유형의 시스템에 대한 실험을 하였다.
이때 서브트리의 가중치 β는 1로 고정하였다. 표의 행과 열에 해당하는 값으로 21개의 구문의미 트리 채점 시스템을 구축하고 상관계수 값으로 각 채점시스템의 성능을 구하였다.
983336의 상관계수 값을 얻었다. 그렇지만 학생답안 유형에 따라 단어중심의 채점이 더 좋은 것이 있을 수도 있으므로 두 방식을 복합하여 시스템을 구성하였다. 최적의 복합채점 시스템을 찾기 위해 (식 7)의 µ값과 ν값을 달리하여 시스템을 구성하고 각 시스템의 실험 결과를 <표 4>에 기술하였다.
본 연구는 주관식 문항 채점을 위해 구문의미 분석이 필요함을 제시하였고 구문의미분석의 결과인 구문의미트리를 비교하는 비교기를 이용하여 구문의미트리 중심의 채점 시스템을 제안하였다. 또한 단어 중심의 채점과 구문의미트리 중심의 채점의 복합 채점 시스템을 제안하였다. 본 연구의 실험 결과 구문의미트리 비교기를 이용한 구문의미트리 중심의 채점성능(0.

대상 데이터

본 연구에서 제안한 주관식 채점 시스템의 실험을 위해 컴퓨터 분야의 전공과목 시험에서 33쌍의 검사 답안을 수집하였다.
검사 답안은 평균 33단어와 255바이트로 구성되어 있다. 검사 답안에 대해 사람이 채점한 값의분포는 0.
본 연구는 컴퓨터 전공분야의 지식에 대한 개념정의와 장단점 내용 설명을 요구하는 서술식 유형의 문항을 대상으로 하였다. 즉, 주제를 논하는 논술 유형이 아닌 기본적 지식을 논리적으로 설명하는 과학기술 분야의 주관식 채점에 적합한 것이다.

이론/모형

형태소 해석기은 [19]를 이용하였다. 해석결과는 단어벡터 처리기와 구문의미 분석기로 전달된다.
구문의미 분석기는 구문의미분석에 필요한 제한 조건 등의 검사를 위해 단어에 대한 의미속성을 추출하는 의미속성 추출기를 사용한다. 의미속성 추출기는 단어에 대한 의미의 상하위 의미를 추출하는 것으로 [20]의 시소러스 사전을 이용하였다. 시소러스 사전은 최상위로 thing, event,feature의 개념을 가지는 트리로 구성된다.

성능/효과

강원석(2017)은 기존 연구의 한계를 해결하기 위해 구문의미트리를 비교하는 비교기를 제안하였다[5]. 이 비교기는 두 쌍의 구문의미트리에 대해 유사한 정도를 계산하는 도구로 개발하여 좋은 성능을 얻었다. 그렇지만 답변의 문장들이 여러 개의 구문의미트리들로 구성되므로 구문의미트리 비교기를 그대로 적용할 수 없다.
그래프에 도시된 것과 같이 검사데이터에 대해 α값이 10일 때 가장 채점성능이 좋은 것을 알 수 있다. 이것은 두 구문의미트리의 유사성이 루트와 서브트리의 유사성의 합으로 구성된다의 원칙 1과 루트가 서브트리보다 가중된다는 원칙 2가 유효함을 알 수 있었다.
본 연구에서는 구문의미트리 중심의 채점방식을 제안하였다. 실험 1에서 설명한 것과 같이 단어 중심의 채점 시스템의 결과 0.96869보다 더 좋은 0.983336의 상관계수 값을 얻었다. 그렇지만 학생답안 유형에 따라 단어중심의 채점이 더 좋은 것이 있을 수도 있으므로 두 방식을 복합하여 시스템을 구성하였다.
또한 단어 중심의 채점과 구문의미트리 중심의 채점의 복합 채점 시스템을 제안하였다. 본 연구의 실험 결과 구문의미트리 비교기를 이용한 구문의미트리 중심의 채점성능(0.983336)이 단어 중심의 채점성능(0.96869) 보다 나음을 알 수 있었다. 또한 채점성능 0.
985495의 복합 채점 시스템도 구축할 수 있었다. 본 연구로 구문의미분석과 함께 구문의미트리 비교기를 이용한 구문의미 트리 중심의 채점이 효과 있음을 알 수 있었다.

후속연구

강승식과 장은서(2016)은 학생답안을 분석하여 정답 템플릿을 생성한 후 채점을 하였다[16]. 이 연구는 개념과 실마리 단어 등을 활용하여 채점의 질을 향상하였으나 단어 구 수준의 채점으로 한계가 있다.
즉, 주제를 논하는 논술 유형이 아닌 기본적 지식을 논리적으로 설명하는 과학기술 분야의 주관식 채점에 적합한 것이다. 따라서 본 연구의 구문의미분석, 구문의미트리 비교기, 구문의미트리 비교기를 이용한 채점 방법은 과학기술 분야의 주관식 문항 채점에 바로 적용하여 채점의 질을 향상할 수 있을 것으로 기대된다. 또한 문서의 유사도를 계산하는 분야에도 활용할 수 있을 것이다.
따라서 본 연구의 구문의미분석, 구문의미트리 비교기, 구문의미트리 비교기를 이용한 채점 방법은 과학기술 분야의 주관식 문항 채점에 바로 적용하여 채점의 질을 향상할 수 있을 것으로 기대된다. 또한 문서의 유사도를 계산하는 분야에도 활용할 수 있을 것이다. 앞으로 구문의미분석의 질을 향상할 필요가 있고 주관식 문항 유형별 처리 방법과 복문 또는 문장 간의 연결관계 등을 고려한 채점 시스템의 연구가 필요하다.
또한 문서의 유사도를 계산하는 분야에도 활용할 수 있을 것이다. 앞으로 구문의미분석의 질을 향상할 필요가 있고 주관식 문항 유형별 처리 방법과 복문 또는 문장 간의 연결관계 등을 고려한 채점 시스템의 연구가 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	주관식 문항의 특징은?	주관식 문항은 깊이 있는 사고능력 평가와 고등정신능력 평가에 적합하나 채점하기가 쉽지 않다. 동일한 채점기준을 갖더라도 채점자에 따라 다른 채점결과를 가져올 수 있으므로 객관적인 자동 채점 시스템이 필요하다.
	시소러스 사전은 어떻게 구성되는가?	의미속성 추출기는 단어에 대한 의미의 상하위 의미를 추출하는 것으로 [20]의 시소러스 사전을 이용하였다. 시소러스 사전은 최상위로 thing, event,feature의 개념을 가지는 트리로 구성된다. 그 일부는 [그림 2]와 같다.
	주관식 문항에 대해 학교 현장에서 느끼는 어려움은?	주관식 문항은 깊이 있는 사고능력 평가와 고등정신능력 평가에 적합하여 필요성이 증가하고 있다. 그렇지만 학교 현장에서는 채점기준을 선정하는 것도 쉽지 않고 동일한 채점기준을 적용하더라도 채점자에 따라 다른 결과를 가져올 수 있어 어려움이 있다. 최근 이를 해결하려는 자동 채점 시스템에 대한 연구가 이루어지고 있다.

참고문헌 (21)

정상목.한병래.송기상(2005). LSA를 이용한 서술형 주관식 평가 시스템의 설계 및 구현. 한국정보교육학회, 9(2), 288-298.
조정현.정현기.박찬영.김유섭(2009). BLEU를 활용한 단기 서술형 답안의 자동채점. 한국HCI학회 학술대회, 606-610.
조우진.오정석.이재영.김유섭(2005). 의미 커널과 한글 워드넷에 기반한 지능형 채점 시스템. 정보처리학회논문지A, 12-A(6), 539-546.
강원석(2007). 구문-격의미 정보를 이용한 주관식 문제 채점 시스템 설계 및 구현. 한국 컴퓨터교육학회 논문지, 10(5), 61-69.
강원석(2017). 주관식 문제 채점에서의 구문 의미트리 비교 시스템에 대한 연구. 한국컴퓨터교육학회 논문지, 20(6), 79-88.
김동기.홍동권(2004). 주관식 평가를 위한 웹기반 온라인 평가 시스템의 구현 및 적용. 정보교육학회논문지, 8(2), 1-9.
이재영(2011). 대규모 주관식 문제에서 유사한 답 채점 정보관리 시스템. 한국정보기술 학회논문지, 9(2), 187-196.

상세보기
조지민.김경훈(2014). 서답형 문항 온라인 채점 시스템의 개발과 적용. 한국컴퓨터교육학회 논문지, 17(2), 39-51.
천민아.서형원.김재훈.노은희.성경희. 임은영(2015). 준지도학습 방법을 이용한 한국어 서답형 문항 반자동 채점. 인지과학, 26(2), 147-165.
Claudia Leacock & Martin Chodorow(2003). C-rater: Automated Scoring of Short-Answer Questions. Computers and the Humanities, 37, 389-405.

상세보기
Attali, Y. & Burstein, J.(2006). Automated Essay Scoring With e-rater $^{(R)}$ V.2. Journal of Technology, Learning, and Assessment, 4(3).
최윤정.성태제(2006). 영어 논술 채점 컴퓨터 프로그램의 비교.분석. 교육평가연구, 19(1), 145-160.
박희정.강원석(2003). 유의어 사전을 이용한 주관식 문제 채점 시스템 설계 및 구현. 한국컴퓨터교육학회 논문지, 6(3), 207-216.
강원석(2011). 질의문 유형 분석을 통한 서답형 자동 채점 시스템. 한국콘텐츠학회논문지, 11(2), 13-21.

원문보기 상세보기
박일남.강승식.노은희.김명화.성태제 (2013). 정답 템플릿 작성 방식에 의한 한국어 서답형 문항 자동채점 시스템. 정보과학회논문지 : 컴퓨팅의 실제 및 레터, 19(12), 630-636.

원문보기 상세보기
강승식.장은서(2016). 학생 답안 분석과 정답 템플릿 생성에 의한 한국어 서답형 문항의 자동채점 시스템. 정보과학회 컴퓨팅의 실제 논문지, 22(5), 218-224.
허정만.박소영(2013). 투표 기반 서술형 주관식 답안 자동 채점 모델의 설계 및 구현. 한국컴퓨터정보학회논문지 , 18(8), 17-25.

원문보기 상세보기
천민아.김창현.김재훈.노은희.성경희.송미영(2016). 기계학습 분류기의 예측확률과 만장일치를 이용한 한국어 서답형 문항 자동채점 시스템. 정보처리학회논문지/소프트웨어데이터공학, 5(11), 527-534.
김재훈.선충녕.홍상욱.이성욱.서정연. 조정미(1999). KTAG99: 새로운 환경에 쉽게 적응하는 한국어 품사 태킹 시스템. 제11회 한글 및 한국어정보처리 학술대회논문집, 99-105.
강원석.노주환.제환주.조흠.황세연.정부천(2007). 검색엔진을 한 키워드 관련어 추출기의 설계 및 구현. 한국컴퓨터교육학회 2007년도 동계 학술대회 논문집, 241-246.
강원석(2015). 구문의미트리 비교기를 이용한 유사문서 판별기. 한국콘텐츠학회논문지, 15(10), 636-646.

원문보기 상세보기

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증