본 논문에서는 투표기법을 이용하여 서술형 주관식 문제에 대한 학습자 답안을 자동으로 채점하는 모델을 제안한다. 제안하는 방법은 모델 구축 비용을 줄이기 위해서, 문제 유형별로 세분화하여 서술형 주관식 답안 자동 채점 모델을 따로 구축하지 않는다. 제안하는 방법은 서술형 주관식 답안 자동 채점에 유용한 자질을 추출하기 위해서, 모범 답안과 학습자 답안을 비교한 결과를 바탕으로 다양한 자질을 추출한다. 제안하는 방법은 답안 채점 결과의 신뢰성을 높이기 위해서, 각 학습자 답안을 여러 기계학습 기반 분류기를 이용하여 채점하고, 각 채점 결과를 투표하여 만장일치로 선택한 채점 결과를 최종 채점 결과로 결정한다. 실험결과 기계학습 기반 분류기 C4.5만 사용한 채점 결과는 정확률이 83.00%인데 반해, 기계학습 기반 분류기 C4.5, ME, SVM에서 만장일치로 선택한 채점 결과는 정확률이 90.57%까지 개선되었다.
본 논문에서는 투표기법을 이용하여 서술형 주관식 문제에 대한 학습자 답안을 자동으로 채점하는 모델을 제안한다. 제안하는 방법은 모델 구축 비용을 줄이기 위해서, 문제 유형별로 세분화하여 서술형 주관식 답안 자동 채점 모델을 따로 구축하지 않는다. 제안하는 방법은 서술형 주관식 답안 자동 채점에 유용한 자질을 추출하기 위해서, 모범 답안과 학습자 답안을 비교한 결과를 바탕으로 다양한 자질을 추출한다. 제안하는 방법은 답안 채점 결과의 신뢰성을 높이기 위해서, 각 학습자 답안을 여러 기계학습 기반 분류기를 이용하여 채점하고, 각 채점 결과를 투표하여 만장일치로 선택한 채점 결과를 최종 채점 결과로 결정한다. 실험결과 기계학습 기반 분류기 C4.5만 사용한 채점 결과는 정확률이 83.00%인데 반해, 기계학습 기반 분류기 C4.5, ME, SVM에서 만장일치로 선택한 채점 결과는 정확률이 90.57%까지 개선되었다.
TIn this paper, we propose a model automatically scoring a student's answer for a descriptive problem by using a voting method. Considering the model construction cost, the proposed model does not separately construct the automatic scoring model per problem type. In order to utilize features useful ...
TIn this paper, we propose a model automatically scoring a student's answer for a descriptive problem by using a voting method. Considering the model construction cost, the proposed model does not separately construct the automatic scoring model per problem type. In order to utilize features useful for automatically scoring the descriptive answers, the proposed model extracts feature values from the results, generated by comparing the student's answer with the answer sheet. For the purpose of improving the precision of the scoring result, the proposed model collects the scoring results classified by a few machine learning based classifiers, and unanimously selects the scoring result as the final result. Experimental results show that the single machine learning based classifier C4.5 takes 83.00% on precision while the proposed model improve the precision up to 90.57% by using three machine learning based classifiers C4.5, ME, and SVM.
TIn this paper, we propose a model automatically scoring a student's answer for a descriptive problem by using a voting method. Considering the model construction cost, the proposed model does not separately construct the automatic scoring model per problem type. In order to utilize features useful for automatically scoring the descriptive answers, the proposed model extracts feature values from the results, generated by comparing the student's answer with the answer sheet. For the purpose of improving the precision of the scoring result, the proposed model collects the scoring results classified by a few machine learning based classifiers, and unanimously selects the scoring result as the final result. Experimental results show that the single machine learning based classifier C4.5 takes 83.00% on precision while the proposed model improve the precision up to 90.57% by using three machine learning based classifiers C4.5, ME, and SVM.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서, 본 논문에서는 부정어를 고려하고 문제유형을 일반화하여 서술형 주관식 답안을 자동으로 채점하는 모델을 제안한다. 앞으로 2장에서는 서술형 주관식 답안 자동 채점 모델에 관련된 기존 연구에 대해서 살펴본다.
본 논문에서는 투표기법을 이용한 서술형 주관식 답안 자동 채점 모델을 제안한다. 기존 접근방법이 문제 유형마다 답안 채점 모델을 따로 구축하여 모델 구축부담이 증가한다는 점을 보완하기 위해서, 제안하는 방법은 여러 서술형 주관식 문제를 일반화하고 하나의 답안 자동 채점 모델을 구축한다.
본 논문에서는 [그림1]과 같이 자질 추출 단계, 답안 분류 단계, 투표 단계로 구성된 투표기반 서술형 주관식 답안 자동 채점 모델을 제안한다. 제안하는 모델은 모범 답안과 학습자 답안을 형태소 분석하고, 그 결과를 비교하여 서술형 주관식 답안 채점에 유용한 자질들을 추출한다.
답안 자동 채점의 정확률에 부정적으로 영향을 준 자질을 모두 제외할 경우 정확률이 얼마나 향상되는지를 살펴보기 위해서, [표4]에서 회색바탕으로 표현한 자질을 제외하여 [표 5]과 같이 실험하였다. C4.
본 논문에서는 자질 추출 단계, 답안 분류 단계, 투표 단계로 구성된 서술형 주관식 답안 자동 채점 모델을 제안한다. 제안하는 모델은 주어진 모범 답안과 학습자 답안을 비교하여 자질을 추출하고, 이를 바탕으로 기계학습 기반 분류기 C4.
제안 방법
본 논문에서는 투표기법을 이용한 서술형 주관식 답안 자동 채점 모델을 제안한다. 기존 접근방법이 문제 유형마다 답안 채점 모델을 따로 구축하여 모델 구축부담이 증가한다는 점을 보완하기 위해서, 제안하는 방법은 여러 서술형 주관식 문제를 일반화하고 하나의 답안 자동 채점 모델을 구축한다. 그리고, 부정어가 답안의 의미를 반대로 분석할 수 있다는 점을 고려하여, 제안하는 접근방법은 부정어 관련 자질을 활용한다.
기존 접근방법이 문제 유형마다 답안 채점 모델을 따로 구축하여 모델 구축부담이 증가한다는 점을 보완하기 위해서, 제안하는 방법은 여러 서술형 주관식 문제를 일반화하고 하나의 답안 자동 채점 모델을 구축한다. 그리고, 부정어가 답안의 의미를 반대로 분석할 수 있다는 점을 고려하여, 제안하는 접근방법은 부정어 관련 자질을 활용한다. 또한, 서술형 주관식 답안 자동 채점 결과의 신뢰성을 높이기 위해서, 제안하는 접근방법은 여러 기계학습 기반 분류기를 사용하여 답안을 채점하고, 다수결 또는 만장일치의 투표방법[18.
그리고, 부정어가 답안의 의미를 반대로 분석할 수 있다는 점을 고려하여, 제안하는 접근방법은 부정어 관련 자질을 활용한다. 또한, 서술형 주관식 답안 자동 채점 결과의 신뢰성을 높이기 위해서, 제안하는 접근방법은 여러 기계학습 기반 분류기를 사용하여 답안을 채점하고, 다수결 또는 만장일치의 투표방법[18.19]을 바탕으로 최종 채점 결과를 결정한다.
본 논문에서는 [그림1]과 같이 자질 추출 단계, 답안 분류 단계, 투표 단계로 구성된 투표기반 서술형 주관식 답안 자동 채점 모델을 제안한다. 제안하는 모델은 모범 답안과 학습자 답안을 형태소 분석하고, 그 결과를 비교하여 서술형 주관식 답안 채점에 유용한 자질들을 추출한다. 추출한 자질을 여러 기계학습 기반 분류기에 적용하고, 기계학습 기반 분류기의 결과를 투표하여 최종 결과를 선택한다.
제안하는 모델은 모범 답안과 학습자 답안을 형태소 분석하고, 그 결과를 비교하여 서술형 주관식 답안 채점에 유용한 자질들을 추출한다. 추출한 자질을 여러 기계학습 기반 분류기에 적용하고, 기계학습 기반 분류기의 결과를 투표하여 최종 결과를 선택한다.
첫째, 텍스트 자질은 모범 답안 대비 학습자 답안의 구성비를 의미한다. 이를 위해, 먼저 문제 A의 모범 답안과 학습자 답안에서 문장 개수, 어휘 개수, 음절 개수, 명사 개수, 동사 개수, 접속사 개수, 부사 개수, 조사 개수, 숫자 개수, 영어 단어 개수, 수식 개수, 부정어 개수를 센다. 그리고 모범 답안에 나타난 개수 대비 학습자 답안에 나타난 개수의 비율을 각각 자질로 활용한다.
제안하는 서술형 주관식 답안 자동 채점 모델은 이렇게 구성한 자질을 모범 답안과 학습자 답안을 비교하여 추출하고, 추출한 자질을 수식 (2), (3), (4)와 같이 C4.5[22], ME(Maximum Entropy)[23], SVM(Support Vector Machines)[24]의 기계학습 기반 분류기에 적용한다. 기계학습 기반 분류기의 특징이 서로 다르므로, 분류결과가 서로 다를 수 있다.
제안하는 모델의 성능을 평가하기 위해서, 전산학 관련 9개 수업에서 출제된 68개의 서술형 주관식 문제에 대한 학습자들의 답안 1,569개를 수집하여 평가말뭉치를 구축하였다. 각 문항의 채점기준이 되는 모범 답안은 전문서적을 참고하여 수기 채점자 두 명이 의논하면서 작성하였다. 이렇게 구축된 평가말뭉치의 각 답안에 대해서 제안하는 모델은 형태소 분석[25]을 수행하고, [표2]과 같은 자질을 추출한다.
각 문항의 채점기준이 되는 모범 답안은 전문서적을 참고하여 수기 채점자 두 명이 의논하면서 작성하였다. 이렇게 구축된 평가말뭉치의 각 답안에 대해서 제안하는 모델은 형태소 분석[25]을 수행하고, [표2]과 같은 자질을 추출한다. 그리고 추출된 자질을 기계학습기반 분류기 C4.
이렇게 구축된 평가말뭉치의 각 답안에 대해서 제안하는 모델은 형태소 분석[25]을 수행하고, [표2]과 같은 자질을 추출한다. 그리고 추출된 자질을 기계학습기반 분류기 C4.5[22], ME[23], SVM[24]에 적용하고 투표하여 답안을 분류한다.
제안하는 모델이 서술형 주관식 답안을 얼마나 정확하게 자동으로 채점하는지를 정량적으로 평가하기 위해서, 수식 (5)과 같이 제안하는 모델의 정확률을 측정한다[26]. 그리고, 제안하는 모델이 서술형 주관식 답안을 올바르게 채점한 경우가 얼마나 많은지를 평가하기 위해, 수식 (6)과 같이 재현율을 측정하였다.
제안하는 모델이 서술형 주관식 답안을 얼마나 정확하게 자동으로 채점하는지를 정량적으로 평가하기 위해서, 수식 (5)과 같이 제안하는 모델의 정확률을 측정한다[26]. 그리고, 제안하는 모델이 서술형 주관식 답안을 올바르게 채점한 경우가 얼마나 많은지를 평가하기 위해, 수식 (6)과 같이 재현율을 측정하였다. 수식 (7)는 정확률과 재현율의 조화평균인 f-값을 나타낸다.
분류자질의 특징에 따라서 답안 자동 채점의 정확률과 재현율이 어떻게 변하는지 살펴보기 위해서, 실험에 사용된 42개의 자질을 [표2]과 같이 텍스트 자질, 키워드 자질, 조합자질로 나누고, [표3]와 같이 제안하는 모델에 3가지 자질 유형을 활용하여 평가하였다. 기계학습기법을 C4.
본 논문에서 제안한 42개 자질의 영향력을 분석하기 위해서, [표4]와 같이 전체 자질에서 각 자질을 제외했을 때 정확률이 얼마나 떨어지는지를 살펴보았다[19]. 서술형 주관식 답안 자동 채점에 긍정적으로 도움이 되는 자질이라면, 전체 자질에서 해당 자질을 제외할 경우 정확률이 많이 떨어진다.
C4.5, ME, SVM 기반 답안 자동 채점 모델의 각 분류 결과를 투표하여 다수가 선택한 결과를 최종 채택한 경우에 성능이 어떻게 변화하는지를 살펴보기 위해서, [표6]과 같이 실험하였다. 각 모델은 주어진 답안에 대해 보류하지 않고 모두 채점 분류하므로 [표3], [표4], [표5]에서는 정확률, 재현율, f-값이 동일하였지만, [표6]에서는 만장일치하지 않은 결과는 채택하지 않고 보류하여 정확률과 재현률이 일치하지 않는다.
본 논문에서는 자질 추출 단계, 답안 분류 단계, 투표 단계로 구성된 서술형 주관식 답안 자동 채점 모델을 제안한다. 제안하는 모델은 주어진 모범 답안과 학습자 답안을 비교하여 자질을 추출하고, 이를 바탕으로 기계학습 기반 분류기 C4.5, ME, SVM를 이용하여 답안을 분류하고, 분류 결과를 투표하여 최종 결과로 선택한다. 제안하는 모델의 특징은 다음과 같다.
첫째, 제안하는 서술형 주관식 답안 자동 채점 모델은 투표기법을 이용하여 보다 신뢰성있게 서술형 주관식 답안을 채점할 수 있다. 즉, 답안을 표현하는 자질을 C4.5, ME, SVM의 기계학습 기반 분류기에 적용하여 채점하고, 다수결 또는 만장일치의 투표방법을 바탕으로 최종 채점 결과를 결정한다. 실험결과 기계학습 기반 분류기 C4.
대상 데이터
예를 들어, [표1]의 문제 B에서 모범 답안은 2개의 문장, 226개의 음절, 18개의 명사 등으로 구성되어 있으며, 중복을 제거하면 어휘의 종류는 총 24개이다. 학습자의 정답 예제 답안은 2개의 문장, 159개의 음절, 10개의 명사, 23개의 어휘 등으로 구성되어 있다. 따라서, 이를 텍스트 자질로 표현하면 문장자질은 1.
셋째, 조합 자질은 텍스트 자질과 키워드 자질을 조합하여 만든 자질이다. 조합 가능한 전체 자질쌍 중에서 서술형 주관식 답안 자동 채점의 성능 개선에 도움이 된 일부자질을 [표 2]와 같이 선별하였다. 예를 들어, 모범 답안에 1개의 숫자와 2개의 영어 단어가 포함되어 있고, 학습자 답안에 1개의 숫자와 1개의 영어 단어가 포함되어 있다면, 텍스트 자질에서 숫자 개수 비율 자질은 1(=1/1)이고 영어 단어 개수 비율 자질은 0.
제안하는 모델의 성능을 평가하기 위해서, 전산학 관련 9개 수업에서 출제된 68개의 서술형 주관식 문제에 대한 학습자들의 답안 1,569개를 수집하여 평가말뭉치를 구축하였다. 각 문항의 채점기준이 되는 모범 답안은 전문서적을 참고하여 수기 채점자 두 명이 의논하면서 작성하였다.
데이터처리
수식 (7)는 정확률과 재현율의 조화평균인 f-값을 나타낸다. 신뢰성 있는 실험결과를 얻기 위해서, 평가집합을 90%의 학습집합과 10%의 실험집합으로 나누고, 제안하는 서술형 주관식 답안 자동 채점 모델에 적용하여, 정확률, 재현율, f-값을 측정하는 과정을 10회 반복하였고 평균값을 사용하였다.
성능/효과
SVM기반 답안 채점 모델에서는 키워드 패턴 자질 ‘(키워드)를 ~하다’가 가장 높은 4.05%의 정확률 감소폭을 나타냈다.
[표3]에서 정확률은 텍스트 자질 유형, 키워드 자질 유형, 조합 자질 유형의 순서로 높다. 특히, 텍스트 자질을 사용한 ME의 정확률이 75.11%인데 반해서, 키워드 자질과 조합자질을 모두 사용한 ME의 정확률이 73.72%로 오히려 낮다. 이는 텍스트의 특징을 표현하는 자질들이 키워드 자질들에 비해서 문제의 종류에 영향을 적게 받고 적용 범위가 넓다는 것을 보여준다.
또한, [표3]의 C4.5, ME, SVM의 세 가지 분류기 모두에서 텍스트 자질에 다른 자질을 추가하여 활용하는 경우 대체적으로 정확률이 높아지는 경향을 보이며, 전체 자질을 사용하는 경우가 가장 높은 정확률을 보인다. 이는 텍스트 자질, 키워드 자질, 조합 자질의 특징이 서로 다르기 때문에, 함께 사용하면 자질들간에 서로 상호보완할 수 있다는 것을 보여준다.
C4.5 기반 답안 채점 모델은 SVM 기반 답안 채점 모델과 함께 사용하면 정확률이 90.08%까지 상승하며, 이는 C4.5기반 답안 채점 모델 하나만 사용했을 때에 비해서 7.08% 개선된 결과이다. 이는 규칙기반 분류기법 C4.
5와 가중치벡터 기반 분류기법 SVM의 특징이 다르므로 서로 상호보완하면서 긍정적인 영향을 끼쳤기 때문이다. 만장일치 결과만 채택하는 경우 보다 신뢰성있게 채점하여 정확률은 90.57%까지 증가하지만, 보류하는 답안이 증가하면서 재현률은 63.94%로 크게 감소하였다. 한편, 세 가지 모델의 결과에 대해 다수결로 최종결과를 채택하는 경우 C4.
94%로 크게 감소하였다. 한편, 세 가지 모델의 결과에 대해 다수결로 최종결과를 채택하는 경우 C4.5 단독으로 채택하는 경우보다 성능이 오히려 감소하였다. 이는 C4.
첫째, 제안하는 서술형 주관식 답안 자동 채점 모델은 투표기법을 이용하여 보다 신뢰성있게 서술형 주관식 답안을 채점할 수 있다. 즉, 답안을 표현하는 자질을 C4.
5, ME, SVM의 기계학습 기반 분류기에 적용하여 채점하고, 다수결 또는 만장일치의 투표방법을 바탕으로 최종 채점 결과를 결정한다. 실험결과 기계학습 기반 분류기 C4.5의 정확률은 83.00%인데 반해, C4.5, ME, SVM의 기계학습 기반 분류기의 결과가 일치한 경우만 허용한 경우 정확률이 90.57%까지 개선되었다.
둘째, 제안하는 서술형 주관식 답안 자동 채점 모델은 모범 답안과 학습자 답안을 42개의 다양한 자질을 바탕으로 답안을 표현한다. 텍스트 자질은 모범 답안 대비 학습자 답안의 문장길이 비율, 품사별 분포도 등의 답안 자체의 텍스트 특징을 나타낸다.
셋째, 제안하는 서술형 주관식 답안 자동 채점 모델은 모델 구축 비용을 줄일 수 있다. 즉, 문제유형별로 서술형 주관식 답안 자동 채점 모델을 따로 구축하는 기존방법에 비해, 제안하는 모델은 문제유형을 한가지로 일반화하여 채점하므로 모델 구축 비용을 줄일 수 있다.
셋째, 제안하는 서술형 주관식 답안 자동 채점 모델은 모델 구축 비용을 줄일 수 있다. 즉, 문제유형별로 서술형 주관식 답안 자동 채점 모델을 따로 구축하는 기존방법에 비해, 제안하는 모델은 문제유형을 한가지로 일반화하여 채점하므로 모델 구축 비용을 줄일 수 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
서술형 주관식 문항의 한계점은 무엇인가?
그러나, 서술형 주관식 문항은 채점 기준이 모호하여 일관성 있게 답안을 채점하기 어렵고, 채점 결과에 대한 신뢰성 확보가 힘들며, 채점에 시간과 노력이 많이 소요된다는 한계가 있다[7,11,12]. 예를 들어, [표1]과 같이 서술형 주관식 답안이 긴 경우 채점 기준을 명확하게 제시하기 쉽지 않고, 채점 시간이 오래 걸릴 수 있다.
서술형 주관식 답안을 자동으로 채점하기 위한 벙법은 어떻게 나눌 수 있는가?
서술형 주관식 답안을 자동으로 채점하기 위해서, 다양한 접근방법이 제안되었다. 이들은 크게 벡터 유사도를 고려한 접근방법, n-gram 유사도를 고려한 접근방법, 문제유형을 고려한 접근방법으로 나눌 수 있다. 첫째, 벡터 유사도를 고려한 서술형 주관식 답안 자동 채점 접근방법은 모범 답안과 학습자 답안의 각 단어의 출현 빈도를 각각 벡터화하고 두 단어 벡터의 유사도를 계산하여 정답 여부를 판단한다[13-15].
벡터 유사도를 고려한 서술형 주관식 답안 자동 채점 접근방법은 어떻게 정답 여부를 판단하는가?
이들은 크게 벡터 유사도를 고려한 접근방법, n-gram 유사도를 고려한 접근방법, 문제유형을 고려한 접근방법으로 나눌 수 있다. 첫째, 벡터 유사도를 고려한 서술형 주관식 답안 자동 채점 접근방법은 모범 답안과 학습자 답안의 각 단어의 출현 빈도를 각각 벡터화하고 두 단어 벡터의 유사도를 계산하여 정답 여부를 판단한다[13-15]. 따라서, [표1]의 문제 A의 모범 답안과 정답 예제는 동일한 단어를 많이 포함하여, 이 접근방법에서는 두 답안의 유사도가 높게 계산되어 학습자 답안의 정답예제를 정답으로 분류할 수 있다.
참고문헌 (28)
C. G. Jung, R. I. Choi, "A Developmental Plan on Public Education in Digital Times, 21c," Journal of The Korea Society of Computer and Information, Vol. 8, No. 1, pp.120-128, Mar. 2003.
H. J. Kim, J. H. Choi, "Development of a Teaching and Learning Model for Educational Usage of Web 2.0 and Its Effect Analysis," Journal of The Korea Society of Computer and Information, Vol. 16, No. 10, pp.45-52, Oct. 2011.
K. A. Jin, "Development of automated scoring system for English writing." English Language & Literature Teaching, Vol. 13, No. 1, pp.235-259, Spring. 2007.
K. B. Kim, J. H. Cho, "Performance Assessment System using Fuzzy Reasoning Rule," Journal of The Korea Society of Computer and Information, Vol. 10, No. 1, pp.209-216, Mar. 2005.
O. Y. Kwon, "The Design and Implementation of Web-based Subjective questions Grading Algorithm," Department of Educational(Coumputer Scientce) The Graduate School of Education. Hanseo University, pp.1-3(52), Feb. 2004.
W. S. Kang, "Design and Implementation of a Subjective-type Evaluation System Using Syntactic and Case-Role Information," THE JOURNAL OF KOREAN ASSOCIATION OF COMPUTER EDUCATION, Vol. 10, No. 5, pp.61-69, Sept. 2007.
H. J. Park, W. S. Kang, "Design and Implementation of a Subjective-type Evaluation System Using Natural Language Processing Technique," THE JOURNAL OF KOREAN ASSOCIATION OF COMPUTER EDUCATION, Vol. 6, NO. 3, pp.207-216, Jul. 2003.
E. H. No, "Developing an Automatic Content Scoring Program for Short Answer Korean Items in Large-Scalse Assessments," Korea Institute for Curriculum and Evaluation, pp.3-48(230), 2012.
Y. R. Kim, B. Y. Cho, "(A)review on NAEA Korean test based on CURRV framework," Korea Institute for Curriculum and Evaluation, pp.1-12p, 2011.
C. Park, "Validating an Automated Scoring System of Constructed-response items for applications," Journal of Educational Evaluation. Vol. 22, No. 3, pp615-631, Sept. 2009.
E. M. Jung, "Design and Implementation of Automatic Marking System for a Subjectivity Problem of the Program," Journal of Korea Multimedia Society, Vol. 12, No. 5, pp767-776, May. 2009.
J. M. Cho, K. H. Kim, "A Study on design of The Internet-based scoring system for constructed responses," THE JOURNAL OF KOREAN ASSOCIATION OF COMPUTER EDUCATION, Vol. 10, No. 2, pp.89-100, Mar. 2007.
W. J. Cho, "An Intelligent Marking System based on Semantic Kernel and Korean WordNet," Graduate School. Hallym University, pp. 3-33, Aug. 2006.
J. S. Oh, W. J. Cho, Y. S. Kim, J. Y. Lee, "A Descriptive Question Marking System based on Semantic Kernels," Journal of Korean Institute of Information Technology, Vol. 3, No. 4, pp.95-104, Sept. 2005.
D. K. Chung, "Subjective Questions Scoring System Using Vector Similarity and Thesaurus," The Graduate School of Education. Dongguk University, pp.1-45, 2002.
J. H. Cho, H. K. Jung, C. Y. Park, Y. S. Kim, "An Autonomous Assessment of a Short Essay Answer by Using the BLEU," HCI2009, pp.606-605, Gangwon-do Phoenixpark Convention center, Korea, Feb. 2009.
S. H. Jang, "Planning and realizing the Automatic Grading System for Subjective Questions Through an Analysis of Question Types," The Graduate School of Education. Andong National University, 53p, 2008.
Van Halteren, H., Daelemans, W. and Zavrel, J., "Improving accuracy in word class tagging through the combination of machine learning systems," Computational linguistics, Vol. 27, No. 2, pp.199-229, Feb. 2001.
Van Halteren, H., Zavrel, J. and Daelemans, W., "Improving data driven wordclass tagging by system combination," Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics, Vol. 1, pp.491-497, 1998.
J. T. Lee, Y. I. Song, S. Y. Park, H. C. Rim, "Text-Confidence Feature Based Quality Evaluation Model for Knowledge Q&A Documents," Journal of KIISE : Software and Applications, Vol. 35, No. 10, pp.608-615, Nov. 2008.
J. T. Lee, Y. I. Song, H. C. Rim, "Predicting the quality of answers using surface linguistic features," In Proceedings of the 6th International Conference on Advanced Language Processing and Web Information Technology, pp.111-116, 2007.
Quinlan, J. Ross, "C4.5:Programs for Machine Learning," Morgan Kaufmann Publishers, 1993
H. J. Jung, "A Maximum Entropy Approach to Korean Part-of-Speech Tagging," Information & Communications of Engineering, Myongji University, pp.11-18, 2005.
Vapnik, "The Nature of Statistical Learning Theory," Springer-Verlag, 1999
S. Y. Kim, "Incremental Supervised Learning based on SVM with Unlabeled Documents," The Graduate School of Computer Science. Yonsei University, pp.12-13, 2002.
T. Joachims, "Estimating the Generalization Performance of an SVMEfficiently," Proceedings of the 17th International Conference on Machine Learning (ICML 2000), pp. 431-438, 2000.
S. Z. Lee, "New Statistical Models for Automatic Part-of-Speech Tagging," Ph.D. Thesis, Korea University, 1999.
S. Y. Kim, "Object of Interest Extraction Using Gabor Filters," THE JOURNAL OF KOREAN ASSOCIATION OF COMPUTER EDUCATION, Vol. 13, No. 2, pp.87-94, 2008
이 논문을 인용한 문헌
저자의 다른 논문 :
활용도 분석정보
상세보기
다운로드
내보내기
활용도 Top5 논문
해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다. 더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.