[논문]유의어 사전을 이용한 주관식 문제 채점 시스템 설계 및 구현

박희정; 강원석

[국내논문] 유의어 사전을 이용한 주관식 문제 채점 시스템 설계 및 구현
Design and Implementation of a Subjective-type Evaluation System Using Natural Language Processing Technique 원문보기

컴퓨터교육학회논문지 = The Journal of Korean Association of Computer Education, v.6 no.3, 2003년, pp.207 - 216

초록
AI-Helper

일선학교에서 평가는 주로 객관식 평가를 하여왔다. 주관식 평가는 객관식보다 높은 수준의 인지 능력을 측정할 수 있으나 채점의 객관성과 신뢰성의 문제로 기피하여 왔다. 본 논문은 주관식 평가를 위해 주관식 문제 채점 모형을 제안하고 유의어 사전을 이용한 채점 시스템을 설계, 구현하였다. 제안된 시스템은 주관식 문제의 다양한 유형을 처리할 수 있도록 하고 시스템의 사용법을 알지 못하는 교사라도 쉽게 이를 이용할 수 있는 편리성을 제공하였다. 이 시스템을 통해 채점의 시간과 노력을 덜고 채점의 객관성을 획득할 수 있다. 시스템의 실험 결과 시스템 채점이 교사 채점의 최고와 최저 사이에 오는 경우가 73%에 달하는 결과를 얻을 수 있었다. 앞으로 본 연구가 주관식 문제 채점 방법 연구의 기반이 될 것으로 기대된다.

Abstract ▼ AI-Helper

An instructor in education generally takes the objective-type evaluation for grading. The subjective-type evaluation has the merit that it can estimate the high-recognition ability, but the problem of the objectivity and reliability of the evaluation. This paper proposes the model which grades for the subjective-type evaluation. and designs and implements the evaluation system using the synonym thesaurus. This system can process the diverse and wide subjective-type questions and provide the easy usage for a beginner. It also can reduce the time and endeavor for evaluation and provide the objectivity of the evaluation. The system results the 73% success rate. We expect that this system will become a basis of the research on the subjective-type evaluation.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

제안한다. 주관식 문항의 종류와 특징, 채점 방법 등을 분석하기 위해 일선 학교의 주관식 문제와 채점 방법을 조사하고 연구한다. 이를 기준으로 주관식 문제 채점을 위한 인터페이스를 제시한다.
그러나 한국어의 경우 필요성에 따라 많은 연구가 있지만 아직 가치가 인정된 보급화된 시소러스가 없는 실정이다. 이에 따라 본 논문에서는 유의어 사전을 정의하고 구성하여 주관식 문제 채점 시스템에 활용하고자 한다.
그러나 주관식의 가장 큰 단점으로는 채점이 주관적이어서 신뢰도가 낮고 채점에 시간과 노력이 많이 소모된다. 본 연구에서는 이와 같은 단점을 해소하고 사용자가 쉽게 사용할 수 있는 편리성을 제공하는 주관식 출제 및 채점 시스템을 구현하고자 한다. 먼저 주관식 문제의 유형과 특징을 살펴본다.
[13]은 네트워크에서 학생 평가를 시도하였다. 이 논문은 문제 은행을 관리하면서 학생에게 문제를 제시하고 학생은 답안을 작성하는데 메뉴 선택을 통한 객관식 평가에 대한 연구이다. [14] 또한 학생의 답안 작성이 마킹을 통한 답안 작성으로 객관식 평가를 하였다.
[15]는 주관식 문제를 채점하기 위한 보조 시스템으로 시작을 하였다. 이 논문에서는 채점자에게 객관적인 주관식 평가를 하기 위한 자료를 제시하여 평가의 일관성을 유지하도록 시도하였다. 그러나 평가는 채점자가 직접 평가를 한다.
본 논문은 유의어 사전을 이용하여 어휘만의 비교가 아닌 의미의 비교를 할 수 있는 주관식 채점 방법을 제안하고 일반 사용자도 이를 쉽게 사용할 수 있도록 편리성을 제공하는 채점 시스템을 설겨】, 구현한다.
본 논문의 시스템은 사용자가 쉽게 사용할 수 있도록 인터페이스를 설계하였다. 즉, 출제자가 시스템에서 정의한 주관식 문제 유형과 선택사양을 알지 못하더라도 옵션을 선택할 수 있도록 인터페이스를 만들었다.
시소러스 사전이 없다. 따라서 본 논문에서 사용하기에 적합한 유의어 사전을 구축한다. 유의어 사전의 성능은 시스템의 질을 좌우한다.
따라서 채점의 획일성을 탈피하는데 목적을 둔다.
있다. 본 논문은 이와 같은 문제점을 해결하고자 주관식 문제 채점 시스템을 설계, 구현하였다. 본 논문의 시스템은 시스템 사용법을 모르는 초보자들에게도 편리하게 채점을 할 수 있도록 편리한 인터페이스를 구비하였다.

제안 방법

본 논문은 이와 같은 필요성에 따라 다양한 주관식 문제를 평가할 수 있는 주관식 문제 채점모델을 설계하고 유의어 사전을 사용하여 채점하는 채점 시스템을 설겨), 구현한다. 본 논문에서는 먼저 기준이 모호한 주관식 문제 채점 방법을 연구하여 객관성 있는 채점 모델을 제시한다.
채점 시스템을 설겨), 구현한다. 본 논문에서는 먼저 기준이 모호한 주관식 문제 채점 방법을 연구하여 객관성 있는 채점 모델을 제시한다. 이 모델을 통해 교사는 문제 채점의 기준을 입력하고 시스템은 그 기준을 토대로 학습자에게 신뢰성 있고 일관성 있는 채점 결과를 제시한다.
본 논문에서는 먼저 기준이 모호한 주관식 문제 채점 방법을 연구하여 객관성 있는 채점 모델을 제시한다. 이 모델을 통해 교사는 문제 채점의 기준을 입력하고 시스템은 그 기준을 토대로 학습자에게 신뢰성 있고 일관성 있는 채점 결과를 제시한다. 본 논문에서 제안한 주관식 채점 모델은 주관식 평가 방법의 기초가 되고 채점 시스템에 사용된 유의 어 사전은 자연어처 리 분야와 자연어 인터페 이스 분야에 활용될 것으로 기대한다.
첫째 주관식 평가를 위해 문장 분석과 답안 채점에 필요한 기법에 대해 조사하고 기본 기술을 알아본다.
둘째, 주관식 문항에 관하여 조사하고 문항의 틀을 제안한다. 주관식 문항의 종류와 특징, 채점 방법 등을 분석하기 위해 일선 학교의 주관식 문제와 채점 방법을 조사하고 연구한다.
셋째, 분석된 채점 방법을 토대로 채점 시스템을 제안한다. 조사된 8가지 주관식 문항에 따라 유의어 사전을 이용한 유의어 검사, 채점 유사도 계산 등을 통해 채점한다.
제안한다. 조사된 8가지 주관식 문항에 따라 유의어 사전을 이용한 유의어 검사, 채점 유사도 계산 등을 통해 채점한다. 주관식 문항의 유형은 단답형, 논문헝 .
본 연구에서는 이와 같은 단점을 해소하고 사용자가 쉽게 사용할 수 있는 편리성을 제공하는 주관식 출제 및 채점 시스템을 구현하고자 한다. 먼저 주관식 문제의 유형과 특징을 살펴본다.
[16]도 학습 평가를 위해 자동화 시스템을 설계, 구축한 논문이다. 이 연구는 평가를 위해 필요한 자료와 문제 제시, 출제, 답안작성, 평가 등의 자동화를 시도하였다. 역시 이 논문도 평가를 위한 지원 환경의 자동화에 초점을 맞추었다.
[2]는 주관식 채점의 방법을 제안한 연구이다. 이 연구는 시소러스와 벡터 유사도를 이용하여 채점을 시도하였다. 그러나 시소러스가 충분한 규모의 일반화되지 못한 것인 단점이 있다.
그 결과를 형태소 해석하여 키워드 집합으로 보관한다. 다음 불리안 검색기법을 사용하여 학생 답안의 키워드와 정답의 키워드 및 동의어 집합과 비교를 한다. 그리고 채점 알고리즘에 따라 문제유형, 일치도 여부, 핵심어 적용여부, 유사도의 기준치 초과 여부를 고려하여 최종 점수가 계산된다.
인터페이스를 설계하였다. 즉, 출제자가 시스템에서 정의한 주관식 문제 유형과 선택사양을 알지 못하더라도 옵션을 선택할 수 있도록 인터페이스를 만들었다. 시스템의 입력 인터페이스의 화면은 그림 3와 같다.
소량의 데이터에 대한 유의어 사전을 구축하더라도 사전 정의와 구축 과정이 일관성과 객관성을 유지할 수 있다면 대량의 사전 데이터로의 확장에 대한 정당성을 뒷받침할 수 있다. 본 논문에서는 신뢰성을 얻을 수 있도록 유의어 사전 구축의 알고리즘을 정의하고 이 과정에 따라 사전의 데이터를 구성하였다.
먼저 채점 방법을 정하기 위하여 현장에서의 채점 과정을 살펴보았다. 「데이터통신」 과목을 담당하는 현직 교사 5명을 대상으로 중간고사 평가를 검토하여 주관식 14문항에 대해 고등학교 2 학년 학생들에게 시험을 치루게 하였다.
「데이터통신」 과목을 담당하는 현직 교사 5명을 대상으로 중간고사 평가를 검토하여 주관식 14문항에 대해 고등학교 2 학년 학생들에게 시험을 치루게 하였다. 그리고 5명의 교사의 채점 결과를 살펴보았다.
본 논문의 문제 채점 알고리즘은 기본적으로 유의어 사전을 이용하여 이루어진다. 먼저 학생의 답안의 어휘를 추출하고 유의어 사전을 이용하여 어휘의 동의어를 구한다.
사전을 이용하여 이루어진다. 먼저 학생의 답안의 어휘를 추출하고 유의어 사전을 이용하여 어휘의 동의어를 구한다. 그리고 동의어 집합과의 매칭여부를 검사하여 판단을 하게 된다.
학습 데이터의 양이 적어 일반화된 코사인 함수 등의 식보다 휴리스틱 한 식을 선택하였다. 유사도 식을 얻기 위해 문제의 정답과 학생정답의 키워드를 추출하였다. 표 1에서 정답 색인수 8/3/11은 정답과 일치하는 수가 8개, 일치하지 않는 색인 수가 3개, 전체 색인어 수가 11개임을 말한다.
본 논문의 주관식 시스템 채점을 실험하기 위해 주관식 문제 연구에 사용했던 14문항의 주관식 문항을 실제로 채점 시스템에 적용하였다. (그림 6)과 같이 5명의 교사가 직접 채점한 점수 중 최상과 최하 점수를 제외한 3명의 평균 점수와 시스템 채점을 비교하였다.
(그림 6)과 같이 5명의 교사가 직접 채점한 점수 중 최상과 최하 점수를 제외한 3명의 평균 점수와 시스템 채점을 비교하였다. 평균 오차는 3.
위 분석에서는 절대 점수 부여의 차원에서 검사를 한 것이다. 이와 함께 상대 점수 부여의 차원에서 검사를 하였다. 즉, 점수별로 둥수를 매기고 등수의 결과가 얼마나 차이가 나는지를 분석하였다.
이와 함께 상대 점수 부여의 차원에서 검사를 하였다. 즉, 점수별로 둥수를 매기고 등수의 결과가 얼마나 차이가 나는지를 분석하였다. 채점자 평균올 기준으로 하여 각 채점자의 결과와 시스템의 결과를 검토하였다.
즉, 점수별로 둥수를 매기고 등수의 결과가 얼마나 차이가 나는지를 분석하였다. 채점자 평균올 기준으로 하여 각 채점자의 결과와 시스템의 결과를 검토하였다.

대상 데이터

먼저 형태소 해석을 한다. 본 연구의 형태소 해석기는 공개되어 있는 [11]를 이용하였다. 학생 답안의 경우 키워드만 추출하고 출제자의 정답에 대해서는 유의어 사전을 이용하여 동의어도 추출하여 불린 매칭을 위한 데이타를 준비한다.
본 논문은 이와 같은 문제점을 해결하고자 주관식 문제 채점 시스템을 설계, 구현하였다. 본 논문의 시스템은 시스템 사용법을 모르는 초보자들에게도 편리하게 채점을 할 수 있도록 편리한 인터페이스를 구비하였다. 이 시스템을 사용을 통해 채점의 시간과 노력을 덜고 객관성을 얻어 채점의 공정성을 기할 수 있다.

이론/모형

유의어 사전 구축의 알고리즘은 Bible 컴퓨터용어 대사전, Terms 온라인 컴퓨터 용어사전, 네이버 국어사전, 야후 영한/한영사전과 [12]> 기초로 다음 휴리스틱 규칙으로 구성되었다. 사전의 단어는 먼저 대상 시험지의 답안에 들어있는 단어로 정의한다.
본 논문에서는 유사도 계산식을 정보검색 분야에서 많이 사용되고 있는 벡터공간모델의 코사인 함수를 사용하지 않고 불린 모델을 사용한다.벡터공간 모델의 가중치는 일반적으로 빈도수를 이용한다.

성능/효과

수집한 데이터통신 중간고사 문항을 살펴보면, 객관식에 대한 주관식 문항의 비율이 20~ 30%로 현저히 적었다. 주관식 문항 중에서도 단답형에 편향되어 있어 단답형 .
넷째, 주관식의 경우, 개념적인 질문의 경우 채점의 결과가 채점자에 따라 다르게 나타났다. 예를 들어 “데이터 통신에 대한 개념“을 묻는 문항에서 A학생의 답안을 보고 5명의 채점자가 각각 5, 3, 0, 0, 0점을 주었다.
다섯째, 복수 개의 답을 요구할 경우 일치하는 개수에 따라 다른 배점이 나타났다. 예를 들어 “3개이상 나열하시오”라는 문항에 대해 정답과 비교해서 2개가 일치하는 경우 정답으로 처리한 경우도 있고, 부분점수인 5점으로 채점한 경우, 0점으로 채점한 경우 등 채점자에 따라 다양하게 나타났고 부분 배점의 점수도 다양하게 나타났다.
식으로 정의되었다. 학습 데이터의 양이 적어 일반화된 코사인 함수 등의 식보다 휴리스틱 한 식을 선택하였다. 유사도 식을 얻기 위해 문제의 정답과 학생정답의 키워드를 추출하였다.
(그림 6)과 같이 5명의 교사가 직접 채점한 점수 중 최상과 최하 점수를 제외한 3명의 평균 점수와 시스템 채점을 비교하였다. 평균 오차는 3.9점이며, 최고 오차는 10점이며 정확히 일치하는 채점 결과도 볼 수 있었다. 특히 고무적인 것은 시스템의 채점 결과가 3명 교사의 평가 최저와 최고 사이에 있는 경우가 11/15(73%)가 되고 표에 나와 있지 않은 최저 최고점수의 교사까지 포함하여 조사해보니 시스템의 채점이 5명 교사의 평가 최저와 최고 사이에 있는 경우가 15/15(100%)가 되었다.
오차 2 이내의 경우 1번 학생은 B, C 교사와 시스템은 성공하였다고 볼 수 있다. 결과를 보면 시스템은 오차 1 이내의 경우 60%, 오차 2 이내의 경우 93%, 오차 3 이내의 경우는 100%의 성공률을 보인다. 이에 비해 교사의 채점은 시스템의 성공률보다 낮다.
. 문제 2번, 3번, 6번 문항과 같이 답이 명확한 유형은 시스템과 교사의 채점이 오류가 거의 없고 비교적 정확하게 일치하였다.

후속연구

이 모델을 통해 교사는 문제 채점의 기준을 입력하고 시스템은 그 기준을 토대로 학습자에게 신뢰성 있고 일관성 있는 채점 결과를 제시한다. 본 논문에서 제안한 주관식 채점 모델은 주관식 평가 방법의 기초가 되고 채점 시스템에 사용된 유의 어 사전은 자연어처 리 분야와 자연어 인터페 이스 분야에 활용될 것으로 기대한다.
사전의 단어는 먼저 대상 시험지의 답안에 들어있는 단어로 정의한다. 차후 단어를 확장할 예정이다.
필요하다고 생각된다. 또한 보다 정확한 채점을 위해서는 키워드 중심의 표현이 아닌 구구조 또는 의미구조 중심의 표현법이 개발되어야 할 것으로 사료된다. 그리고 본 논문의 주관식 채점 모델을 보다 일반화된 주관식 문항을 채점할 수 있는 주관식 채점 모델로 개선해야 할 것이다.
또한 보다 정확한 채점을 위해서는 키워드 중심의 표현이 아닌 구구조 또는 의미구조 중심의 표현법이 개발되어야 할 것으로 사료된다. 그리고 본 논문의 주관식 채점 모델을 보다 일반화된 주관식 문항을 채점할 수 있는 주관식 채점 모델로 개선해야 할 것이다.
이 시스템을 사용을 통해 채점의 시간과 노력을 덜고 객관성을 얻어 채점의 공정성을 기할 수 있다. 이 시스템의 개발에 사용된 노하우는 향후 주관식 문제 채점 연구의 기반이 될 것으로 기대된다.
앞으로의 과제는 보다 정확한 채점을 위해 주관식 문제 채점의 선택 사양을 보다 세분화하고 다양화하여야 할 필요가 있다. 그리고 대규모의 시소러스 구축, 구문분석과 의미분석의 활용 등의 고급 자연어 처리 기술의 활용이 필요하다.

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 유의어 사전을 이용한 주관식 문제 채점 시스템 설계 및 구현
Design and Implementation of a Subjective-type Evaluation System Using Natural Language Processing Technique 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

저자의 다른 논문 :

활용도 분석정보

활용도 Top5 논문

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 유의어 사전을 이용한 주관식 문제 채점 시스템 설계 및 구현 Design and Implementation of a Subjective-type Evaluation System Using Natural Language Processing Technique 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

저자의 다른 논문 :

강원석 (6)

활용도 분석정보

활용도 Top5 논문 더보기

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 유의어 사전을 이용한 주관식 문제 채점 시스템 설계 및 구현
Design and Implementation of a Subjective-type Evaluation System Using Natural Language Processing Technique 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

활용도 Top5 논문