[논문]자동화된 프로그래밍 과제 평가 시스템의 설계 및 구현

김미혜

문제 정의

. 샘플 검증 자료: 견본 검증 자료(sanle test data)와 이에 상응하는 출력 결과를 포함한 프로그램의 실행 예제를 제공해 준다.
본 논문에서는 교수자가 웹을 기반으로 프로그래밍 과제 평가 절차를 총괄적으로 관리할 수 있는 프로그래밍 과제 평가 시스템 (PAGS:Programming Assignment Grading System) 을 개발하였다. 특별히 평가자 측면에 초점을 맞추고 평가자가 적절할 피드백과 함께 학생들의 과제를 일괄적으로 쉽게 평가할 수 있을 뿐만 아니라 프로그램 소스코드의 표절 또한 용이하게 검사할 수 있는 평가 시스템을 제시하였다.
따라서 이러한 어려움을 극복할 수 있는 교수자가 자동적이고 일괄적인 방법으로 적절한 피드백과 함께 학습자들의 과제를 쉽게 평가할 수 있고 학습자들 상호 간의 프로그램 소스코드의 표절 또한 용이하게 검사할 수 있는 프로그래밍 과제 평가 시스템에 대한 연구가 필요하다. 본 논문에서는 기존 프로그래밍과제 평가의 문제점을 극복하고 프로그램 성능을 자동적인 방법으로 평가할 수 있을 뿐만 아니라 교수자와 학습자간의 상호 작용을 극대화시키며프로그래밍 과제를 용이하고 효율적인 방법으로 평가할 수 있는 프로그래밍 과제 평가 시스템인PAGS (Programming Assignment Grading System)제안한다.
이 연구에서는 동일한 평가 패러다임을 이용하여 다양한 과제 유형을 평가할 수 있는 확장 가능한 개방된 구조의 과제 관리에 대한 플랫폼을 소개하고 있다. 이 연구는 자동화된 프로그래밍 평가 방법에 초점을 두기보다는 다양한 과제 유형을 동일한 플랫폼을 이용하여 제출하고 처리할 수 있는 통합적인 과제 관리 시스템 개발에 역점을 두고 있다.
PES는 크게 학습자 관리 블록, 교수자 관리 블록, 평가 엔진 블록으로 구성되어 있으며 교수자 관리 블록과 평가 엔진 블록에서 프로그래밍 자동 평가 기능을 다루고 있다. 이 연구는 프로그래밍 자동 평가 시스템에 초점을 두기보다는 학생들의 프로그래밍 학습 효과를 증진시킬수 있는 보다 광범위한 웹 기반 환경에서의 프로그래밍 교육 시스템 개발에 역점을 두고 있다.
[2]. 이 연구에서는 교수자와 학습자간의 향상된 상호작용을 통해 학습자가 시공간 제약 없이 프로그래밍을 학습할 수 있는 환경을 제공하며 프로그램 평가 및 피드백에 대한 효율적인 방법을 제시하였다. PES는 크게 학습자 관리 블록, 교수자 관리 블록, 평가 엔진 블록으로 구성되어 있으며 교수자 관리 블록과 평가 엔진 블록에서 프로그래밍 자동 평가 기능을 다루고 있다.
지원하는 자동화된 과제 관리(Automatic Assignment Management) 도구를 제안하고 있다. 이 연구에서는 동일한 평가 패러다임을 이용하여 다양한 과제 유형을 평가할 수 있는 확장 가능한 개방된 구조의 과제 관리에 대한 플랫폼을 소개하고 있다. 이 연구는 자동화된 프로그래밍 평가 방법에 초점을 두기보다는 다양한 과제 유형을 동일한 플랫폼을 이용하여 제출하고 처리할 수 있는 통합적인 과제 관리 시스템 개발에 역점을 두고 있다.

제안 방법

따라서 제안된 시스템의 과제 평가 수행 시간의 효율성을 평가하기 위하여 본 논문에서는 6개의 과제에 대하여 수작업에 의한 평가 소요시간과 PAGS에 의한 평가 소요시간을 비교 분석하였다. 2명의 평가자가 참여하여 동일 과제에 대하여 한 평가자는 수작업으로, 다른 한 평가자는 PAGS를이용하여 과제를 평가하도록 하였다. 프로그래밍 스타일 평가는 PAGS를 이용한 경우에도 반 수작업으로 수행됨으로 이에 대한 소요시간은 비교분석에서 제외시켰다.
위에서 언급한 바와 같이 등록된 검증자료를 사용하여 일괄적으로 프로그램 성능 평가를 수행한 후 성능 평가가 실패한 과제에 대해서는 수작업으로 프로그램 소스 코드 및 출력 결과 등을 점검하여 재평가하였으며 이에 다소 시간이 소요되었다. 다시 말해, 자동 성능 평가에 실패한 과제에 대해서는 시스템의 출력 결과와 학생의 출력 결과를 수작업으로 재검토하였다. 실험 결과에 의하면 과제명세서에 명시한 구분문자(공백, 콤마, 탭 등의 경계기호 및 사용개수)의 사용 불일치와 불필요한 문자 출력 및 오류처리 등으로 인해 자동 성능 평가에 실패한 사례들이 관찰되었다.
위함이다. 따라서 제안된 시스템의 과제 평가 수행 시간의 효율성을 평가하기 위하여 본 논문에서는 6개의 과제에 대하여 수작업에 의한 평가 소요시간과 PAGS에 의한 평가 소요시간을 비교 분석하였다. 2명의 평가자가 참여하여 동일 과제에 대하여 한 평가자는 수작업으로, 다른 한 평가자는 PAGS를이용하여 과제를 평가하도록 하였다.
본 논문에서는 과제 평가 방법에서는 연구 [1, 3]과 맥락을 같이하며 평가자가 일괄적인 방법으로 적절한 피드백과 함께 평가 절차를 총괄적으로 통제할 수 있는 웹을 기반으로 한 그래픽 환경의 통합 시스템 구축에 역점을 두고 있다. 특별히 평가자 측면에 초점을 맞추고 평가자가 과제를 쉽게 평가할 수 있고 학생들 상호간의 프로그램 소스코드의 표절 또한 용이하게 검사할 수 있는 프로그래밍 과제 평가 시스템(PAGS)을 설계하고 구현한다.
일괄처리 방법을 통해 프로그램을 컴파일하고 검증자료를 사용하여 프로그램의 정확성 및 효율성에 대해 평가한다. 성능에 대한 평가가 완료되면 프로그램 스타일 평가와 프로그램 소스코드 표절 여부를 평가한다. 일련의 평가 과정이 완료되면 시스템은 평가보고서를 생성하여 교수자와 학생들에게 알린다.
학생들은 온라인으로 과제를 제출할 수 있어야 하며 과제를 제출하기에 앞서 과제명세서에서 제공되는 검증 자료를 통해 자신의 프로그램의 성능을 시험해 볼 수 있어야 한다. 시스템은 제출한 과제프로그램을 일정한 위치에 저장하고 학생들에게 과제 제출 성공 여부를 알린 후 과제 제출에 관련된 로그 파일을 생성하고 프로그램을 평가한다. 프로그램을 컴파일한 후 컴파일이 성공하면 일련의 검증자료를 사용하여 프로그램의 정확성 및 효율성에 대해 평가하고 프로그램 소스코드 표절 여부를 검사한 후 적절한 코멘트와 함께 모듈성, 명료성 등과 같은 프로그램 스타일에 대해 평가한다.
유사한 두 프로그램을 좌우 두 프레임 안에 나란히 두고 유사성의 레벨에 따라 소스코드를 다른 배경색으로 표시하여 표절 여부를 쉽게 확인할 수 있는 HTML 페이지도 포함되어 있다. 실험을 통해 50% 이상의 상호 중복이 있는 경우에는 표절이 거의 확실했지만 기계적인 평가 결과에만 의존할 경우 학생들이 평가 결과에 불만을 제기하는 문제들이 야기되어 자동적으로 검사 결과를 시스템에 등록하지 않고 해당 학생들에게 이-메일을 통해 표절 여부를 알린 후 서면이나 면담을 통해 최종적으로 표절 여부를 결정하였다. 즉 평가자가 과제 평가 화면에서 “프로그램 소스코드 표절 검사 결과등록”을 통해 최종 결과를 등록하도록 구성하였다.
과제 평가 화면은 프로그램 성능 평가, 프로그램 스타일 평가, 프로그램 소스코드 표절 검사 및 과제 평가 완료를 수행할 수 있는 평가 항목으로 구성되어 있다. 우선 먼저 “프로그램 성능평가” 항목을 선택하여 프로그램 정확성에 대한성능을 평가한다. 프로그램 성능 평가는 일괄 평가와 개별 평가 방법으로 수행할 수 있으며 일괄평가는 과제 평가명세서에 의거하여 제출된 모든 과제를 일괄 컴파일하고 등록된 검증자료를 사용하여 한꺼번에 모든 과제의 평가가 실행되면 개별 평가는 원하는 학생의 과제만을 평가할 수 있도록 구성되어 있다.
자동 성능 평가에 소요된 시간은 아주 짧았으며 소스코드의 라인 수 및 사용된 검증자료의 개수에도 별 영향이 없 음이 관찰되었다. 위에서 언급한 바와 같이 등록된 검증자료를 사용하여 일괄적으로 프로그램 성능 평가를 수행한 후 성능 평가가 실패한 과제에 대해서는 수작업으로 프로그램 소스 코드 및 출력 결과 등을 점검하여 재평가하였으며 이에 다소 시간이 소요되었다. 다시 말해, 자동 성능 평가에 실패한 과제에 대해서는 시스템의 출력 결과와 학생의 출력 결과를 수작업으로 재검토하였다.
실험 결과에 의하면 과제명세서에 명시한 구분문자(공백, 콤마, 탭 등의 경계기호 및 사용개수)의 사용 불일치와 불필요한 문자 출력 및 오류처리 등으로 인해 자동 성능 평가에 실패한 사례들이 관찰되었다. 이러한 경우에는 출력 부분의 소스 코드만을 수정한 후 수정한 부분에 코멘트를 하고 벌점을 부여하여 개별 평가 방법으로 과제를 재평가하여 점수를 부여하였다. 또한 학생들이 사소한 혹은 아주 간단한 프로그램 오류로 인해 성능 평가가 실패하였음을 제시한 경우에는 학생들이 요구한 부분의 소스코드만을 수정하여 프로그램을 재평가하였다.
평가한다. 일괄처리 방법을 통해 프로그램을 컴파일하고 검증자료를 사용하여 프로그램의 정확성 및 효율성에 대해 평가한다. 성능에 대한 평가가 완료되면 프로그램 스타일 평가와 프로그램 소스코드 표절 여부를 평가한다.
제안된 접근방법을 평가하기 위해 리눅스 환경 하에서 웹을 기반으로 한 프로토타입용 프로그램 과제평가 시스템 PAGS(Prpgraninmg Assignment GradingSystem)를 구현하였다 본 논문에서는 지면 관계상 평가명세서의 등록과 등록된 평가명세서에 의해 과제평가가 어떠한 절차에 따라 수행되는지에 대한 교수자 측면에서의 프로그래밍 과제 평가 시스템의 설계와 구현만을 다루도록 한다
제출한 과제 프로그램을 일정한 위치에 저장하고 과제 제출에 관한 로그 파일을 생성한 후 프로그램을 평가한다. 일괄처리 방법을 통해 프로그램을 컴파일하고 검증자료를 사용하여 프로그램의 정확성 및 효율성에 대해 평가한다.
특별히 평가자 측면에 초점을 맞추고 평가자가 과제를 쉽게 평가할 수 있고 학생들 상호간의 프로그램 소스코드의 표절 또한 용이하게 검사할 수 있는 프로그래밍 과제 평가 시스템(PAGS)을 설계하고 구현한다.
프로그래밍 과제 평가 시스템 (PAGS:Programming Assignment Grading System) 을 개발하였다. 특별히 평가자 측면에 초점을 맞추고 평가자가 적절할 피드백과 함께 학생들의 과제를 일괄적으로 쉽게 평가할 수 있을 뿐만 아니라 프로그램 소스코드의 표절 또한 용이하게 검사할 수 있는 평가 시스템을 제시하였다.
프로그래밍 과제 평가 시스템 PAGS의 유용성을 실험하기 위하여 2007년도 1학기 D대학교 컴퓨터교육과에 개설된 3개의 프로그래밍 관련 교과목(컴퓨터 프로그래밍:C, 자바프로그래밍 및 데이터 구조)에 적용하였다. 해당 교과목에 수강한 학생의 총 수는 48명이었으며 총 6개의 과제에 적용하였다.
프로그램 성능 평가가 완료되면 성능 평가 결과를 바탕으로 프로그램 스타일 평가를 수행한다. 프로그램 스타일 평가는 그림 4와 같은 인터페이스를 통해 반자동화된 방법으로 수행되며 제공된 화면을 통해 소스코드를 검토할 수 있으면 소스코드 검토 결과에 대한 의견, 자동 성능 평가 결과에 대한 피드백 등을 소스 코드에 추가할 수 있다.
시스템은 제출한 과제프로그램을 일정한 위치에 저장하고 학생들에게 과제 제출 성공 여부를 알린 후 과제 제출에 관련된 로그 파일을 생성하고 프로그램을 평가한다. 프로그램을 컴파일한 후 컴파일이 성공하면 일련의 검증자료를 사용하여 프로그램의 정확성 및 효율성에 대해 평가하고 프로그램 소스코드 표절 여부를 검사한 후 적절한 코멘트와 함께 모듈성, 명료성 등과 같은 프로그램 스타일에 대해 평가한다. 최종적으로 평가보고서를 생성하여 교수자와 학생들에게 알린다.
학습자의 관점에서 시스템의 효율성을 평가하기 위하여 실험에 적용된 3개 교과목(기본프로그래밍, 자바프로그래밍, 데이터구조)의 각 교과목의 하나의 과제에는 기존의 수작업 평가 방법을 적용한 후 PAGS를 이용한 경우와 비교하여 학습자의 선호도를 설문조사를 통하여 실시하였다. 설문조사에 참여한 총 학생의 수는 40명이었다.

대상 데이터

설문조사에 참여한 총 학생의 수는 40명이었다. 3개 과목에 등록된 학생의 총수는 48이었으나 다중등록된 학생들은 한번만 설문조사에 참여하도록 하였으며 이로 인해 학생수에 차이점을 보인다.
구조)에 적용하였다. 해당 교과목에 수강한 학생의 총 수는 48명이었으며 총 6개의 과제에 적용하였다.

이론/모형

이를 탐지하거나 방지하기 위한 대책 마련으로 국내외 일부 대학에서 학생들의 표절 행위를 자동으로 검사하는 시스템을 연구 개발하여 제공하고 있다. [8, 9 10, 11], 본 과제 평가 시스템에서는 1994년 버클리(Berkeley) 대학에서 개발되어 2006년부터 스탠포드(Stanford) 대학에서 운영 중인 MOSS (Measure of Software Similarity)을사용하였다 [9]. MOSS는 C, C++, Java, Visual Basic, Javascript, Perl, Pascal, 혹은 Lisp 등의 언어로 구현된 프로그램 소스코드의 유사성을 자동적으로 판정하는 시스템이며 주로 프로그래밍 교과목의 프로그램 과제 표절을 검사하기 위한 도구로 이용되어 왔다.

성능/효과

또한 제안된 평가 방법은 인터넷으로부터 혹은 동료 학생들의 과제를 복제해 제출하는 문제점을 해결하고 학생들 스스로 문제 해결 능력을 키워나갈 수 있는 동기 부여가 되어 궁극적으로는 학습자의 학업 성취도를 향상시킬 수 있는 발판이 되리라 판단된다. 대부분의 학습자들 또한 기존평가 방식에 비해 새로운 평가 방법을 선호하는 것으로 나타났으며 특히 피드백과 함께 모든 평가 항목이 정확히 기술되어 있는 평가 결과보고서에 만족함을 보였다.
본 논문에서 제시한 과제 평가 시스템을 3개의 프로그래밍 관련 교과목 6개 과제에 적용한 결과 기존의 수작업 평가 방법에 비해 과제 평가 소요 시간이 크게 감소되었음을 보여주었다. 따라서 제안된 평가 시스템은 과제를 정확하게 평가할 수 있고 교수자의 평가에 대한 부담감을 해결할 수 있기 때문에 학습자에게 문제 해결 연습 기회를 많이 제공해 줄 수 있는 기반이 되리라 믿는다.
실제로 수작업 표절 검사 결과가 PAGS의 의한 검사 결과와 상이한 결과를 보인 경우가 있었으며 (28%), 특히 학생의 수가 많은 경우, 변수 및 함수 이름변경, 반복문 및 조건문 유형변경, 구조변경 등의 경우 수작업으로 표절 여부를 정확히 판별한다는 것은 어려운 일임을 확인할 수 있었다. PAGS에의한 표절 검사 시간은 MOSS에서 제공된 표절 검사 결과를 평가자가 다시 한번 재확인하는 시간으로 인해 다소 길게 소요되었으나 이 또한 수작업에 의한 평가 소요시간과는 큰 차이가 있음을 알 수 있다.
다시 말해, 자동 성능 평가에 실패한 과제에 대해서는 시스템의 출력 결과와 학생의 출력 결과를 수작업으로 재검토하였다. 실험 결과에 의하면 과제명세서에 명시한 구분문자(공백, 콤마, 탭 등의 경계기호 및 사용개수)의 사용 불일치와 불필요한 문자 출력 및 오류처리 등으로 인해 자동 성능 평가에 실패한 사례들이 관찰되었다. 이러한 경우에는 출력 부분의 소스 코드만을 수정한 후 수정한 부분에 코멘트를 하고 벌점을 부여하여 개별 평가 방법으로 과제를 재평가하여 점수를 부여하였다.
감소되었음을 알 수 있다. 자동 성능 평가에 소요된 시간은 아주 짧았으며 소스코드의 라인 수 및 사용된 검증자료의 개수에도 별 영향이 없 음이 관찰되었다. 위에서 언급한 바와 같이 등록된 검증자료를 사용하여 일괄적으로 프로그램 성능 평가를 수행한 후 성능 평가가 실패한 과제에 대해서는 수작업으로 프로그램 소스 코드 및 출력 결과 등을 점검하여 재평가하였으며 이에 다소 시간이 소요되었다.

후속연구

필요하다고 본다. 더불어 과제 평가자가 한 명 이상인 경우의 평가 절차 및 좀 더 다양한 프로그램 스타일 평가 항목 등을 제공하여 좀 더 유연한 평가 시스템으로의 확장이 필요하다고 본다.
크게 감소되었음을 보여주었다. 따라서 제안된 평가 시스템은 과제를 정확하게 평가할 수 있고 교수자의 평가에 대한 부담감을 해결할 수 있기 때문에 학습자에게 문제 해결 연습 기회를 많이 제공해 줄 수 있는 기반이 되리라 믿는다. 또한 제안된 평가 방법은 인터넷으로부터 혹은 동료 학생들의 과제를 복제해 제출하는 문제점을 해결하고 학생들 스스로 문제 해결 능력을 키워나갈 수 있는 동기 부여가 되어 궁극적으로는 학습자의 학업 성취도를 향상시킬 수 있는 발판이 되리라 판단된다.
따라서 제안된 평가 시스템은 과제를 정확하게 평가할 수 있고 교수자의 평가에 대한 부담감을 해결할 수 있기 때문에 학습자에게 문제 해결 연습 기회를 많이 제공해 줄 수 있는 기반이 되리라 믿는다. 또한 제안된 평가 방법은 인터넷으로부터 혹은 동료 학생들의 과제를 복제해 제출하는 문제점을 해결하고 학생들 스스로 문제 해결 능력을 키워나갈 수 있는 동기 부여가 되어 궁극적으로는 학습자의 학업 성취도를 향상시킬 수 있는 발판이 되리라 판단된다. 대부분의 학습자들 또한 기존평가 방식에 비해 새로운 평가 방법을 선호하는 것으로 나타났으며 특히 피드백과 함께 모든 평가 항목이 정확히 기술되어 있는 평가 결과보고서에 만족함을 보였다.
본 연구의 향후 과제로는 편리한 학습 환경을 제공하는 웹 기반 강의 지원 시스템인CMS(Course Management System) 혹은 LMS (Learning Management System) 와 연계하여 교과목에 관련된 모든 과제 및 성적(중간, 수시, 기말고사)을 통합하여 관리할 수 있는 시스템에 관한 연구가 필요하다고 본다. 더불어 과제 평가자가 한 명 이상인 경우의 평가 절차 및 좀 더 다양한 프로그램 스타일 평가 항목 등을 제공하여 좀 더 유연한 평가 시스템으로의 확장이 필요하다고 본다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

자동화된 프로그래밍 과제 평가 시스템의 설계 및 구현
Design and Implementation of an Automatic Grading System for Programming Assignments 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

자동화된 프로그래밍 과제 평가 시스템의 설계 및 구현 Design and Implementation of an Automatic Grading System for Programming Assignments 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

저자의 다른 논문 :

김미혜 (8)

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

자동화된 프로그래밍 과제 평가 시스템의 설계 및 구현
Design and Implementation of an Automatic Grading System for Programming Assignments 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper