ICT 기술이 다양한 교육 분야에 적용되고 있지만 교육 평가 분야에 적용은 제한적이다. 컴퓨터 기반 평가는 기존의 지필평가에 비해 시간적/공간적 제약을 넘어서는 장점을 가지며 있지만 시험 당사자들의 부정행위에 취약하다. 본 논문에서는 컴퓨터 기반 평가의 보안성을 강화하기 위하여 실시간 모니터링 및 프로세스 관리 방안을 제안한다. 제안된 방식에서는 시험 화면을 주기적으로 캡처하여 교수 화면에 표시하여 실시간 감시가 가능하도록 하고 부정행위에 사용될 프로세스를 시험 전에 차단할 수 있도록 한다. 많은 학생들의 화면을 실시간으로 감시하기 위해서는 캡처된 원본 이미지의 효과적인 압축이 중요하다. 이를 위하여 이미지 압축 모듈의 사용, 해상도 약화, 재 압축의 3단계 압축 방식을 적용하였다. 이를 통하여 약 6MB의 원본 이미지를 약 3.8KB의 저장 이미지로 변환하였다. 부정 프로세스 차단 기능을 위하여 윈도우즈 API를 이용한 프로세스 추출 및 관리 기능을 사용하였다. 새로운 보안 강화 방안이 적용된 본 논문의 컴퓨터 기반 평가 시스템이 기존의 컴퓨터 기반평가 시스템과의 보안 관련 기능 비교를 통하여 우수함을 보여준다.
ICT 기술이 다양한 교육 분야에 적용되고 있지만 교육 평가 분야에 적용은 제한적이다. 컴퓨터 기반 평가는 기존의 지필평가에 비해 시간적/공간적 제약을 넘어서는 장점을 가지며 있지만 시험 당사자들의 부정행위에 취약하다. 본 논문에서는 컴퓨터 기반 평가의 보안성을 강화하기 위하여 실시간 모니터링 및 프로세스 관리 방안을 제안한다. 제안된 방식에서는 시험 화면을 주기적으로 캡처하여 교수 화면에 표시하여 실시간 감시가 가능하도록 하고 부정행위에 사용될 프로세스를 시험 전에 차단할 수 있도록 한다. 많은 학생들의 화면을 실시간으로 감시하기 위해서는 캡처된 원본 이미지의 효과적인 압축이 중요하다. 이를 위하여 이미지 압축 모듈의 사용, 해상도 약화, 재 압축의 3단계 압축 방식을 적용하였다. 이를 통하여 약 6MB의 원본 이미지를 약 3.8KB의 저장 이미지로 변환하였다. 부정 프로세스 차단 기능을 위하여 윈도우즈 API를 이용한 프로세스 추출 및 관리 기능을 사용하였다. 새로운 보안 강화 방안이 적용된 본 논문의 컴퓨터 기반 평가 시스템이 기존의 컴퓨터 기반평가 시스템과의 보안 관련 기능 비교를 통하여 우수함을 보여준다.
ICT technology has been applied to various educational fields, but applying to educational test field is limited. Computer-based test (CBT) can overcome temporal and spatial constraints of conventional paper-based test, but is vulnerable to fraud by test parties. In this paper, we propose real-time ...
ICT technology has been applied to various educational fields, but applying to educational test field is limited. Computer-based test (CBT) can overcome temporal and spatial constraints of conventional paper-based test, but is vulnerable to fraud by test parties. In this paper, we propose real-time monitoring and process management methods to enhance the security of CBT. In the proposed methods, the test screens of students are periodically captured and transferred to the professor screen to enable real-time monitoring, and the possible processes used for cheating can be blocked before testing. In order to monitor the screen of many students in real time, effective compression of the captured original image is important. We applied three-step compression methods: initial image compression, resolution reduction, and re-compression. Through this, the original image of about 6MB was converted into the storage image of about 3.8KB. We use the process extraction and management functions of Windows API to block the processes that may be used for cheating. The CBT system of this paper with the new security enhancement methods shows the superiority through comparison of the security related functions with the existing CBT systems.
ICT technology has been applied to various educational fields, but applying to educational test field is limited. Computer-based test (CBT) can overcome temporal and spatial constraints of conventional paper-based test, but is vulnerable to fraud by test parties. In this paper, we propose real-time monitoring and process management methods to enhance the security of CBT. In the proposed methods, the test screens of students are periodically captured and transferred to the professor screen to enable real-time monitoring, and the possible processes used for cheating can be blocked before testing. In order to monitor the screen of many students in real time, effective compression of the captured original image is important. We applied three-step compression methods: initial image compression, resolution reduction, and re-compression. Through this, the original image of about 6MB was converted into the storage image of about 3.8KB. We use the process extraction and management functions of Windows API to block the processes that may be used for cheating. The CBT system of this paper with the new security enhancement methods shows the superiority through comparison of the security related functions with the existing CBT systems.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이를 위하여 응시 프로그램이 구동되게 되면 실행 중인 프로세스들의 이름과 ID를 운영체제 API를 통하여 추출한다. 그리고 DB에서 실행되지 말아야할 프로세스 이름을 조회하여 운영체제에서 추출된 프로세스들의 이름과 교차 검색을 통한 구동되지 말아야 할 프로세스의 존재 여부를 확인한다. 만약에 등록된 프로세스가 없다면 바로 응시화면으로 진입하며, 등록된 프로세스가 있다면 확인 창을 출력하고 종료 여부를 확인받게 한다.
기존의 시스템들은 시험 진행 시의 부정행위를 감시하는 기능이 약하다. 따라서 본 논문에서는 시험 시의 부정행위의 방지 및 감시를 위하여 시험 모니터링 및 기록 방안을 제안하며 또한 시험의 안정된 진행과 응용 프로그램을 이용한 부정행위를 막도록 특정 프로그램들의 강제 종료를 통한 사전 차단 기능을 제안한다. 따라서 보안성 향상을 위한 CBT 설계 기능 요구사항을 다음과 같이 도출한다.
접속 IP는 DB 서버에서 간단하게 확인이 가능하다. 따라서 본 절에서는 시험 화면과 프로세스의 실시간 모니터링 및 저장 기능과 응용 프로그램 탐지 및 종료 기능의 설계에 대하여 기술한다.
둘째, 시험자가 답안을 작성하는 시험자의 화면을 시험 중간에 캡처하여 저장하여 시험 중간의 부정행위나 오류 사항을 실시간으로 파악할 수 있도록 한다. 또한 저장된 로그 자료 검색을 통하여 사후분석에 사용 가능하도록 한다.
본 CBT 시스템이 보다 범용적인 환경에서 동작할 있도록 다른 운영체제를 지원할 수 있도록 해야 하며 추가적으로 모바일 환경에서도 구동하도록 개선이 이루어져야 할 것이다. 본 논문에서 구현된 스크린 모니터링 기술은 100명 이상의 실시간 PC 사용 모니터링을 위하여 시스템 부하를 최소화하여 개발되었다. 이러한 기술은 CCTV 보안 또는 PC 보안 분야에 적용될 수 있으며 교육 분야에서는 온라인 교육 현장의 모니터링에 활용될 수 있다.
본 논문에서는 기존 교육현장의 PBT를 대체할 효율적이고 신뢰도 있는 CBT 시스템의 설계 및 구현에 대해 기술한다. 특히, 온라인 평가 시스템에서 발생하기 쉬운 부정행위를 방지하기 위한 기능에 중점을 두고 전체 시스템을 설계하고 구현한다.
그러나, 분산되어 있는 다양한 환경에서 시험을 보는 학생들을 웹캠을 이용하여 관찰하는 것은 비용과 성능 면에서 적절하지 않다. 본 논문에서는 이에 대한 대안으로 응시자 시스템에서 주기적으로 화면을 캡처하여 서버로 보내고 서버는 이를 저장하며 교수자 시스템에서는 각 학생별로 보내지는 캡처 이미지를 조회하여 교수자 화면에 보여지는 방식을 제안한다. 이 방식은 웹캠을 필요로 하지 않으며 교수자와 학생 전용 프로그램에서 구현이 가능하다.
본 논문에서는 지필 평가를 대체할 기존 시스템보다 향상된 보안성을 제공하는 CBT 시스템을 설계하고 구현을 하였다. 전용 프로그램 형태로 구현하여 시험의 보안성을 강화하기 위한 방안들을 쉽게 적용할 수 있도록 하였다.
이와 같은 기능은 허용되는 프로그램만 구동하는 형태와 허용되지 않는 프로그램을 종료하는 형태로 설계할 수 있다. 본 논문에서는 최소한의 제약을 강제하는 형태인 허용되지 않는 프로그램의 구동을 막는 방식을 택한다. 이를 위하여 응시 프로그램이 구동되게 되면 실행 중인 프로세스들의 이름과 ID를 운영체제 API를 통하여 추출한다.
본 논문은 실제 교육현장에서 한 단계 더 강화된 보안성을 가진 CBT 시스템을 사용하게 하는 것이 목적으로, 이를 위해 현재 개발되어 사용되고 있는 여러 CBT 시스템들을 분석하였으며, 각 시스템의 장·단점을 파악하여 그 결과를 바탕으로 필수 개발 요구사항을 도출하였다.
이러한 프로세스 확인 및 종료 기능의 구현은 운영체제의 API를 이용하면 가능하다. 시험 중간에 학생들이 새로운 응용 프로세스를 구동하는 지를 확인하기 위하여 이미지 캡처 시에 해당 시스템에서 동작하는 프로세스를 확인하여 기록하게 한다.
가설 설정
셋째, 멀티미디어 자료 및 기능 활용으로 다양한 평가가 가능해진다. 넷째, 평가 결과에 대한 자료 수집 관리가 용이해진다. 다섯째, 평가를 위한 비용 소모를 줄일 수 있다.
제안 방법
교수자와 학생은 전용 프로그램을 사용하여 인터넷을 통하여 시스템에 접근한다. HTTP(Hypertext transfer protocol )를 사용하지 않고 프로그램에 오라클 인스턴트 클라이언트를 내장하여 데이터베이스와 직접 연결하여 통신하도록 설계하였다.
전체 시스템은 인터넷을 통하여 동작할 수 있도록 구성한다. 교수자 시스템과 학생 시스템으로 분리하여 설계하였다. 인터넷을 통하여 시스템에 각각 로그인할 수 있다.
교수 프로그램의 모니터링 메뉴에서는 이렇게 저장된 학생들의 화면 캡처 및 프로세스 정보를 실시간으로 업데이트하며 교수자가 확인할 수 있도록 하였다. 그리고 저장된 모니터링 자료들을 평가 후에도 검색할 수 있도록 하여 평가 중간의 문제 사항을 확인하여 다음 평가에 반영할 수 있도록 하였다.
학생 화면을 더블클릭하면 외부 이미지 프로그램으로 연동되게 되어 확대, 축소 및 저장이 가능하다. 그리고 프로세스를 더블클릭하면 프로세스 관리대상에 입력되도록 하였다. (그림 7)은 시험 상황 관리 화면을 보여주고 있다.
기존 구축 사례의 특징 및 장·단점을 조사 분석하여 새로운 CBT 시스템 설계 시 반영한다.
이는 시험 중 인터넷을 이용한 자료 검색 또는 시험자간의 채팅 등을 방지하는 목적도 있다. 둘째, 시험자가 답안을 작성하는 시험자의 화면을 시험 중간에 캡처하여 저장하여 시험 중간의 부정행위나 오류 사항을 실시간으로 파악할 수 있도록 한다. 또한 저장된 로그 자료 검색을 통하여 사후분석에 사용 가능하도록 한다.
해외 사례와 국내 사례를 분석하였으며 해외사례는 문제 입력이나 문제 은행 구성을 주로 확인하였고 국내 사례는 평가 시스템의 사용자 측면을 중점적으로 파악하였다. 또한 각 사례 별로 보안성의 관점에서 특징들을 파악하였다.
시험 화면 모니터링을 위해서는 내용 확인이 가능한 수준의 해상도 또는 화질을 사용해도 되기 때문에 캡처한 화면의 용량을 줄인다. 또한 압축 알고리즘을 사용하여 저장 및 전송을 위한 이미지 파일의 크기를 더 줄이도록 한다. (그림 2)는 화면 모니터링을 위한 이미지 캡처 및 저장 순서를 보여준다.
보안성이 강화된 CBT 시스템을 구축하기 위해서 기존의 구축 사례를 조사 분석한다. 여기서의 보안성은 시험자들의 부정행위를 방지하기 위한 보안을 의미한다.
시험 상황 관리뿐만 아니라 저장된 캡처 내용과 프로세스 내용을 평가 이후에도 확인해 볼 수 있도록 History Check 화면을 구현하였다. 이를 이용하여 평가 후에 학생들의 시험 과정을 정밀하게 분석하거나 문제점을 확인해 볼 수 있다.
8% 크기로 학생 1인당 60분 시험의 경우 약 18MB의 용량이 필요하다. 이를 더 줄이기 위하여Zlib 모듈을 사용하여 한 번 더 압축하여 DB로 데이터를 전송함으로써 약 25%의 추가적인 데이터 용량을 감소시켰다. (그림 3)은 모니터링 화면을 저장하기 위한 CBT DB의 테이블이다.
본 논문에서는 지필 평가를 대체할 기존 시스템보다 향상된 보안성을 제공하는 CBT 시스템을 설계하고 구현을 하였다. 전용 프로그램 형태로 구현하여 시험의 보안성을 강화하기 위한 방안들을 쉽게 적용할 수 있도록 하였다. 보안성 강화를 위해 강제 전체화면 보기 기능, 문제/보기 섞음 기능, 응시 IP 저장 및 비교 기능을 통하여 보안성을 강화하였다.
보안성 강화를 위해 강제 전체화면 보기 기능, 문제/보기 섞음 기능, 응시 IP 저장 및 비교 기능을 통하여 보안성을 강화하였다. 추가적으로 교수자가 문제가 될 수 있는 프로그램들을 사전에 등록하여 시험 시작 전에 학생 시스템에서 종료시킴으로써 오류 및 부정행위를 방지하는 기능과 평가 진행 중에 학생 시험 환경의 지속적인 모니터링을 통하여 오류 사항 감지 및 부정행위를 방지하는 기능을 구현하였다. <표 1>은 기존 CBT 평가 시스템들과의 보안성 비교이다.
본 논문에서는 기존 교육현장의 PBT를 대체할 효율적이고 신뢰도 있는 CBT 시스템의 설계 및 구현에 대해 기술한다. 특히, 온라인 평가 시스템에서 발생하기 쉬운 부정행위를 방지하기 위한 기능에 중점을 두고 전체 시스템을 설계하고 구현한다. CBT에서의 부정행위를 방지하기 위한 다양한 연구가 있다 [5].
기존 구축 사례의 특징 및 장·단점을 조사 분석하여 새로운 CBT 시스템 설계 시 반영한다. 해외 사례와 국내 사례를 분석하였으며 해외사례는 문제 입력이나 문제 은행 구성을 주로 확인하였고 국내 사례는 평가 시스템의 사용자 측면을 중점적으로 파악하였다. 또한 각 사례 별로 보안성의 관점에서 특징들을 파악하였다.
성능/효과
넷째, 평가 결과에 대한 자료 수집 관리가 용이해진다. 다섯째, 평가를 위한 비용 소모를 줄일 수 있다.
전용 프로그램 형태로 구현하여 시험의 보안성을 강화하기 위한 방안들을 쉽게 적용할 수 있도록 하였다. 보안성 강화를 위해 강제 전체화면 보기 기능, 문제/보기 섞음 기능, 응시 IP 저장 및 비교 기능을 통하여 보안성을 강화하였다. 추가적으로 교수자가 문제가 될 수 있는 프로그램들을 사전에 등록하여 시험 시작 전에 학생 시스템에서 종료시킴으로써 오류 및 부정행위를 방지하는 기능과 평가 진행 중에 학생 시험 환경의 지속적인 모니터링을 통하여 오류 사항 감지 및 부정행위를 방지하는 기능을 구현하였다.
둘째, 시험 결과에 대한 즉각적인 결과 확인 및 피드백이 가능하다. 셋째, 멀티미디어 자료 및 기능 활용으로 다양한 평가가 가능해진다. 넷째, 평가 결과에 대한 자료 수집 관리가 용이해진다.
첫째, CBT는 시간과 장소의 제약에 유동적으로 대처가 가능하다. 둘째, 시험 결과에 대한 즉각적인 결과 확인 및 피드백이 가능하다.
구현된 방식에서는 이 과정이 1초 이내에 완료되기 때문에 필요에 의하여 설정된 10초의 모니터링 주기를 더 빠르게 할 수 있다. 캡처된 이미지 용량을 줄이기 위하여 ImageMagick이라는 모듈을 사용하여 원본 이미지의 사이즈를 50% 줄이고 내용확인이 가능한 수준으로 화질을 낮추어 50KB 용량까지 줄일 수 있었다. 이는 약 6MB의 원본 이미지의 0.
<표 1>은 기존 CBT 평가 시스템들과의 보안성 비교이다. 표에서 보는 바와 같이 본 논문의 시스템이 보안성을 위한 가장 많은 기능을 가지고 있음을 알 수 있으며 화면 캡처와 프로세스 관리 기능은 본 논문의 CBT 시스템의 고유한 기능으로 타 시스템에 비하여 높은 보안성을 확보하고 있다.
후속연구
현재 시스템은 윈도우즈 환경에서 동작하고 있다. 본 CBT 시스템이 보다 범용적인 환경에서 동작할 있도록 다른 운영체제를 지원할 수 있도록 해야 하며 추가적으로 모바일 환경에서도 구동하도록 개선이 이루어져야 할 것이다. 본 논문에서 구현된 스크린 모니터링 기술은 100명 이상의 실시간 PC 사용 모니터링을 위하여 시스템 부하를 최소화하여 개발되었다.
개발된 시스템에서 보안성 향상을 위해 도입한 주요 해결 방안은 다음과 같다. 첫째, 보안성 향상을 위해 교수자가 불필요한 프로세스 및 오류 발생 가능한 프로세스를 지정하여 평가 시작 시 해당 프로세스를 종료해야만 응시할 수 있도록 한다. 시험 중에는 지속적으로 학생들의 시스템에서 구동되는 프로세스를 저장하도록 한다.
질의응답
핵심어
질문
논문에서 추출한 답변
기존 CBT 시스템의 사용자 측면에서의 장점으로는 무엇이 있는가?
기존 CBT 시스템의 사용자 측면에서의 장점으로는 문제입력 및 문제은행 구축/검색 시 유저의 사용이 편리하도록 최대한 보장하여 편의성을 높이고 있었고, E-mail이나 모바일 공지를 통한 평가결과 리포트를 제공하여 학생들에게 빠른 피드백이 가능하도록 하고 있다. 출제자에게 문제별 오답 비율을 제공하여 문제별 난이도 관리가 가능하도록 지원하고 있으며, 시험 유형에 따라 동시/비동시 시험을 지원하여 평가의 특성에 맞는 진행이 가능하도록 지원하고 있다.
평가도구로서 기존의 지필 시험(PBT: Paper-Based Test)과 컴퓨터 기반 평가 시스템(CBT:Computer-Based Test)의 차이점은 무엇인가?
첫째, CBT는 시간과 장소의 제약에 유동적으로 대처가 가능하다. 둘째, 시험 결과에 대한 즉각적인 결과 확인 및 피드백이 가능하다. 셋째, 멀티미디어 자료 및 기능 활용으로 다양한 평가가 가능해진다. 넷째, 평가 결과에 대한 자료 수집 관리가 용이해진다. 다섯째, 평가를 위한 비용 소모를 줄일 수 있다.
ProProfs 시스템의 장점은 무엇인가?
ProProfs 시스템은 시험 출제 기능뿐만 아니라 교육, 설문, 문제 풀, 지식 베이스의 작성 기능 등을 제공한다. 장점으로는 문제 입력을 쉽게 하기 위한 템플릿 페이지를 제공하고 최대한 사용자의 편의성을 제공하고 있다. 또한 Classroom이라는 가상공간을 제공하여 사용자들이 스스로 운영할 수 있도록 하고 있다. 단점으로는 개인화된 문제를 출제할 수 없고 모두에게 오픈되는 형태의 평가만 가능하다는 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.