[논문]온라인 학습을 위한 학생 피드백 분석 기반 콘텐츠 재구성 추천 프레임워크

최자령; 김수인; 임순범

doi:10.9717/kmms.2018.21.11.1353

온라인 학습을 위한 학생 피드백 분석 기반 콘텐츠 재구성 추천 프레임워크
Restructure Recommendation Framework for Online Learning Content using Student Feedback Analysis 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.21 no.11, 2018년, pp.1353 - 1361

최자령 (Research Institute of ICT Convergence, Sookmyung Women's University) , 김수인 (School of Computing, KAIST) , 임순범 (Dept. of Information Technology Engineering, Sookmyung Women's University)

Abstract ▼ AI-Helper

With the availability of real-time educational data collection and analysis techniques, the education paradigm is shifting from educator-centric to data-driven lectures. However, most offline and online education frameworks collect students' feedback from question-answering data that can summarize their understanding but requires instructor's attention when students need additional help during lectures. This paper proposes a content restructure recommendation framework based on collected student feedback. We list the types of student feedback and implement a web-based framework that collects both implicit and explicit feedback for content restructuring. With a case study of four-week lectures with 50 students, we analyze the pattern of student feedback and quantitatively validate the effect of the proposed content restructuring measured by the level of student engagement.

주제어

표/그림 (5)

그림 Fig. 1. E-learning systems using student feedback.
그림 Fig. 2. Overview of Recommendation Framework.
표 Table 1. Topics extracted from quiz-related questions
표 Table 2. Effect of proposed automatic updates
표 Table 3. Comparison chart of system

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 교수자와 학생들의 원활한 커뮤니케이션을 위해서 교수자가 학생들의 학습 이해도를 빠르게 확인하여 적응적으로 수업을 진행할 수 있도록 하는 온라인 학습 콘텐츠 재구성을 위한 추천 프레임워크를 제안하였다. 학생들이 제공할 수 있는 피드백 유형을 학생 질문, 수정 요청, 설문조사, 정보 공유, 문제풀이와 학생 행동 피드백으로 분류하여 데이터를 분석하였다.
본 논문에서는 온라인 학습 콘텐츠가 순서 변경, 구성 확장, 구성 축소, 내용 갱신과 같이 가변적으로 재구성할 수 있도록 학생의 피드백을 수집하여 분석 결과를 토대로 콘텐츠 재구성 추천 프레임워크를 개발하였다. 마지막으로 본 프레임워크를 웹 프로그래밍 기초 수업에 적용하여 사례 연구를 진행하였다.
본 논문에서는 온라인 학습 콘텐츠를 통해 학생들의 피드백을 수집하고 이를 교수자가 빠르게 파악할 수 있도록 실시간으로 학생 피드백을 유형별로 분석하여 적응적 수업을 진행할 수 있도록 도와주는 추천 프레임워크를 설계하였다.
본 논문에서는 학생으로부터 제공받는 피드백 유형에 따라 수집 및 분석하여 적응적으로 수업을 진행할 수 있도록 교수자에게 학습 콘텐츠의 재구성 추천 유형을 전달하고자 한다. 학생 피드백의 유형은 학생들이 학습하는 도중에 자연스럽게 수집되는 암시적 피드백과 학생들이 학습 콘텐츠의 변경을 요청하거나 학습을 하면서 미진한 부분에 대해 질문을 하는 등 교수자(혹은 TA)에게 직접적인 요청을 하는 명시적 피드백 두 가지가 있다.
이러한 방법은 실시간으로 교수자가 적응하면서 수업을 진행하기 어려우며 동일한 수업을 듣는 전체 학생의 학습 이해도를 통한 유연한 대처가 부족하다는 단점이 있다. 본 논문은 대규모 강의에서 교수자가 학생들의 수준에 맞게 적응적으로 교육을 진행할 수 있도록 학생 피드백 데이터를 실시간으로 수집하여 현재 수업을 듣고 있는 학생들의 학습 이해도를 분석하고 이에 적합한 온라인 학습 콘텐츠의 재구성 유형을 제안하는 추천 프레임워크를 구현하였다.
기존에는 학생들의 피드백을 수집할 수 있는 기능만 제공하거나 수업이 끝난 후에 피드백 데이터를 기반으로 순서의 재구성 혹은 학습 성과를 예측하는 시스템을 제공하였다. 본 논문은 실시간으로 학습 콘텐츠 재구성 유형별 피드백 분석을 통해 학생들의 수업 이해도를 판별하여 교수자에게 적합한 학습 콘텐츠를 추천함으로써 교수자가 보다 학생들의 만족도 높은 적응적 수업을 진행할 수 있다.

제안 방법

본 논문에서는 온라인 학습 콘텐츠가 순서 변경, 구성 확장, 구성 축소, 내용 갱신과 같이 가변적으로 재구성할 수 있도록 학생의 피드백을 수집하여 분석 결과를 토대로 콘텐츠 재구성 추천 프레임워크를 개발하였다. 마지막으로 본 프레임워크를 웹 프로그래밍 기초 수업에 적용하여 사례 연구를 진행하였다. 사례 연구를 통해 학생의 명시적 피드백과 암시적 피드백에 대한 분석을 진행하였고, 학생의 퀴즈 정답률 및 학습 플랫폼 사용 시간을 측정하여 학생의 교육 참여도를 정량적으로 평가하였다.
본 논문에서 제안하는 모델의 사용성을 보이고 학생들이 만들어내는 데이터를 분석하기 위해 오프라인에서 진행되는 “웹 프로그래밍 기초” 수업에 학습 콘텐츠 재구성 추천 모델이 적용된 프레임워크를 사용하였다.
마지막으로 본 프레임워크를 웹 프로그래밍 기초 수업에 적용하여 사례 연구를 진행하였다. 사례 연구를 통해 학생의 명시적 피드백과 암시적 피드백에 대한 분석을 진행하였고, 학생의 퀴즈 정답률 및 학습 플랫폼 사용 시간을 측정하여 학생의 교육 참여도를 정량적으로 평가하였다.
순서 변경, 구성 축소, 구성 확장, 그리고 내용 갱신에 대한 효과를 실험하기 위해 학생들은 임의로 두 그룹으로 나누어졌다. 이 그룹은 잠재적인 편향을 배제하기 위해 주차마다 임의로 다시 배정되었다.
이는 학생들의 학습 이해도가 높아 지루하지 않게 다음 학습 콘텐츠로 넘어갈 수 있게 한다. 시스템은 열람 횟수, 시간, 정답률, 그리고 질문의 수에 대해 가중치를 적용한 합산값 (weighted sum)을 구한 뒤 정해진 수의 콘텐츠에 대해 구성 축소 및 구성 확장을 교수자에게 제안한다. 이 때 사용되는 가중치는 추후 학생의 반응 데이터를 이용해 최적의 가중치 값을 찾아간다.
학생들이 제공할 수 있는 피드백 유형을 학생 질문, 수정 요청, 설문조사, 정보 공유, 문제풀이와 학생 행동 피드백으로 분류하여 데이터를 분석하였다. 이를 토대로 온라인 학습 콘텐츠를 재구성할 수 있도록 순서 변경, 구성 확장 및 축소, 내용 갱신을 처리할 수 있는 프레임워크를 설계하였다. 순서 변경의 경우, 학생들의 콘텐츠 열람 로그 기록을 통해서 이동을 최소화 할 수 있는 순서로 교수자에게 제안을 한다.
LDA 모델은 같은 문서 내에서 주로 같이 나타나는 단어들은 같은 주제일 확률이 높다는 가정 아래 주제들을 발견해 낸다. 이처럼 학생들의 질문에서도 마찬가지로 같은 질문 내에 있는 단어들은 서로 같은 주제, 다른 질문에 걸쳐 나타나는 단어들은 서로 다른 주제를 가지고 있을 확률이 높기 때문에 학생들의 질문을 LDA 모델을 통해 분석하였다. 학생들의 명시적 피드백인 수업 중의 건의사항 및 질문과 퀴즈에 대한 질문 텍스트 데이터를 분석했으며 그 결과는 Table 1과 같다.
웹 프로그래밍 기초 수업은 웹 언어에 대한 지식이 없는 학생들을 대상으로 HTML, CSS에 대한 교육을 진행하는 수업으로, 50명의 학생이 수업을 수강하였다. 제안하는 모델이 적용된 프레임워크는 총 교육 기간 중 4주 동안 사용되었다.
순서 변경은 학생들이 학습 콘텐츠를 보는 순서가 교수자가 의도한 것과 다를 경우 발생한다. 제안하는 프레임워크는 학생들이 언제 어떤 콘텐츠를 열람했는지 로그를 통해 저장하며, 이것은 암시적 피드백으로 작용한다.
그러면 조교 또는 같은 반 학생들이 질문을 보고 서로 답변을 주는 시스템이다. 즉, 수업 교재에 나만의 노트를 넣을 뿐만 아니라 클래스 안에서 공유하고 토론할 수 있도록 하는 웹 기반 온라인 학습을 위한 질의응답 공유 시스템을 개발하였다. Mudslide는 수업 후에 강의 교재에서 이해하지 못한 부분을 학생들에게 표시하도록 하여 피드백을 받는 시스템이다[5].
수업 중에 학생들은 교수자가 준비한 자료를 열람할 수 있으며, 수업 후에 학생들은 HTML, CSS 를 이용한 프로그래밍 문제를 해결하도록 했다. 프레임워크는 학생들의 암시적인 피드백을 입력받아 자동으로 순서 변경, 내용 확장 및 축소를 수행하였으며, 구성 축소 및 확장을 위해서 교수자는 각 콘텐츠에 대해 최소, 중간, 최대의 세 개의 버전을 준비하였으며 기본값으로 중간 버전이 표시되었다. 프레임워크가 최적화된 순서 변경을 감지하면 교수자는 강의 자료를 새로운 순서에 맞게 업데이트하도록 했다.
학생들은 4주 동안 오프라인 수업에 참석함과 동시에, 수업 중 혹은 수업 외에 개인용 컴퓨터를 이용해 프레임워크에 접속하여 교육을 이수하도록 지시받았다. 수업 중에 학생들은 교수자가 준비한 자료를 열람할 수 있으며, 수업 후에 학생들은 HTML, CSS 를 이용한 프로그래밍 문제를 해결하도록 했다.
이처럼 학생들의 질문에서도 마찬가지로 같은 질문 내에 있는 단어들은 서로 같은 주제, 다른 질문에 걸쳐 나타나는 단어들은 서로 다른 주제를 가지고 있을 확률이 높기 때문에 학생들의 질문을 LDA 모델을 통해 분석하였다. 학생들의 명시적 피드백인 수업 중의 건의사항 및 질문과 퀴즈에 대한 질문 텍스트 데이터를 분석했으며 그 결과는 Table 1과 같다. 토픽 수와 하이퍼파라미터(hyperparameter)의 조정을 위해서 모든 질문에 대한 평균 우도값 (held-out likelihood) 를 측정하였고 그것을 최대로 만드는 값을 찾았다.
본 논문에서는 교수자와 학생들의 원활한 커뮤니케이션을 위해서 교수자가 학생들의 학습 이해도를 빠르게 확인하여 적응적으로 수업을 진행할 수 있도록 하는 온라인 학습 콘텐츠 재구성을 위한 추천 프레임워크를 제안하였다. 학생들이 제공할 수 있는 피드백 유형을 학생 질문, 수정 요청, 설문조사, 정보 공유, 문제풀이와 학생 행동 피드백으로 분류하여 데이터를 분석하였다. 이를 토대로 온라인 학습 콘텐츠를 재구성할 수 있도록 순서 변경, 구성 확장 및 축소, 내용 갱신을 처리할 수 있는 프레임워크를 설계하였다.
학생이 준비된 콘텐츠나 문제의 순서를 앞뒤 바꿔 가며 열람할 경우, 프레임워크는 수집된 데이터를 분석하여 학생의 열람 기록이 가능한 한 정방향으로 이루어졌는지 판단하고, 만약 순서가 바뀌었을 때에는 학생의 열람 기록의 이동을 최소화하는 방법으로 교수자에게 바뀐 순서를 제안한다. 이것을 판단하기 위해서 프레임워크는 학생의 페이지 열람 기록을 체크한다.
DLA(Dynamic Level Adjustment)[10]는 학습자 중심의 콘텐츠를 제공하기 위해 다른 학습자의 집단지성을 활용하여 학습 콘텐츠를 동적으로 구성할 수 있는 시스템을 제안하였다. 학습자의 행동정보 추출뿐만 아니라 위키 시스템을 통해 동일한 학습 콘텐츠를 배운 다른 학습자가 학습 방법이나 문제 해결 방법을 공유한 정보를 토대로 학습의 난이도를 동적으로 결정하여 학습 콘텐츠의 순서를 재구성할 수 있는 시스템을 제안하였다. 그 밖에도 학생의 성적을 예측하여 현재 학생의 이해도를 측정하기 위한 시스템[11]이 있다.

대상 데이터

학생들은 프레임워크에 접속해서 문제풀이를 적어도 하나 이상 시도해야 실험에 참가한 것으로 간주되었다. 결과적으로 50명 중 44명이 실험에 참여하였다.

데이터처리

학생들의 명시적 피드백인 수업 중의 건의사항 및 질문과 퀴즈에 대한 질문 텍스트 데이터를 분석했으며 그 결과는 Table 1과 같다. 토픽 수와 하이퍼파라미터(hyperparameter)의 조정을 위해서 모든 질문에 대한 평균 우도값 (held-out likelihood) 를 측정하였고 그것을 최대로 만드는 값을 찾았다. 이를 토대로 비슷한 질문들을 클러스터링(clustering) 할 수 있으며, 클러스터들 중 가장 likelihood가 높은 질문을 대표 질문으로 설정하여 학생들이 가장 많이 한 질문을 선별할 수 있고, 이것을 교수자에게 전달한다.

이론/모형

비슷한 종류의 질문을 모으기 위해서 프레임워크는 베이지안 확률모델(Bayesian Probabilistic Model)을 사용하였다. 프레임워크에서 사용하는 모델은 잠재 디리클레 할당(LDA; Latent Dirichlet Allocation) 으로 대용량의 레이블이 없는 텍스트 데이터에서 주제(topic)를 찾는데 유용하게 사용된다.

성능/효과

마지막으로 내용 갱신은 학생들이 직접적으로 제공하는 명시적 피드백을 통해서 LDA 모델을 통해 토픽을 정리하여 교수자에게 전달한다. 44명이 참가한 랜덤화된 A/B 테스팅 결과, 본 논문에서 제안한 학습 콘텐츠의 재구성은 학생의 퀴즈 풀이 비율과 프레임워크 사용 시간에 영향을 미쳤다. 특히, 구성 확장과 내용 갱신은 퀴즈 풀이 비율과, 순서 변경과 구성 확장은 프레임워크 사용 시간과 유의미한 양의 상관관계를 보였다.
순서 변경은 학생의 퀴즈 정답률과 유의미한 관계는 없었으나, 학생의 프레임워크 사용 시간과 양적인 연관을 보였다. 구성 확장 또한 프레임워크 사용 시간과 강한 양의 상관관계를 보였다. 이것은 구성 확장으로 인해 길어진 콘텐츠를 읽고 학습하는 시간이 같이 증가되었기 때문으로 보인다.
실험 결과, 순서 변경과 구성 축소는 학생의 퀴즈 정답률에 영향을 주지 못했으나, 구성 확장과 내용 갱신은 학생들의 퀴즈 정답률과 유의미한 상관관계를 보였다. 학생들의 질문이 많거나 정답률이 낮은 문제에 대해 더 많은 콘텐츠를 주는 것이 긍정적인, 빠른 피드백으로 작용한 것으로 볼 수 있다.
44명이 참가한 랜덤화된 A/B 테스팅 결과, 본 논문에서 제안한 학습 콘텐츠의 재구성은 학생의 퀴즈 풀이 비율과 프레임워크 사용 시간에 영향을 미쳤다. 특히, 구성 확장과 내용 갱신은 퀴즈 풀이 비율과, 순서 변경과 구성 확장은 프레임워크 사용 시간과 유의미한 양의 상관관계를 보였다. 향후 연구로는 교수자가 쉽게 조작하여 학습 콘텐츠를 재구성할 수 있는 인터페이스를 개발하여 수업을 진행하는 과정에 현재 수업을 듣는 학생들의 이해도를 기준으로 학습 콘텐츠를 적응적으로 수정해가며 수업을 진행할 수 있도록 할 예정이다.

후속연구

특히, 구성 확장과 내용 갱신은 퀴즈 풀이 비율과, 순서 변경과 구성 확장은 프레임워크 사용 시간과 유의미한 양의 상관관계를 보였다. 향후 연구로는 교수자가 쉽게 조작하여 학습 콘텐츠를 재구성할 수 있는 인터페이스를 개발하여 수업을 진행하는 과정에 현재 수업을 듣는 학생들의 이해도를 기준으로 학습 콘텐츠를 적응적으로 수정해가며 수업을 진행할 수 있도록 할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	온라인 교육에서 학생들이 이탈하는 이유는?	단점으로는 수강생들이 강의를 끝까지 완수하기 어렵다는 점이다. MOOC와 같은 대부분의 온라인 교육은 동영상 위주의 강의 콘텐츠로 제공하다보니 교수자와 학생 간의 소통이 부재되고 피드백을 받기 어려워 학생들이 이탈하는 경우가 많이 발생한다.
	학생과 교수자가 소통할 수 있는 교육 플랫폼 환경의 조건은 무엇인가?	이에 학생들의 이탈을 방지하고 학생들의 참여를 이끌기 위해서는 보다 적극적으로 학생과 소통할 수 있는 교육 플랫폼이 필요하다. 학생들도 적극적이고 능동적인 학습 자세를 가져야하기 때문에 질문 활동이나 다른 친구들과의 협력 활동 등 자신의 의견을 적극 표출할 수 있어야 한다. 또한 교수자는 학생들이 제공한 피드백을 기반으로 적응적으로 학습 콘텐츠를 전달할 수 있어야 한다.
	온라인 교육의 장점은 무엇인가?	대표적인 사례로 유다시티[1], 코세라[2], 칸 아카데미[3]와 같은 온라인 공개 수업인 MOOC(Massive Open Online Course)가있다. 온라인 교육의 장점은 언제 어디서나 원하는 시간과 장소에서 자기주도적 학습을 할 수 있다는 것이다. 또한 기존 오프라인 수업과 달리 수강 인원이 제한이 없다. 단점으로는 수강생들이 강의를 끝까지 완수하기 어렵다는 점이다.

참고문헌 (11)

Udacity. https://www.udacity.com/ (accessed Aug., 10, 2018).
Coursera. https://www.coursera.org/ (aceessed Aug., 10, 2018).
Khan Academy. https://ko.khanacademy.org/ (aceessed Aug., 10, 2018)
S. Zyto, D. Karger, M. Ackerman, and S. Mahajan, "Successful Classroom Deployment of a Social Document Annotation System," Proceedings of the Special Interest Group on Computer Human Interaction Conference on Human Factors in Computing Systems, pp. 1883-1892, 2012.
E.L. Glassman, J. Kim, A.M. Hernandez, and M.R. Morris, "Mudslide: A Spatially Anchored Census of Student Confusion for Online Lecture Videos," Proceedings of the 33rd Annual Association for Computing Machinery Conference on Human Factors in Computing Systems, pp. 1555-1564, 2015.
D.W. Yoon, N. Chen, B. Randles, A. Cheatle, C.E. Lockenhoff, S.J. Jackson, et al., "Rich Review++: Deployment of a Collaborative Multi-modal Annotation System for Instructor Feedback and Peer Discussion," Proceedings of the 19th ACM Conference on Computer-Supported Cooperative Work and Social Computing, pp. 195-205, 2016.
J.R. Choi, J.S. Hwang, E.J. Sin, and S.B. Lim, "A Feedback Clue Model for Dynamically Updating e-book Content from User Feedback," Journal of Korea Multimedia Society, Vol. 20, No. 2, pp. 313-321, 2017.
S.E. Kim and M.G. Park, "Design and Implementation of Customized Learning System for Reusable Learning Objects," Proceedings of the Conference of the Korea Multimedia Society, pp. 311-314, 2006.
J.S. Kim, "Design of Evolutionary u-Learning Using Intelligent Agent with Machine Learning," Proceedings of the Conference of the Korea Multimedia Society, pp. 302-306, 2007.
Y.W. Lim and H.K. Lim, "Reconstruction of e-Learning Contents based on Web 2.0 and the Level Diagnosis," The Journal of the Korea Contents Association, Vol. 10, No. 7, pp. 429-437, 2010.
S. Kim, J.W. Kim, J. Park, and A. Oh, "Elivate: A Real-Time Assistant for Students and Lecturers as Part of an Online CS Education Platform," Proceedings of the Third ACM Conference on Learning@ Scale, pp. 337-338, 2016.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증