본 연구의 목적은 학습분석 기반 교수자 피드백 제공을 위해 LMS(Learning Management System)대시보드를 설계하여 교수자 관점에서 개별 학습자의 학습 수행 정보를 직관적으로 이해할 수 있도록 하고, 학습자별로 추천된 피드백을 교수자가 유용하게 활용하고자 하는 것이다. 이 대시보드는 교수자 피드백 분류체계표에서 적용된 LMS의 교육적 활용 데이터를 근거로 설계되었다. 총 2회에 걸쳐 8년 이상의 경력을 가진 교육공학 전문가 8인을 대상으로 대시보드 설계 전반에 대해 타당화 검사를 실시하여 수정하였다. 연구의 결과로 설계된 최종 대시보드 화면은 종합분석 대시보드, 학습자분석 요약 대시보드, 추천 피드백 안내 대시보드로서 크게 3부분이 있고, 그에 따른 세부적인 분석 정보를 각각 제공하는 로그인 분석 대시보드, 학습정보확인 분석 대시보드, 강의자료학습 분석 대시보드, 과제/시험 분석 대시보드, 게시글 분석 대시보드 화면으로 총 8개의 대시보드로 구성된다. 모든 대시보드는 선행 연구에 근거하여 학습분석학 기반의 분석 정보 및 데이터에 따라 적합한 그래프 유형 및 표로 시각화 기법을 통해 적용되었다. 이러한 연구결과를 기반으로 교수자 피드백 제공을 위한 대시보드의 활용에 관한 시사점과 향후 연구과제에 대한 방안을 제시하였다.
본 연구의 목적은 학습분석 기반 교수자 피드백 제공을 위해 LMS(Learning Management System) 대시보드를 설계하여 교수자 관점에서 개별 학습자의 학습 수행 정보를 직관적으로 이해할 수 있도록 하고, 학습자별로 추천된 피드백을 교수자가 유용하게 활용하고자 하는 것이다. 이 대시보드는 교수자 피드백 분류체계표에서 적용된 LMS의 교육적 활용 데이터를 근거로 설계되었다. 총 2회에 걸쳐 8년 이상의 경력을 가진 교육공학 전문가 8인을 대상으로 대시보드 설계 전반에 대해 타당화 검사를 실시하여 수정하였다. 연구의 결과로 설계된 최종 대시보드 화면은 종합분석 대시보드, 학습자분석 요약 대시보드, 추천 피드백 안내 대시보드로서 크게 3부분이 있고, 그에 따른 세부적인 분석 정보를 각각 제공하는 로그인 분석 대시보드, 학습정보확인 분석 대시보드, 강의자료학습 분석 대시보드, 과제/시험 분석 대시보드, 게시글 분석 대시보드 화면으로 총 8개의 대시보드로 구성된다. 모든 대시보드는 선행 연구에 근거하여 학습분석학 기반의 분석 정보 및 데이터에 따라 적합한 그래프 유형 및 표로 시각화 기법을 통해 적용되었다. 이러한 연구결과를 기반으로 교수자 피드백 제공을 위한 대시보드의 활용에 관한 시사점과 향후 연구과제에 대한 방안을 제시하였다.
The purpose of this study is to design a LMS(Learning Management System) dashboard for instructor feedback support based on learning analytics and to apply a LMS dashboard incorporating such taxonomy which allows an instructor to give a student personalized feedback according to the class content an...
The purpose of this study is to design a LMS(Learning Management System) dashboard for instructor feedback support based on learning analytics and to apply a LMS dashboard incorporating such taxonomy which allows an instructor to give a student personalized feedback according to the class content and a student's traits. In the dashboard design phase, usable instructional data were selected from LMS based on feedback taxonomy in terms of learning analytics. Two validity tests were conducted with 8 instructional technologists over 8 years of experience, and were revised accordingly. The final dashboard screen has three parts: A comprehensive analysis screen to provide appropriate feedback based on instructor feedback taxonomy analysis, a summary screen for learner analysis, and a recommended feedback guide screen. Detailed analysis information are provided through other dashboards that are displayed in eight screens: login analysis, learning information confirmation analysis, teaching materials learning analysis, assignment/tests, and posts analysis. All of these dashboards were represented by analysis information and data based on learner analytics through visualization methods including graphs and tables. The implications of educational utilization of the dashboard for instructor feedback support based on learning analytics and the future researches were suggested based on these results.
The purpose of this study is to design a LMS(Learning Management System) dashboard for instructor feedback support based on learning analytics and to apply a LMS dashboard incorporating such taxonomy which allows an instructor to give a student personalized feedback according to the class content and a student's traits. In the dashboard design phase, usable instructional data were selected from LMS based on feedback taxonomy in terms of learning analytics. Two validity tests were conducted with 8 instructional technologists over 8 years of experience, and were revised accordingly. The final dashboard screen has three parts: A comprehensive analysis screen to provide appropriate feedback based on instructor feedback taxonomy analysis, a summary screen for learner analysis, and a recommended feedback guide screen. Detailed analysis information are provided through other dashboards that are displayed in eight screens: login analysis, learning information confirmation analysis, teaching materials learning analysis, assignment/tests, and posts analysis. All of these dashboards were represented by analysis information and data based on learner analytics through visualization methods including graphs and tables. The implications of educational utilization of the dashboard for instructor feedback support based on learning analytics and the future researches were suggested based on these results.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서 본 연구에서는 수업의 내용과 학습자의 특성을 고려하여 교수자가 학습자 개인별로 적합한 피드백을 줄 수 있도록 개발된 학습분석학 기반의 교수자 피드백 분류체계표(김은희, 변호승, 2017)를 LMS의 대시보드 형태로 설계하고자 한다. 학습분석 기반 교수자 피드백 분류체계표를 대시보드에 적용함에 있어 교수자 관점에서 개별학습자의 학습 수행 정보를 직관적으로 이해할 수 있도록 제시하고, 학습자별로 추천된 피드백을 교수자가 즉각적으로 활용하여 교수자와 학습자 간의 상호작용 증진 및 학습 촉진에 지원하고자 한다.
본 연구는 수업의 내용과 학습자의 특성을 고려하여 교수자가 학습자 개인별로 적합한 피드백을 주기 위한 학습분석학 기반의 교수자 피드백 분류체계표를 LMS의 대시보드 형태로 설계하는데 있다. 따라서 연구의 배경이 되는 교수자 피드백, 학습분석과 대시보드 및 데이터 시각화 분야 관련 선행 연구를 면밀히 살펴볼 필요가 있다.
본 연구는 학습분석 기반 교수자 피드백 분류체계표를 대시보드로 설계하여 교수자 관점에서 개별 학습자의 학습 수행 정보를 직관적으로 이해할 수 있도록 하고, 학습자별로 추천된 피드백을 교수자가 즉각적으로 활용하기 위함을 목적으로 한다. 연구의 결과로 종합분석 대시보드, 학습자분석 요약 대시보드, 추천 피드백 안내 대시보드로 크게 3부분이 있고, 그에 따른 세부적인 분석 정보를 각각 제공하는 로그인 분석 대시보드, 학습정보확인 분석 대시보드, 강의자료학습 분석 대시보드, 과제/시험 분석 대시보드, 게시글 분석 대시보드 화면으로서 총 8개의 대시보드로 구성된다.
본 연구에서는 개별 학습자의 학습참여도와 학습수행도에 대한 데이터 시각화 처리를 위해 아래와 같은 의 데이터 유형별 시각화 기법에 대해 조사하였다.
UNESCO IITE(Institute for Information Technologies in Education)의 Learning Analytics(2012) 보고서에서 분류한 학습분석학의 주요 6가지 영역에는 학습분석 대시보드(learning analytics dashboards), 예측 분석(predictive analytics), 적응형 학습분석(adaptive learning analytics), 소셜 네트워크 분석(social network analytics), 담화 분석(discourse analytics), ICT(Information and Communications Technologies)를 활용한 평가(Assessment using ICT) 영역이 있다. 본 연구에서는 이러한 영역 중 학습분석 대시보드 영역에 초점을 두고자 하며,학습분석 대시보드는 학습 관련 데이터를 대시보드 형태로 제공하여 이 결과가 어떠한 영향을 미치고 어떠한 효과가 있는지에 대하여 폭넓게 연구하는 분야이다. 이와 관련된 해외 사례로 Perdue University에서는 학습분석을 기반으로 LMS상에서 학습자의 활동을 대시보드 형태로 보여주는 Course Signals(CS) 개발을 통해 적절한 피드백을 제공하여 학습자의 수업 만족도를 높이고, 학습자의 중도 탈락을 예방하는 도구로 활용하였다.
본 연구의 목적은 수업의 내용과 학습자의 특성을 고려하여 교수자가 학습자 개인별로 적합한 피드백을 줄 수 있도록 개발된 학습분석학 기반의 교수자 피드백 분류체계표를 반영하여 대시보드를 설계하는 데에 있다. 교수자 관점에서 학습자별로 추천된 피드백을 활용하기 위해 개별 학습자의 학습 수행 정보를 직관적으로 이해할 수 있도록 대시보드 설계 방안을 제시하였다.
따라서 본 연구에서는 수업의 내용과 학습자의 특성을 고려하여 교수자가 학습자 개인별로 적합한 피드백을 줄 수 있도록 개발된 학습분석학 기반의 교수자 피드백 분류체계표(김은희, 변호승, 2017)를 LMS의 대시보드 형태로 설계하고자 한다. 학습분석 기반 교수자 피드백 분류체계표를 대시보드에 적용함에 있어 교수자 관점에서 개별학습자의 학습 수행 정보를 직관적으로 이해할 수 있도록 제시하고, 학습자별로 추천된 피드백을 교수자가 즉각적으로 활용하여 교수자와 학습자 간의 상호작용 증진 및 학습 촉진에 지원하고자 한다. 본 연구의 학습분석 기반 교수자 피드백 대시보드는 기존의 통계 분석 위주의 정보 제공을 위한 대시보드 형태와 달리 교과목 특성과 학습자 특성이 고려된 학습분석학적 접근 방식을 통해 학습자에게 의미있는 추천 피드백을 즉각적으로 제공할 수 있다는 점이 차별환 된다고 할 수 있겠다.
제안 방법
교수자 피드백 대시보드에 대한 타당성 검증은 해당분야의 8년 이상의 경력을 가진 교육공학 전문가 8인이 참여하였다. 1차 타당도 검사 결과 및 제안된 의견들을 바탕으로 수정 및 보완 작업을 진행하였고, 수정된 내용에 대해서 2차 타당도 검사를 실시하였다. 본 타당도 검사는 대면 또는 전화, 이메일을 통해서 이루어졌으며 교수자 피드백 대시보드 전반의 적절성에 대한 평가를 요구하는 항목으로 타당성, 설명력, 유용성, 보편성, 이해도에 대한 평가와 추가 의견을 작성할 수 있는 부분으로 구성하였다(김선희, 임철일, 2016; 성은모 외, 2016).
이에 대한 타당성 검증을 위해 관련 해당분야의 8년 이상의 경력을 가진 교육공학 전문가 8인을 대상으로 타당화 검사를 수행하였다. 2회에 걸쳐 수행된 전문가 타당화 검사는 학습분석 기반 교수자 피드백 대시보드 설계 전반의 적절성에 대한 평가를 요구하는 부분으로서 세부 항목으로 타당성, 설명력, 유용성, 보편성, 이해도에 대한 평가를 요하는 부분과 추가적으로 전문가 의견을 작성할 수 있는 부분으로 구성하였다.
본 연구의 목적은 수업의 내용과 학습자의 특성을 고려하여 교수자가 학습자 개인별로 적합한 피드백을 줄 수 있도록 개발된 학습분석학 기반의 교수자 피드백 분류체계표를 반영하여 대시보드를 설계하는 데에 있다. 교수자 관점에서 학습자별로 추천된 피드백을 활용하기 위해 개별 학습자의 학습 수행 정보를 직관적으로 이해할 수 있도록 대시보드 설계 방안을 제시하였다. 이에 대한 타당성 검증을 위해 관련 해당분야의 8년 이상의 경력을 가진 교육공학 전문가 8인을 대상으로 타당화 검사를 수행하였다.
이처럼 부정적으로 평정된 설명력과 이해도 항목의 전문가의 검토 및 제안 사항에 대해 적극적인 의견 수렴이 필요하여 다음과 같은 사항이 수정 반영되었다. 교수자 피드백 분류체계표와 대시보드 연계성을 높이기 위해 각 분류기준이 학습분석학 기반의 LMS 활용데이터와 직관적으로 연계될 수 있도록 대시보드를 선행연구 분석 결과에서 효과성이 높은 시각화 기법을 적용하여 전면수정하였다. 대시보드의 각 설계요소가 교수자 피드백 분류체계표에 근거하도록 수정하고, 가독성을 높이기 위해 직관적인 텍스트 형태로 수정되었다.
대시보드의 각 설계요소가 교수자 피드백 분류체계표에 근거하도록 수정하고, 가독성을 높이기 위해 직관적인 텍스트 형태로 수정되었다. 그리고, 교수자가 학습자에게 제공하는 추천 피드백에 대한 가이드라인과 예시를 추가하였다. 또한, 표와 그래프에 대해 직관적으로 해석 가능한 형태 및 대시보드에 적합한 그래프 유형을 적용하였다.
첫째는 종합분석 대시보드, 둘째는 학습자분석 요약 대시보드, 셋째는 추천 피드백 안내 대시보드로서 크게 3부분이다. 그에 따른 세부적인 분석 정보를 각각 제공하는 대시보드는 8가지 화면으로서 로그인 분석 대시보드, 학습정보확인 분석 대시보드, 강의자료학습 분석 대시보드, 과제/시험 분석 대시보드, 게시글 분석 대시보드 화면으로서 총 8개의 대시보드로 구성된다. 연구결과로 제시되는 모든 대시보드는 선행 연구에 근거하여 분석 정보 및 데이터에 따라 적합한 그래프와 표로 시각화하여 타당화 검토를 받은 결과 화면이다.
교수자 피드백 분류체계표와 대시보드 연계성을 높이기 위해 각 분류기준이 학습분석학 기반의 LMS 활용데이터와 직관적으로 연계될 수 있도록 대시보드를 선행연구 분석 결과에서 효과성이 높은 시각화 기법을 적용하여 전면수정하였다. 대시보드의 각 설계요소가 교수자 피드백 분류체계표에 근거하도록 수정하고, 가독성을 높이기 위해 직관적인 텍스트 형태로 수정되었다. 그리고, 교수자가 학습자에게 제공하는 추천 피드백에 대한 가이드라인과 예시를 추가하였다.
그리고, 교수자가 학습자에게 제공하는 추천 피드백에 대한 가이드라인과 예시를 추가하였다. 또한, 표와 그래프에 대해 직관적으로 해석 가능한 형태 및 대시보드에 적합한 그래프 유형을 적용하였다.
첫 번째, 학습분석 기반 교수자 피드백 및 대시보드에 대한 선행 연구 분석을 진행하고, 두 번째, 문헌적 근거를 기반으로 교수자 피드백 분류체계적용을 위한 대시보드를 설계하였으며, 세 번째, 2차례의 전문가 타당화 검사를 실시하였다. 마지막으로, 대시보드 설계에 대한 1차, 2차 전문가 타당화 검토 결과 및 전문가들의 주요 제안사항과 수정사항을 반영하여 최종 대시보드를 설계하였다.
이러한 과정을 통해 디지털 학습 환경에서 학습자를 파악하고 수업의 참여도를 이해하는데 <표 3>의 분석 데이터는 필수적인 요소라 할 수 있다. 본 연구에서는 학습분석 기반의 대시보드 설계를 위해 전체 학습자의 활동 요약 정보, 학습시간과 관련된 접속 빈도 및 접속 총 시간 정보, 학습자 작성글 빈도에 대한 정보, 시험 및 과제 결과 제출 빈도에 대한 정보, 활동참여 유형별 빈도에 대한 정보, 학습시간 참여활동 총 시간 정보로 총 6가지가 분석 정보로 활용되었다.
세 번째 유도된 대조질문 단계에서는 피드백의 특성을 수업의 내용에 초점을 맞추어 개별화하여 제시하기 위해서Gagné의 5가지 학습결과 유형별로 관련 질문을 적용하여 2차 분류단계에서 추출된 총 22개의 피드백의 특성들이 비교, 대조되었다.
교수자 관점에서 학습자별로 추천된 피드백을 활용하기 위해 개별 학습자의 학습 수행 정보를 직관적으로 이해할 수 있도록 대시보드 설계 방안을 제시하였다. 이에 대한 타당성 검증을 위해 관련 해당분야의 8년 이상의 경력을 가진 교육공학 전문가 8인을 대상으로 타당화 검사를 수행하였다. 2회에 걸쳐 수행된 전문가 타당화 검사는 학습분석 기반 교수자 피드백 대시보드 설계 전반의 적절성에 대한 평가를 요구하는 부분으로서 세부 항목으로 타당성, 설명력, 유용성, 보편성, 이해도에 대한 평가를 요하는 부분과 추가적으로 전문가 의견을 작성할 수 있는 부분으로 구성하였다.
본 연구의 진행 절차는 아래의 [그림 3]과 같다. 첫 번째, 학습분석 기반 교수자 피드백 및 대시보드에 대한 선행 연구 분석을 진행하고, 두 번째, 문헌적 근거를 기반으로 교수자 피드백 분류체계적용을 위한 대시보드를 설계하였으며, 세 번째, 2차례의 전문가 타당화 검사를 실시하였다. 마지막으로, 대시보드 설계에 대한 1차, 2차 전문가 타당화 검토 결과 및 전문가들의 주요 제안사항과 수정사항을 반영하여 최종 대시보드를 설계하였다.
최종 대시보드 설계 화면에서는 학습수행도의 ‘횟수’를 ‘수행률‘로 수정하고, 강의자료 학습은 학습참여도 기준에서 학습수행도 기준으로 수정하는 방향으로 하였다.
타당화 검사지를 통해서 전문가들이 응답한 내용을 기반으로 타당도 지수(CVI: Content Validity Index)와 평가자간 일치도(IRA: Inter-Rater Agreement)를 분석하여 본 연구에서 제시하는 교수자 피드백 대시보드의 적절성을 살펴보았다.
대상 데이터
교수자 피드백 대시보드에 대한 타당성 검증은 해당분야의 8년 이상의 경력을 가진 교육공학 전문가 8인이 참여하였다. 1차 타당도 검사 결과 및 제안된 의견들을 바탕으로 수정 및 보완 작업을 진행하였고, 수정된 내용에 대해서 2차 타당도 검사를 실시하였다.
데이터처리
또한, 과제와 시험 참여정도에 대한 제출여부는 블록 히스토그램(Mazza & Dimitrova, 2007)으로 처리하였고, 학습정보 확인 및 참여에 대한 유형별 빈도는 분포를 나타내기 위해 산점도(Park, 2015)로 시각화 하였다.
이론/모형
그리고 과제와 시험 참여정도에 대한 제출여부에 대해 시각화 기법으로 적합한 블록 히스토그램(Mazza & Dimitrova, 2007)을 적용하였다.
[그림 12]는 학습수행도의 분석정보로 활용되는 학습자의 게시글 분석에 대한 세부 화면으로 대표적인 토론방 게시판, 질의응답 게시판, 자료실 게시판을 활용한 정보에 관한 것이다. 대표변인으로 활용된 전체 게시글 수와 학습자의 작성글 빈도나 학습활동 유형별 참여정도에 대한 정보를 제공하기 위해 적합한 원 그래프(Fulantelli, 2013)를 적용하여 시각화하였다.
[그림 8]은 학습참여도의 분석정보로 활용되는 학습자 로그인 분석 세부 화면으로 대표변인 로그인 관련 정보를 시각화하고, 측정변인인 로그인 횟수, 로그인 시간, 로그인 주기, 로그인당 페이지뷰를 제시하였다. 학습시간의 경과에 따른 학습시간의 변화추이 및 접속 빈도 등을 나타내기 위해 적합한 꺾은선 그래프(Duval, 2011)로 시각화하였다. [그림 9]는 학습참여도의 분석정보로 활용되는 학습자 학습정보확인 분석에 대한 세부 화면으로 공지사항을 조회한 횟수, 개별 메시지(이메일/쪽지)를 조회한 횟수, 학습진도/과정을 조회한 횟수 정보를 나타낸 것이다.
성능/효과
1차 타당화 검토 결과, 내용 타당성(CVI) 측면에서 타당성 0.8, 유용성 1, 보편성 1로 이 3항목은 0.8이상으로 도출되어 비교적 타당하다고 볼 수 있으나, 설명력과 이해도 부분은 각각 0.6, 0.6으로 비교적 낮게 평가되었다. 또한 평가자간 일치도(IRA) 지수도 0.
1차 타당화 결과의 제안사항에 대한 의견을 수렴하여 대시보드를 수정한 결과, 2차 타당화 결과에서는 과 같이 전반적으로 내용 타당성이 개선되었고 설명력과, 이해도 항목에서도 CVI가 크게 개선되었다.
2차 전문가 타당화 결과의 주요 의견으로는 타당성 영역에서 측정 변인에 대해 학습수행도의 과제/시험은 ‘횟수’보다는 ‘수행률’이 적합해 보인다는 의견이 있었고, 강의자료학습은 가장 중요한 변인으로 ‘학습참여도’ 보다 ‘학습수행도’로 이동되는 것이 적절해 보인다는 제안사항이 있었다.
’라는 대체질문을 통해 학자별로 제시한 총 72개의 피드백 유형이 추출되었다. 두 번째 단계는 다음과 같은 예의 대조 집합분류 질문을 통해 ‘교수자가 제공주체에 따라주는 피드백은 무엇인가?’, ‘교수자가 제공목적에 따라 주는 피드백은 무엇인가?’, ‘교수자가 제공되는 내용에 따라 주는 피드백은 무엇인가? 등의 총 7개의 몇 묶음으로건 비슷한 것으로 나누는 과정을 반복하여 기준을 정립한 뒤, 학습분석 기반의 데이터를 활용할 수 있는 내용중심 피드백 유형 22개가 추출되었다. 세 번째 유도된 대조질문 단계에서는 피드백의 특성을 수업의 내용에 초점을 맞추어 개별화하여 제시하기 위해서Gagné의 5가지 학습결과 유형별로 관련 질문을 적용하여 2차 분류단계에서 추출된 총 22개의 피드백의 특성들이 비교, 대조되었다.
본 연구는 학습분석 기반 교수자 피드백 분류체계표를 대시보드로 설계하여 교수자 관점에서 개별 학습자의 학습 수행 정보를 직관적으로 이해할 수 있도록 하고, 학습자별로 추천된 피드백을 교수자가 즉각적으로 활용하기 위함을 목적으로 한다. 연구의 결과로 종합분석 대시보드, 학습자분석 요약 대시보드, 추천 피드백 안내 대시보드로 크게 3부분이 있고, 그에 따른 세부적인 분석 정보를 각각 제공하는 로그인 분석 대시보드, 학습정보확인 분석 대시보드, 강의자료학습 분석 대시보드, 과제/시험 분석 대시보드, 게시글 분석 대시보드 화면으로서 총 8개의 대시보드로 구성된다. 이와 같은 대시보드 설계 결과들을 종합하여 볼 때 본 연구가 가지는 시사점을 다음과 같이 정리할 수 있다.
셋째, 교수자의 LMS 활용 정도 수준에 따라 학습자의 온라인 활동이 결정되는데, 이는 학습자의 학업 성취에 중요한 영향을 미친다(박연정 b, 조일현, 2014). 이와 같은 맥락에서 본 연구의 결과로 제시된 대시보드는 교수자의 LMS 활용률을 높이기 위한 효과적인 방안이라는 점에서 의의가 있다. 즉, 교수자는 LMS의 개별 메뉴를 통해 학습자 개개인의 학습 현황을 파악하지 않아도 되며 교수자 피드백 분류체계와 연동되어 학습자에게 맞춤화된 피드백을 제공할 수가 있다.
첫째, 연구 결과로 제시되는 총 8개의 대시보드는 LMS에 실제 적용 가능한 대시보드 화면으로서 교수자가 학생 개인별 학습 활동 분석을 파악하는데 중요한 역할을 한다. 이렇게 제시된 대시보드는 교수자의 교수 활동 개선을 위해 학습분석 관점에서 데이터를 시각화했다는 데에 의의가 있다.
후속연구
넷째, 교수자 관점에서 학습자 개인별로 최적화된 맞춤형 피드백을 제공하기 위해 학습분석 활용 데이터로 추출이 어려운 다른 변인들도 고려해 볼 필요가 있다. 자기조절 학습능력, 동기 부여 능력, 시간관리 조절 능력 등의 변인 요소(박연정 b, 조일현, 2014) 및 이러닝 학습 환경에서의 자기주도 학습 지원을 위한 학습행동 영역으로서의 메타인지, 학습전략, 행동관리 영역(성은모 외, 2016)에서의 변인 요소들을 체계적으로 분석하여 다양한 학습 데이터 탐색 요소를 반영할 수 있는 다각도의 연구가 이루어질 필요가 있다.
둘째, 전문가 타당화 결과에서도 지적된 바와 같이 교수자가 대시보드에 적용된 표 및 그래프 자료 등의 비주얼 리터러시 수준에 대한 사전조사를 거치는 과정이 필요하다. 대시보드를 사용하는 사용자의 이해 수준에 따라 그 효과성이 달라질 수도 있기 때문이다.
유용성과 보편성 영역에는 후속 연구로 제안될 만한 사항들이 제시되었다. 또한, 대시보드의 사용 편의성을 높이는 방안과 시각화 기법을 지능적으로 적용할 수 있는 다양하고 새로운 연구방법을 모색할 필요가 있으며, 최종 설계된 대시보드를 실제 LMS에 적용하여 교수자 사용성 평가를 실시해 보도록 하는 것이 제안되었다.
첫째, 연구 결과로 제시된 총 8개의 대시보드에 대해 LMS에 적용 가능한 형태로 개발하여 실제 수업에서 교수자 사용성 평가를 실시해 보는 것이 필요하다. 사용성 평가 결과를 통해 본 대시보드가 가지는 한계점을 면밀히 분석하여 대시보드의 유용성 및 효과성을 높이는 확장된 연구가 필요할 것으로 사료된다.
셋째, 대시보드에 제시된 유용한 정보들을 기술통계 분석적 단계를 뛰어넘어 학습자의 학습활동을 예측, 처치 등으로 활용할 수 있는 개인별 학습 패턴에 대한 성과 예측형 대시보드 설계에 대한 연구가 필요하다. 교수자는 이를 통해 개별 학습자에 대한 학습 문제 해결 및 학습 성과를 높이는 학습 처방의 주요 기능으로 대시보드를 활용할 수 있을 것으로 기대된다.
설명력 영역에서는 대시보드 화면의 메뉴명 수정 및 안내 문구 삽입 등에 대한 제안 사항이 있어서 이를 최종 대시보드 화면에는 직관적으로 인식할 수 있도록 수정 후 반영하였다. 유용성과 보편성 영역에는 후속 연구로 제안될 만한 사항들이 제시되었다. 또한, 대시보드의 사용 편의성을 높이는 방안과 시각화 기법을 지능적으로 적용할 수 있는 다양하고 새로운 연구방법을 모색할 필요가 있으며, 최종 설계된 대시보드를 실제 LMS에 적용하여 교수자 사용성 평가를 실시해 보도록 하는 것이 제안되었다.
첫째, 연구 결과로 제시된 총 8개의 대시보드에 대해 LMS에 적용 가능한 형태로 개발하여 실제 수업에서 교수자 사용성 평가를 실시해 보는 것이 필요하다. 사용성 평가 결과를 통해 본 대시보드가 가지는 한계점을 면밀히 분석하여 대시보드의 유용성 및 효과성을 높이는 확장된 연구가 필요할 것으로 사료된다.
질의응답
핵심어
질문
논문에서 추출한 답변
데이터 시각화란?
대시보드 설계를 위한 과정에서 데이터 유형별 시각화 적용은 매우 중요하다. 데이터 시각화란, 이해하기 어려운 정보를 단순화 시켜서 텍스트보다 많은 정보를 담아 여러 정보들 간의 관계를 도식화 하는 것을 말한다(허균, 2006). 학습분석관점에서의 데이터 시각화는 교수자가 학습자를 심도있게 이해하고 학습자의 온라인 활동을 포함하여 다른 학습자와의 관계 및 상호작용을 보여줌으로써 교육적 목적을 달성하는 것이라고 언급하였다(Duval, 2011).
학습분석은 무엇에 목적을 두고있는가?
최근 대학에서는 교수-학습의 향상을 위해 학습분석(Learning Anaytics)을 기반으로 교육성과를 해석하고 새로운 전략을 수립하는데 많은 관심을 쏟고 있다. 학습분석은 “교육적 데이터를 유용한 정보로 활용하여 이전의 교수-학습 활동에 대한 자기 성찰 등의 행동을 촉진하고, 교수-학습활동을 개선하는데 목적을 둔다(Dyckhoff, Zielke, Bültmann, Chatti, & Schroeder, 2012).” 교수자 관점에서의 학습분석은 학습자의 맥락에 대한 데이터를 수집하고 분석하여 개별화 학습과 맞춤형 피드백 제공을 가능하게 한다.
학습분석은 교육적 빅데이터를 활용하여 교수-학습적 처방을 가함으로써 학습성과를 통제하는 단계까지를 포함하는데, 이는 어떤 의미를 가지는가?
학습분석은 데이터를 자동적으로 분석하는 것으로만 국한하지 않으며, 교육적 빅데이터를 활용하여 교수-학습적 처방을 가함으로써 학습성과를 통제하는 단계까지를 포함한다(Elias, 2011). 이는 학습을 촉진하고 교육적 문제 해결을 위해 데이터 맥락에 대한 이해를 돕는 것으로 데이터마이닝 이상의 의미를 가진다.
참고문헌 (28)
김은희, 변호승 (2017). 학습분석학 기반의 교수자 피드백 분류체계 개발. 교육공학연구, 33(3), 741-772.
김선희, 임철일 (2016). 디지털 매체 활용 포럼연극 수업설계의 개념 모형 개발. 교육공학연구, 32(3), 453-486.
나리리. (2015). 웹 기반 토론 학습에서 시각적 피드백에 대한 학습자의 인식. 석사학위논문, 서울대학교.
나일주, 임철일, 조영환 (2015). 학습분석 모델 및 확장 방안 연구. 창조 경제 비타민 L프로젝트 위탁연구, 서울특별시교육청.
박연정 a, 조일현 (2014). 학습관리시스템의 대시보드 설계를 위한 학습자 중심 요구분석: 분석과 설계 도구로서 활동이론의 적용. 교육공학연구, 30(2), 221-258.
박연정 b, 조일현 (2014). 학습 분석학 기반 대시보드의 설계와 적용. 교육정보미디어연구, 20(2), 191-216.
성은모.진성희.유미나 (2016). 학습분석학 관점에서 학습자의 자기주도학습 지원을 위한 학습 데이터 탐색 연구. 교육공학연구, 32(3), 487-533.
신종호？최재원？고욱 (2015). 대학교육에서 학습분석 적용에 관한 탐색적 연구: 교수자의 관점을 중심으로. 교육공학연구, 31(2), 223-252.
허균 (2006). ICT 활용교육에서 교수 학습자료 제작을 위한 시각화 전략 탐색 연구. 한국교원교육연구, 23(1), 169-191.
Duval, E. (2011). Attention please!: Learning analytics for visualization and recommendation. Proceedings of the 1st International Conference on Learning Analytics and Knowledge, pp. 9-17.
Dyckhoff, A. L., Zielke, D., Bultmann, M., Chatti, M. A., & Schroeder, U. (2012). Design and implementation of a learning analytics toolkit for teachers. Educational Technology & Society, 15(3), 58-76.
Elias, T. (2011). Learnig analytics: Definitions. process and potential. Learning, 23, 134-148.
Few, S. (2006). Information dashboard design. Sebastopol , CA: O'Reilly Media, Inc.
Few, S. (2013). Information dashboard design: Displaying data for at-a-glance monitoring (2nd ed.). Burlingame, CA: Analytics Press.
Fulantelli, G., Taibi, D., & Arrigo, M. (2013). A semantic approach to mobile learning analytics. Proceedings of the First International Conference on Technological Ecosystem for Enhancing Multiculturality, pp. 287-292.
Greller, W., & Drachsler, H. (2012). Translating learning into numbers: A generic framework for learning analytics. Educational Technology & Society, 15(3), 42？57.
Mazza, R., & Dimitrova, V (2007). CourseVis: A graphical student monitoring tool for supporting instructors in web-based distance courses. International Journal of Human-Computer Studies, 65(2), 125-139.
Smith, V. C., Lange, A., & Huston, D. R. (2012). Predictive modeling to forecast student outcomes and drive effective interventions in online community college courses. Journal of Asynchronous Learning Networks, 16(3), 51-61.
UNESCO IITE(Institute for Information Technologies in Education). (2012) Learning Analytics Report. http://iite.unesco.org/resources
Verbert, K., Duval, E., Klerkx, J., Govaerts, S., & Santos, J. L. (2013). Learning analytics dashboard applications. American Behavioral Scientist, 0002764213479363.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.