본 연구는 비전공자 학생들 대상으로 효과적인 프로그래밍 학습이 가능하도록 학습 분석을 활용한 플립러닝 교수법의 효과성을 살펴보고자 한다. ADDIE모형을 적용한 플립러닝 프로그래밍 수업모형을 설계한 후 본교에서 운영하고 있는 강의지원시스템의 학습관련 자료를 크롤링하였다. 크롤링 자료를 교수자가 쉽게 이해할 수 있도록 대시보드로 제공하여 교수자는 이를 바탕으로 수업을 보다 효율적으로 설계하여 개별 맞춤 학습이 가능하도록 하였다. 한 학기 수업을 통해 수집된 학습관련 데이터를 바탕으로 분석한 결과 학과, 학년, 출결여부, 과제제출 여부, 예/복습 수강여부가 학업성취도에 영향을 미치는 것으로 나타났으며, 설문 분석결과 학습 분석을 통한 교수자의 개별화된 피드백이 자기주도적 학습에 많은 도움이 되었다고 응답하였다. 본 연구는 학습자의 학습을 촉진시키고 교수자는 교수활동을 개선할 수 있는 기틀을 마련해 주는 계기가 될 것으로 기대한다. 향후 학습자들의 학습과 관련된 소셜네트워크서비스의 내용도 크롤링하여 학습자들의 학습상황을 분석하고자 한다.
본 연구는 비전공자 학생들 대상으로 효과적인 프로그래밍 학습이 가능하도록 학습 분석을 활용한 플립러닝 교수법의 효과성을 살펴보고자 한다. ADDIE모형을 적용한 플립러닝 프로그래밍 수업모형을 설계한 후 본교에서 운영하고 있는 강의지원시스템의 학습관련 자료를 크롤링하였다. 크롤링 자료를 교수자가 쉽게 이해할 수 있도록 대시보드로 제공하여 교수자는 이를 바탕으로 수업을 보다 효율적으로 설계하여 개별 맞춤 학습이 가능하도록 하였다. 한 학기 수업을 통해 수집된 학습관련 데이터를 바탕으로 분석한 결과 학과, 학년, 출결여부, 과제제출 여부, 예/복습 수강여부가 학업성취도에 영향을 미치는 것으로 나타났으며, 설문 분석결과 학습 분석을 통한 교수자의 개별화된 피드백이 자기주도적 학습에 많은 도움이 되었다고 응답하였다. 본 연구는 학습자의 학습을 촉진시키고 교수자는 교수활동을 개선할 수 있는 기틀을 마련해 주는 계기가 될 것으로 기대한다. 향후 학습자들의 학습과 관련된 소셜네트워크서비스의 내용도 크롤링하여 학습자들의 학습상황을 분석하고자 한다.
The study aims to examine the effectiveness of flipped learning teaching methods by using learning analytics to enable effective programming learning for non-major students. After designing a flipped learning programming class model applied with the ADDIE model, learning-related data of the lecture ...
The study aims to examine the effectiveness of flipped learning teaching methods by using learning analytics to enable effective programming learning for non-major students. After designing a flipped learning programming class model applied with the ADDIE model, learning-related data of the lecture support system operated by the school was processed with crawling. By providing data processed with crawling through a dashboard so that the instructor can understand it easily, the instructor can design classes more efficiently and provide individually tailored learning based on this. As a result of analysis based on the learning-related data collected through one semester class, it was found that the department, academic year, attendance, assignment submission, and preliminary/review attendance had an effect on academic achievement. As a result of survey analysis, they responded that the individualized feedback of instructors through learning analysis was very helpful in self-directed learning. It is expected that it will serve as an opportunity for instructors to provide a foundation for enhancing teaching activities. In the future, the contents of social network services related to learners' learning will be processed with crawling to analyze learners' learning situations.
The study aims to examine the effectiveness of flipped learning teaching methods by using learning analytics to enable effective programming learning for non-major students. After designing a flipped learning programming class model applied with the ADDIE model, learning-related data of the lecture support system operated by the school was processed with crawling. By providing data processed with crawling through a dashboard so that the instructor can understand it easily, the instructor can design classes more efficiently and provide individually tailored learning based on this. As a result of analysis based on the learning-related data collected through one semester class, it was found that the department, academic year, attendance, assignment submission, and preliminary/review attendance had an effect on academic achievement. As a result of survey analysis, they responded that the individualized feedback of instructors through learning analysis was very helpful in self-directed learning. It is expected that it will serve as an opportunity for instructors to provide a foundation for enhancing teaching activities. In the future, the contents of social network services related to learners' learning will be processed with crawling to analyze learners' learning situations.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
15주차에 실시한 설문조사 자료 중에서 학습 분석과 관련된 문항에 대해서만 결과를 언급하고자 한다. 학습분석과 관련된 6문항은 빈도분석을 실시하였다.
일일이 모든 화면을 서핑을 한 후 수집한 자료를 바탕으로 교수자가 의사결정을 내릴 수 있도록 구성되어 있다. 따라서 본 연구에서는 본교에서 지원하는 강의지원시스템에서 제공하는 학습 자료를 정기적으로 크롤링하여 이를 대시보드로 작성하여 교수자가 이를 바탕으로 수업을 보다 효율적이고 효과적으로 운영할 수 있도록 파이썬으로 웹 크롤링을 개발하였다. 크롤링을 통해 교과목에서 이루어지는 활동에 대한 전반적인 사항들을 인식할 수 있도록 수강생 위험단계의 학습자에게 경고메시지를 전달하고 학습에 적극적으로 참여할 수 있도록 학습 분석을 통해서 지도를 하였다.
따라서 본 연구에서는 비전공자들 학습자들에게 맞는 수업모형을 설계하여 플립러닝 교수법으로 진행을 하고자 한다. 플립러닝 교수법으로 인해 자기주도 학습이 어려운 학습자, 학습능력이 부진한 학습자들의 학습효과를 높이고 중도포기를 막기 위해서 본 연구에서는 학습 분석을 통해 학업성취도를 향상시키고자 한다.
대시보드는 분석된 데이터를 효과적이고 직관적으로 제공하여 사용자에게 선택의 편의성과 유연한 의사결정을 하는데 도움을 준다[14]. 따라서 본 연구에서는 수업의 내용과 학습자의 특성을 고려하여 비전공자 대학생들 대상으로 효과적인 학습이 가능하도록 학습 분석을 활용한 플립러닝 교수법을 적용하여 프로그래밍 교육의 효과성을 분석하고자 한다.
플립러닝 교수법이 학습자들의 학업 성취도를 향상시키는데 긍정적인 역할을 하지만 학습능력이 부진한 학습자들에서는 플립러닝의 학습효과를 얻기가 어렵다고 한다. 따라서 학습능력이 부진한 학습자, 자기 주도적 학습이 어려운 학습자들의 학습효과를 높이고 중도포기를 막기 위해서 본 연구에서는 학습 분석을 통해 학업성취도를 향상시키고자 한다.
향후 학습자들을 실험집단과 통제집단으로 나누어 학업성취도 효과의 비교 분석이 필요하다. 또한 학습자들의 학습과 관련된 소통을 위한 소셜네트워크서비스의 내용도 크롤링하여 학습자들의 전반적인 학습상황을 파악하여 개별 맞춤교육을 통한 학업 성취도 향상 효과를 기대해보고자 한다.
본 대학에서 지원하는 강의지원 시스템에 교수자가 로그인을 하면 강의 계획서, 공지사항, 질의응답, 예/복습자료실, 출석, 과제, 팀프로젝트, 시험, 토론, 설문, 성적 등의 메뉴화면을 접할 수 있다. 본 연구에서는 강의지원이 지원하는 메뉴 중에서 학습자들의 활동과 관련된 예/복습자료실, 출석, 과제 영역에 대해서 대시보드를 작성하여 맞춤 학습을 통한 학업성취도를 향상시키고자 한다.
본 연구에서는 비전공자들 대상으로 프로그래밍 교육을 플립러닝 교수법으로 진행할 때 학습이 부진한 학습자의 적극적인 학습활동을 유도하고 중도 포기 학습자를 막기 위해 학습 분석을 하고자 한다. 현재 본교에서 지원하고 있는 강의지원시스템으로는 교수자가 개별적으로 학생들에게 맞는 맞춤 교육을 하는데 어려움이 있다.
미제출, 미수강 누적횟수가 많은 학습자들을 별도로 파악하여 이들 학습자가 수업에 적극적으로 참여할 수 있도록 맞춤지도가 필요하다. 본 연구에서는 파이썬을 이용하여 본교 강의지원 사이트에 접속하지 않고 교수자가 컴퓨터로 작업을 하다가 바로 확인할 수 있도록 개발하였다. 강의지원시스템의 출석 영역, 예/복습 수강 영역, 과제제출 영역의 자료를 크롤링하여 별도의 지도가 필요한 학습자를 관리하여 중도포기를 예방하고 학습에 적극적으로 참여할 수 있도록 맞춤지도를 한다.
본 연구의 목적은 경북소재 4년제 D대학의 비전공자 학생들 대상으로 효과적인 프로그래밍 학습이 가능하도록 학습 분석을 활용한 플립러닝 교수법의 효과성을 살펴보고자 한다. 첫째, ADDIE 모형을 적용한 플립러닝 프로그래밍 수업모형을 설계한다.
비전공자를 위한 프로그래밍 교육의 목적은 프로그래밍 언어의 문법을 학습하여 프로그램을 작성하는 방법을 학습하는 것이 아니라 소프트웨어에 대한 기초적인 지식과 개념, 원리에 대한 이해가 필요하다. 이를 바탕으로 알고리즘에 대한 이해를 기초로 컴퓨팅사고력과 논리력, 문제해결력을 함양하는 것이다. 따라서 교양교과목으로 비전공자들 대상으로 컴퓨팅 사고력 배양을 위한 프로그래밍 중심 교과과정을 개설하여 다양한 융합교육 모델의 기반을 제공할 필요가 있다.
본 연구에서는 웹드라이버(webdriver)라는 API(application programming interface)를 이용하여 웹에 명령을 주고, 크롤링, 자동화 등 다양한 동작을 가능하게 하는 프레임워크인 셀레니움(Selenium)을 이용하였다. 파이썬으로 웹 크롤링을 구현하여 교수자가 다양한 의사결정을 할 수 있는 자료로 활용하고자 한다. 셀레니움은 Selenium Server와 Selenium Client가 있는데, 로컬 컴퓨터의 웹브라우저를 컨트롤하기 위해서는 Selenium Client를 사용한다.
따라서 본 연구에서는 비전공자들 학습자들에게 맞는 수업모형을 설계하여 플립러닝 교수법으로 진행을 하고자 한다. 플립러닝 교수법으로 인해 자기주도 학습이 어려운 학습자, 학습능력이 부진한 학습자들의 학습효과를 높이고 중도포기를 막기 위해서 본 연구에서는 학습 분석을 통해 학업성취도를 향상시키고자 한다. 4차 산업혁명시대에 대학이 발전된 기술들을 이용하여 창의적 인재양성을 위한 학습평가로 학습 분석(learnig analytics)을 언급하였다[12].
4차 산업혁명시대에 대학이 발전된 기술들을 이용하여 창의적 인재양성을 위한 학습평가로 학습 분석(learnig analytics)을 언급하였다[12]. 학습 분석은 교육적 데이터를 유용한 정보로 전환하여 이전에 일어난 교수나 학습활동에 대한 자기성찰과 같은 행동을 촉진하고 교수-학습활동을 개선하는데 목적을 둔다. 학습자의 수행 예측, 관련 학습자료 제안, 사회적 학습촉진, 학습자의 행동을 추적하여 중도포기 예방, 학습자의 감정 탐지 등 여러 가지 교육적 목적을 달성하는데 도움이 된다[13].
분석대상은 교육을 위한 콘텐츠 데이터와 학습자에 의해 만들어지는 활동 데이터, 교수자가 제시하는 모형, 교육과정에서 활용 가능한 소셜 분석 데이터 등이다. 학습 분석의 목적은 교육적 데이터를 유용한 데이터로 전환하여 이전에 일어난 교수학습활동에 대한 자기성찰과 같은 행동을 촉진하고 개선하는데 있다[16, 17]. 학습 분석은 데이터 기반 접근으로 교육데이터가 발생하는 다양한 정보를 활용하는데 학습 자료에 대한 접속과 업로드, 과제제출, 시험응시, 예/복습 자료 읽기 등 학생활동에 대한 대규모 로그 데이터와 상호작용 데이터가 축적되어 있는 LMS(Learning Management System)가 대표적이다[18].
학습 분석의 목적은 교육적 데이터를 유용한 정보로 전환하여 교수-학습활동을 개선하는데 있다. 교수자는 학습자의 학습활동 및 학습상태에 대한 정확한 정보를 파악할 수 있어야 한다.
제안 방법
학습 분석을 활용한 플립러닝 교수법의 효과를 살펴보기 위해 SPSS23 프로그램을 이용하여 t-test와 일변량 분산분석, 상관분석, 회귀분석을 실시하였으며 학습자들의 만족도를 평가하기 위해 설문조사를 실시하여 빈도분석을 하였다. 15주차에 실시한 설문은 총 10가지 문항으로 5점 척도의 질문 9문항과 주관식 문항 1문항으로 구성하였다.
교수자는 과제 란에 올려져 있는 질문지를 바탕으로 학습자들이 이해되지 않는 영역이나 어려워하는 영역에 대해 파악한 후 이를 토대로 수업을 진행한다. 4명을 한 팀으로 구성하여 수업시간에 팀별로 자리를 배치하여 소통과 협업이 가능하도록 진행하였다. 학습자가 이해하기 힘든 영역은 수강하기 전에 이해도를 높이기 위해 수업시간에 설명을 간략하게 해 준 후 수강할 수 있도록 진행했으며 수업시간에 질문지를 토대로 토론을 한 후 팀별로 실습을 통하여 문제를 해결하는 방식으로 진행을 하였다.
콘텐츠 개발 단계에서는 학습자가 이해하기 힘든 변수, 리스트, 제어문, 프로시저, 데이터베이스 영역은 동영상 콘텐츠로 작성하고 나머지 영역은 텍스트 콘텐츠로 개발하였다. 각 영역의 콘텐츠를 개발할 때에 질문지와 과제, 토론 결과보고서도 함께 검토하여 작성한 후 이를 토대로 수업에 활용할 때 학습자의 상황에 맞게 수정하면서 진행을 한다. 학습자의 학습 여부를 파악하기 위하여 학습한 내용에 대한 간단한 과제보고서와 질문지를 작성하도록 지도하였다.
강의지원시스템의 학습콘텐츠를 이용하면서 발생하는 학습자 데이터 즉, 출결사항, 과제제출 여부, 강의수강 여부와 관련된 데이터를 크롤링하여 학습자들에게 문자, 쪽지로 전송하였다. 첫째, 출결사항과 관련하여 3주마다 결석과 지각이 많은 학습자들 대상으로 총 결석횟수를 전송하여 수업시간에 참석하도록 지도하였다.
연구결과를 위해 ADDIE 모형을 적용한 플립러닝 수업모형을 설계한 후 학습 분석을 위해 본교 강의지원시스템의 자료 중 출석 영역, 예/복습 영역, 과제제출 영역의 데이터를 강의지원 시스템에 로그인하지 않고 교수자가 필요한 영역의 데이터를 크롤링할 수 있도록 파이썬을 이용하여 개발하였다. 개발환경 Anaconda3과 Webdriver라는 API를 이용해 웹에 명령을 내리고 크롤링, 자동화 등 다양한 액션을 가능하게 하는 프레임 워크인 Selenium을 이용하여 구현하였다. 파이썬을 이용하여 크롤링한 데이터를 대시보드로 나타낸 학습 분석을 활용한 플립드 러닝 수업을 15주차 진행한 학습 관련 데이터를 수집하였다.
과제제출과 관련해서 과제제출 마감 이틀, 하루 전까지 과제를 제출하지 않은 학생들에게 문자와 쪽지를 보냈으며 3주마다 해당사항이 있는 학습자들에게 본인의 과제 미제출 횟수, 미 수강 횟수, 결석 횟수를 알 수 있도록 문자와 쪽지를 통해 전달하였다. 결석횟수, 과제 미제출 횟수, 미 수강 횟수가 많은 학습자들을 확인한 후 실습시간에 개별적으로 간단히 피드백을 하여 적극적으로 수업에 참여할 수 있도록 지도하였다.
과제미제출 누적횟수가 많은 학습자를 개별적으로 지도하기 위해 상담을 한 후 비교과활동을 통해 별도로 과제를 작성하도록 지도하고 제출한 과제에 대해서는 개별적으로 피드백을 하여 개인별 맞춤교육을 통해 중도 포기를 막을 수 있도록 진행하였다. 이처럼 학습분석 바탕으로 학습자의 개별화된 피드백이 제공됨으로써 학습자의 학습을 촉진시키고 교수자는 교수활동을 개선할 수 있는 기틀을 마련해 주는 계기가 될 것으로 기대한다.
결석이 많은 학생들에게는 자신의 결석횟수를 문자와 쪽지로 전송을 하였으며 예/복습 수강영역에서는 수업 진행하기 이틀, 하루 전까지 수강하지 않은 학생들에게 예/복습 란에 올려 져 있는 수업내용을 수강 권유하는 문자와 쪽지를 보냈다. 과제제출과 관련해서 과제제출 마감 이틀, 하루 전까지 과제를 제출하지 않은 학생들에게 문자와 쪽지를 보냈으며 3주마다 해당사항이 있는 학습자들에게 본인의 과제 미제출 횟수, 미 수강 횟수, 결석 횟수를 알 수 있도록 문자와 쪽지를 통해 전달하였다. 결석횟수, 과제 미제출 횟수, 미 수강 횟수가 많은 학습자들을 확인한 후 실습시간에 개별적으로 간단히 피드백을 하여 적극적으로 수업에 참여할 수 있도록 지도하였다.
첫째, ADDIE 모형을 적용한 플립러닝 프로그래밍 수업모형을 설계한다. 둘째, 본교에서 운영하고 있는 강의지원시스템 자료를 파이썬을 이용하여 크롤링(crawling)하여 크롤링한 자료를 교수자가 쉽게 이해할 수 있도록 정보를 대시보드로 제공하여 교수자는 이를 바탕으로 수업을 보다 효율적으로 설계하여 개별 맞춤 학습이 가능하도록 한다. 셋째, 한 학기 수업을 통해 수집된 학습관련 데이터와 설문조사 자료를 바탕으로 학습 분석을 활용한 플립러닝 교수법의 효과를 분석한다.
문화콘텐츠앱 작성 교과목은 비전공자들 대상으로 교육용 프로그래밍언어인 앱인벤터를 이용하여 문화콘텐츠와 관련된 창의적인 앱을 작성하는 수업으로 이론에 대한 이해와 함께 실제 적용을 경험하게 하는 실습이 이루어지는 이론/실습 수업이다. 따라서 본 연구에서는 학습자의 개인차에 따른 학습과 실제 문제해결 및 실습 등을 가능하게 하는 틀로서 IT교육의 심화정도에 따라 효과적인 학습이 가능하도록 플립러닝 교수법으로 진행하였다. 수업설계 모형은 프로그램개발의 일반적인 모형인 ADDIE 모형을 적용하여 Fig 3에 나타내었다.
마지막 수업시간에 학습자들 대상으로 만족도 검사를 위한 설문조사를 실시하였다. 설문조사결과 학습자들에게 문자와 쪽지를 통해 자신의 출결여부와 과제제출, 수강여부 권유가 수업에 적극적으로 참여하는데 도움이 되었다고 대부분의 학습자들이 긍정적으로 응답을 하였다.
먼저 교과 과정적 요소와 학습내용, 학습자를 분석한 후 차시별 수업자료를 기획, 설계하였다. 수업전략 설계단계에서는 융합적 사고유도를 바탕으로 차시별 수업자료를 기획하고 설계하였다.
본 연구는 경상북도 D대학교 2019년 2학기 문화콘텐츠앱 작성 수강생 43명을 대상으로 진행하였다. 본교 강의지원시스템의 출결여부와 예/복습 수강 영역과 과제제출 영역을 크롤링하여 학습자들에게 개별화된 피드백을 제공하였다. 결석이 많은 학생들에게는 자신의 결석횟수를 문자와 쪽지로 전송을 하였으며 예/복습 수강영역에서는 수업 진행하기 이틀, 하루 전까지 수강하지 않은 학생들에게 예/복습 란에 올려 져 있는 수업내용을 수강 권유하는 문자와 쪽지를 보냈다.
설계한 수업모형을 바탕으로 수업을 진행하면서 학습자들의 학습 상황을 파악하면서 수업을 진행하였다. 본교 강의지원시스템의 과제 란에서 과제를 제출하지 않은 학습자를 파악하기 위해서는 교수자는 강의지원시스템에 접속하여 로그인 후 몇 단계를 거쳐서 과제 평가란으로 들어가서 확인을 해야 한다.
종속변수는 성적으로 독립변수는 결석횟수, 과제제출횟수, 예/복습 수강횟수, 학년, 성별을 독립변수로 지정하였다. 성별은 더미변수(Dummy Variable)로 변환하여 분석을 실시하였다. 회귀분석 결과 성적에 영향을 미치는 변수로는 결석횟수(p<.
둘째, 본교에서 운영하고 있는 강의지원시스템 자료를 파이썬을 이용하여 크롤링(crawling)하여 크롤링한 자료를 교수자가 쉽게 이해할 수 있도록 정보를 대시보드로 제공하여 교수자는 이를 바탕으로 수업을 보다 효율적으로 설계하여 개별 맞춤 학습이 가능하도록 한다. 셋째, 한 학기 수업을 통해 수집된 학습관련 데이터와 설문조사 자료를 바탕으로 학습 분석을 활용한 플립러닝 교수법의 효과를 분석한다.
연구결과를 위해 ADDIE 모형을 적용한 플립러닝 수업모형을 설계한 후 학습 분석을 위해 본교 강의지원시스템의 자료 중 출석 영역, 예/복습 영역, 과제제출 영역의 데이터를 강의지원 시스템에 로그인하지 않고 교수자가 필요한 영역의 데이터를 크롤링할 수 있도록 파이썬을 이용하여 개발하였다. 개발환경 Anaconda3과 Webdriver라는 API를 이용해 웹에 명령을 내리고 크롤링, 자동화 등 다양한 액션을 가능하게 하는 프레임 워크인 Selenium을 이용하여 구현하였다.
수업진행 후에도 예/복습 란의 수강을 하지 않은 학습자들에게 수강을 권유하는 문자와 쪽지를 보냈다. 예/복습 수강횟수가 적은 학습자들을 확인한 후 수업시간에 피드백하면서 수강을 권유 지도하였다.
Table 4에 회귀분석 결과를 나타내었다. 종속변수는 성적으로 독립변수는 결석횟수, 과제제출횟수, 예/복습 수강횟수, 학년, 성별을 독립변수로 지정하였다. 성별은 더미변수(Dummy Variable)로 변환하여 분석을 실시하였다.
질문지는 학습한 내용에 대해 교수자에게 질문하고 싶은 란, 학습하면서 이해되지 않은 부분을 작성하는 란, 건의사항 란으로 구성하였다. 학습자는 강의지원 예/복습란의 강의 자료를 수강한 후 질문지와 과제보고서를 과제 란에 올리도록 진행하였다.
본 연구의 목적은 경북소재 4년제 D대학의 비전공자 학생들 대상으로 효과적인 프로그래밍 학습이 가능하도록 학습 분석을 활용한 플립러닝 교수법의 효과성을 살펴보고자 한다. 첫째, ADDIE 모형을 적용한 플립러닝 프로그래밍 수업모형을 설계한다. 둘째, 본교에서 운영하고 있는 강의지원시스템 자료를 파이썬을 이용하여 크롤링(crawling)하여 크롤링한 자료를 교수자가 쉽게 이해할 수 있도록 정보를 대시보드로 제공하여 교수자는 이를 바탕으로 수업을 보다 효율적으로 설계하여 개별 맞춤 학습이 가능하도록 한다.
강의지원시스템의 학습콘텐츠를 이용하면서 발생하는 학습자 데이터 즉, 출결사항, 과제제출 여부, 강의수강 여부와 관련된 데이터를 크롤링하여 학습자들에게 문자, 쪽지로 전송하였다. 첫째, 출결사항과 관련하여 3주마다 결석과 지각이 많은 학습자들 대상으로 총 결석횟수를 전송하여 수업시간에 참석하도록 지도하였다. 둘째, 과제제출과 관련하여 과제제출 마감일 이틀, 하루 전에 제출하지 않은 학습자를 확인한 후 기간 내에 제출하도록 문자와 쪽지를 보낸다.
수업전략 설계단계에서는 융합적 사고유도를 바탕으로 차시별 수업자료를 기획하고 설계하였다. 콘텐츠 개발 단계에서는 학습자가 이해하기 힘든 변수, 리스트, 제어문, 프로시저, 데이터베이스 영역은 동영상 콘텐츠로 작성하고 나머지 영역은 텍스트 콘텐츠로 개발하였다. 각 영역의 콘텐츠를 개발할 때에 질문지와 과제, 토론 결과보고서도 함께 검토하여 작성한 후 이를 토대로 수업에 활용할 때 학습자의 상황에 맞게 수정하면서 진행을 한다.
따라서 본 연구에서는 본교에서 지원하는 강의지원시스템에서 제공하는 학습 자료를 정기적으로 크롤링하여 이를 대시보드로 작성하여 교수자가 이를 바탕으로 수업을 보다 효율적이고 효과적으로 운영할 수 있도록 파이썬으로 웹 크롤링을 개발하였다. 크롤링을 통해 교과목에서 이루어지는 활동에 대한 전반적인 사항들을 인식할 수 있도록 수강생 위험단계의 학습자에게 경고메시지를 전달하고 학습에 적극적으로 참여할 수 있도록 학습 분석을 통해서 지도를 하였다. 이처럼 학습자들의 취약부분을 찾아서 학습자들에게 맞는 맞춤교육을 통해 중도포기를 막을 수 있으며 학업 성취도를 향상시킬 수 있다고 본다.
학습 환경에서 발생하는 학습데이터를 수집한 후 이를 데이터베이스에 저장하여 다양한 처리 알고리즘을 통해 데이터를 분석하여 활용한다. 분석대상은 교육을 위한 콘텐츠 데이터와 학습자에 의해 만들어지는 활동 데이터, 교수자가 제시하는 모형, 교육과정에서 활용 가능한 소셜 분석 데이터 등이다.
4명을 한 팀으로 구성하여 수업시간에 팀별로 자리를 배치하여 소통과 협업이 가능하도록 진행하였다. 학습자가 이해하기 힘든 영역은 수강하기 전에 이해도를 높이기 위해 수업시간에 설명을 간략하게 해 준 후 수강할 수 있도록 진행했으며 수업시간에 질문지를 토대로 토론을 한 후 팀별로 실습을 통하여 문제를 해결하는 방식으로 진행을 하였다. 수업이 끝나기 전에 수업시간에 토론한 내용, 실습하면서 문제를 해결한 내용 등 수업시간에 다룬 전반적인 내용들을 점검하는 시간으로 학습자가 결과 보고서를 간단하게 작성하는 시간을 가졌다.
질문지는 학습한 내용에 대해 교수자에게 질문하고 싶은 란, 학습하면서 이해되지 않은 부분을 작성하는 란, 건의사항 란으로 구성하였다. 학습자는 강의지원 예/복습란의 강의 자료를 수강한 후 질문지와 과제보고서를 과제 란에 올리도록 진행하였다. 교수자는 과제 란에 올려져 있는 질문지를 바탕으로 학습자들이 이해되지 않는 영역이나 어려워하는 영역에 대해 파악한 후 이를 토대로 수업을 진행한다.
각 영역의 콘텐츠를 개발할 때에 질문지와 과제, 토론 결과보고서도 함께 검토하여 작성한 후 이를 토대로 수업에 활용할 때 학습자의 상황에 맞게 수정하면서 진행을 한다. 학습자의 학습 여부를 파악하기 위하여 학습한 내용에 대한 간단한 과제보고서와 질문지를 작성하도록 지도하였다.
대상 데이터
본 연구는 경상북도 D대학교 2019년 2학기 문화콘텐츠앱 작성 수강생 43명을 대상으로 진행하였다. 본교 강의지원시스템의 출결여부와 예/복습 수강 영역과 과제제출 영역을 크롤링하여 학습자들에게 개별화된 피드백을 제공하였다.
본 연구의 연구대상자는 경북소재 4년제 대학에서 2019년 2학기 문화콘텐츠 앱 작성 교과목을 수강한 비전공자들 43명 대상으로 하였다. 75분 수업으로 일주일에 두 번 실습실에서 수업을 진행하는 교양선택 교과목으로 2학기에 개설하여 운영이 된다.
학습 환경에서 발생하는 학습데이터를 수집한 후 이를 데이터베이스에 저장하여 다양한 처리 알고리즘을 통해 데이터를 분석하여 활용한다. 분석대상은 교육을 위한 콘텐츠 데이터와 학습자에 의해 만들어지는 활동 데이터, 교수자가 제시하는 모형, 교육과정에서 활용 가능한 소셜 분석 데이터 등이다. 학습 분석의 목적은 교육적 데이터를 유용한 데이터로 전환하여 이전에 일어난 교수학습활동에 대한 자기성찰과 같은 행동을 촉진하고 개선하는데 있다[16, 17].
컴퓨터 전공자가 아닌 비전공자들 대상으로 교육용 프로그래밍 언어인 앱인벤터를 이용하여 실생활과 전공영역에 필요한 창의적인 앱을 작성하는 수업으로 이론에 대한 이해와 함께 실제 적용을 경험하게 하는 실습이 이루어지는 이론/실습 수업이다. 전체 연구 대상자의 구성은 앱인벤터 프로그래밍언어를 접하지 않은 학습자들로 남학생 20명(46.5%), 여학생 23(53.5%)명이다. 계열별로는 공과계열 19명(44.
개발환경 Anaconda3과 Webdriver라는 API를 이용해 웹에 명령을 내리고 크롤링, 자동화 등 다양한 액션을 가능하게 하는 프레임 워크인 Selenium을 이용하여 구현하였다. 파이썬을 이용하여 크롤링한 데이터를 대시보드로 나타낸 학습 분석을 활용한 플립드 러닝 수업을 15주차 진행한 학습 관련 데이터를 수집하였다. 학습 분석을 활용한 플립러닝 교수법의 효과를 살펴보기 위해 SPSS23 프로그램을 이용하여 t-test와 일변량 분산분석, 상관분석, 회귀분석을 실시하였으며 학습자들의 만족도를 평가하기 위해 설문조사를 실시하여 빈도분석을 하였다.
데이터처리
상관관계 분석은 변수들 간의 관련성을 나타내는 것이므로 인과관계를 파악하기 위해서 단순회귀분석을 실시하였다. 변수들 간의 인과관계는 독립변수가 종속변수에 어떠한 영향을 미치는지를 파악하는 것이므로 회귀분석을 통해 두 변수간의 인과관계를 분석하였다. Table 4에 회귀분석 결과를 나타내었다.
상관관계 분석은 변수들 간의 관련성을 나타내는 것이므로 인과관계를 파악하기 위해서 단순회귀분석을 실시하였다. 변수들 간의 인과관계는 독립변수가 종속변수에 어떠한 영향을 미치는지를 파악하는 것이므로 회귀분석을 통해 두 변수간의 인과관계를 분석하였다.
수업에 적극적으로 참여하는 것이 학업성취도에 많은 영항을 미침을 알 수 있었다. 성별에 따라 성적에 차이가 있는지를 살펴보기 위해 독립표본 t-test를 실시하여 분석한 결과 차이가 없는 것으로 나타났다. 결과를 Table 2에 나타내었다.
성적에 가장 많은 영향을 미치는 변수를 알아보기 위해 0.01 유의수준 하에서 상관이 많은 변수, 즉 결석횟수와 과제제출 횟수, 예/복습 수강 횟수를 독립변수로 설정하여 위계적 회귀분석을 실시하였다. 그 결과 가장 큰 영향력을 미치는 변수는 결석횟수로 나타났고 두 번째로 영향을 미치는 변수는 예/복습 수강횟수로 나타났다.
결석횟수가 많을수록 학업성취도가 낮고 과제 제출, 수강 횟수가 많은 학습자들의 성적이 높게 나타났다. 성적에 가장 많은 영향을 미치는 변수를 알아보기 위해 0.01 유의수준 하에서 상관이 많은 변수, 즉 출결여부, 과제제출 여부, 수강여부를 독립변수로 설정하여 위계적 회귀분석을 실시하였다. 그 결과 출결여부와 수강여부가 영향을 미치는 것으로 나타났다.
파이썬을 이용하여 크롤링한 데이터를 대시보드로 나타낸 학습 분석을 활용한 플립드 러닝 수업을 15주차 진행한 학습 관련 데이터를 수집하였다. 학습 분석을 활용한 플립러닝 교수법의 효과를 살펴보기 위해 SPSS23 프로그램을 이용하여 t-test와 일변량 분산분석, 상관분석, 회귀분석을 실시하였으며 학습자들의 만족도를 평가하기 위해 설문조사를 실시하여 빈도분석을 하였다. 15주차에 실시한 설문은 총 10가지 문항으로 5점 척도의 질문 9문항과 주관식 문항 1문항으로 구성하였다.
15주차에 실시한 설문조사 자료 중에서 학습 분석과 관련된 문항에 대해서만 결과를 언급하고자 한다. 학습분석과 관련된 6문항은 빈도분석을 실시하였다. 첫째, 출결과 관련된 문항으로 “결석횟수와 관련하여 자신의 결석여부를 확인하도록 전송한 문자와 쪽지가 도움이 되었는가?” 의 질문에는 97.
이론/모형
웹페이지를 자동으로 수집하기 위해서는 우선적으로 웹페이지의 URL생성 패턴을 파악해야하며 파싱할 때 인터넷에서 URL주소를 통하여 접근할 수 있는 웹페이지는 HTML 언어로 작성되어 있으므로 HTML문법을 이해하여 HTML 코드에서 원하는 데이터를 수집한다[23]. 따라서 HTML의 데이터를 파싱할 때 beautiful -soup이라는 HTML 파서(parser)를 사용하였다. 이러한 데이터 파싱은 Selenium에서도 충분히 가능하다.
본 연구에서는 웹드라이버(webdriver)라는 API(application programming interface)를 이용하여 웹에 명령을 주고, 크롤링, 자동화 등 다양한 동작을 가능하게 하는 프레임워크인 셀레니움(Selenium)을 이용하였다. 파이썬으로 웹 크롤링을 구현하여 교수자가 다양한 의사결정을 할 수 있는 자료로 활용하고자 한다.
따라서 본 연구에서는 학습자의 개인차에 따른 학습과 실제 문제해결 및 실습 등을 가능하게 하는 틀로서 IT교육의 심화정도에 따라 효과적인 학습이 가능하도록 플립러닝 교수법으로 진행하였다. 수업설계 모형은 프로그램개발의 일반적인 모형인 ADDIE 모형을 적용하여 Fig 3에 나타내었다.
성능/효과
학습 분석 바탕으로 학습자들에게 개별적 피드백을 제공한 결과 학업성취도에 영향을 미치는 변수들을 알아보기 위해 상관분석을 실시하여 결과를 Table 1에 나타내었다. 결과를 살펴보면 학년은 지각횟수, 예/복습 수강횟수, 성적과 관계가 있는 것으로 나타났다. 즉, 학년에 따라 예/복습 수강횟수에 차이가 있었으며 성적에도 차이가 있는 것으로 나타났다.
01 수준(양쪽)에서 음(-)의 유의한 상관이 있는 것으로 나타났다. 결석이 많을수록 성적도 낮고 과제 미제출 횟수, 미수강 횟수가 많은 것으로 음의 상관관계로 나타났다. 과제제출횟수는 결석횟수, 예/복습 수강횟수, 성적과 상관이 있는 것으로 나타났다.
1학년 신입생들에게는 대학생활에 적응하는데 시간이 필요하여 자기 주도적 수업을 하는데 조금 어려움이 있는 것 같다. 결석횟수가 많을수록 학업성취도가 낮고 과제 제출, 수강 횟수가 많은 학습자들의 성적이 높게 나타났다. 성적에 가장 많은 영향을 미치는 변수를 알아보기 위해 0.
즉, 학년에 따라 예/복습 수강횟수에 차이가 있었으며 성적에도 차이가 있는 것으로 나타났다. 결석횟수는 과제 미제출율과 미수강율, 성적과 0.01 수준(양쪽)에서 음(-)의 유의한 상관이 있는 것으로 나타났다. 결석이 많을수록 성적도 낮고 과제 미제출 횟수, 미수강 횟수가 많은 것으로 음의 상관관계로 나타났다.
결석이 많을수록 성적도 낮고 과제 미제출 횟수, 미수강 횟수가 많은 것으로 음의 상관관계로 나타났다. 과제제출횟수는 결석횟수, 예/복습 수강횟수, 성적과 상관이 있는 것으로 나타났다. 예/복습 수강횟수는 학년과는 0.
공과계열과 자연계열, 자율전공, 예술계열, 인문계열 순으로 나타났다. 교과목의 특성 즉, 프로그래밍 언어 수업으로 인해 공과계열과 자연계열 학습자들의 학업성취도가 높게 나타났으며 인문계열 학습자들의 수강인원이 자율전공 수강인원보다 높지만 학업성취도는 낮게 나타났다.
01 유의수준 하에서 상관이 많은 변수, 즉 결석횟수와 과제제출 횟수, 예/복습 수강 횟수를 독립변수로 설정하여 위계적 회귀분석을 실시하였다. 그 결과 가장 큰 영향력을 미치는 변수는 결석횟수로 나타났고 두 번째로 영향을 미치는 변수는 예/복습 수강횟수로 나타났다.
01 유의수준 하에서 상관이 많은 변수, 즉 출결여부, 과제제출 여부, 수강여부를 독립변수로 설정하여 위계적 회귀분석을 실시하였다. 그 결과 출결여부와 수강여부가 영향을 미치는 것으로 나타났다.
과제제출 비율도 처음에는 16%가 제출하지 않았지만 중간고사 이후부터는 5% 이내로 줄어들었다. 넷째, 학습 분석을 통한 교수자의 개별적 문자 메시지가 자기 주도적 학습하는데 도움이 되었는가의 질문에는 88.37%가 긍정적으로 응답했으며 대부분의 학습자들이 본인의 학습을 촉진시켰다고 의견서를 작성했다. 다른 교과목의 경우 결석을 하면 피드백이 없어서 수업을 따라가기가 힘이 들었지만 본 교과목 수업은 학습 수강, 과제 관련 메시지를 문자로 받을 수 있어서 학습하는데 도움이 많이 되었다고 응답했다.
미제출 누적횟수가 많은 학습자들은 개별적으로 실습 시간에 피드백하면서 과제를 제출하도록 유도하고 수업에 적극적으로 참여할 수 있도록 지도하였다. 셋째, 예/복습 자료실의 강의 자료를 수업시간 이틀, 하루 전에 크롤링하여 미수강자들에게 수강을 권유하는 문자를 전송하였다. 수업진행 후에도 예/복습 란의 수강을 하지 않은 학습자들에게 수강을 권유하는 문자와 쪽지를 보냈다.
과제제출횟수는 결석횟수, 예/복습 수강횟수, 성적과 상관이 있는 것으로 나타났다. 예/복습 수강횟수는 학년과는 0.05 수준에서 유의한 상관이 있는 것으로 나타났으며, 결석횟수와 과제제출횟수, 성적과는 0.01 수준(양쪽)에서 유의한 상관이 있는 것으로 나타났다.
둘째, “예/복습 란의 수강과목을 수강하지 않았을 때 수강권유의 문자와 쪽지가 학습하는데 도움이 되었는가?” 의 질문에는 92%의 학생들이 긍정적인 응답을 했다. 처음에는 15명의 34%의 학습자들이 수강을 하지 않고 수업에 참여하여 수업을 진행하는데 어려움이 있었지만 학습 분석을 통해 학습자들에게 권유메시지를 보내어 적극적으로 참여를 유도한 결과 마지막 수업을 수강하지 않은 비율은 5명으로 11.62%의 비율을 보였다. 학습자들은 수강해야 하는 것을 잊고 있었는데 수강권유의 문자를 받아서 수강하게 되어 학습하는데 도움이 되었다고 응답했다.
성적은 학년, 결석횟수, 과제제출 횟수, 예/복습 수강횟수와 상관이 있는 것으로 나타났다. 특히 결석횟수, 과제제출횟수, 예/복습 수강횟수와는 0.01 수준에서 유의한 상관이 있는 것으로 나타났으며 상관계수도 높게 나타났다. 결석횟수와는 87% 음의상관으로 나타났다.
플립러닝 교수법과 학습 분석을 통한 수업진행 결과 학습자들의 성적에 학과, 학년, 출결여부, 과제제출여부, 예/복습 수강여부가 영향을 미치는 것으로 나타났다. 학과는 공과계열, 자연계열 학습자들의 성적이 높았으며 학년은 3학년, 4학년, 2학년, 1학년 순으로 나타났다.
플립러닝 교수법으로 수업을 진행하여 수업에 들어오기 전 미리 강의를 수강하여 학습한 학습자들은 과제도 스스로 작성할 수 있어서 과제 제출율도 높았으며 성적도 높게 나타났다. 성적은 학년, 결석횟수, 과제제출 횟수, 예/복습 수강횟수와 상관이 있는 것으로 나타났다.
회귀분석 결과 성적에 영향을 미치는 변수로는 결석횟수(p<.05), 과제제출 횟수(p<.05), 예/복습 수강횟수(p<.05), 학년(p<.05)으로 나타났다.
후속연구
강의평가를 통해서도 교수자의 개별 문자전송과 피드백이 학습하는데 많은 도움이 되었다고 응답하였다. 본 연구의 결과가 비전공자 대상의 프로그래밍 언어 수업에 어떻게 플립러닝을 도입하는 것이 학업성취도를 향상할 수 있는지 에 대한 방안을 제시함으로 인해 플립러닝 확산 및 정착을 통한 교수-학습 환경의 개선에 기여를 할 수 있길기대한다. 향후 학습자들을 실험집단과 통제집단으로 나누어 학업성취도 효과의 비교 분석이 필요하다.
과제미제출 누적횟수가 많은 학습자를 개별적으로 지도하기 위해 상담을 한 후 비교과활동을 통해 별도로 과제를 작성하도록 지도하고 제출한 과제에 대해서는 개별적으로 피드백을 하여 개인별 맞춤교육을 통해 중도 포기를 막을 수 있도록 진행하였다. 이처럼 학습분석 바탕으로 학습자의 개별화된 피드백이 제공됨으로써 학습자의 학습을 촉진시키고 교수자는 교수활동을 개선할 수 있는 기틀을 마련해 주는 계기가 될 것으로 기대한다.
교수자는 학습자의 학습활동 및 학습상태에 대한 정확한 정보를 파악할 수 있어야 한다. 학습결과에 따른 피드백의 유형을 체계화하여 교수자가 학습자에게 개별화된 피드백을 제공함으로써 학습자의 학습을 촉진시키고 교수자는 교수활동을 개선할 수 있는 기틀을 마련해 주는 계기가 될 것이다. 현재 본교에서 지원하고 있는 강의지원시스템으로는 교수자가 개별적으로 학생들에게 맞는 맞춤 교육을 하는데 어려움이 있다.
본 연구의 결과가 비전공자 대상의 프로그래밍 언어 수업에 어떻게 플립러닝을 도입하는 것이 학업성취도를 향상할 수 있는지 에 대한 방안을 제시함으로 인해 플립러닝 확산 및 정착을 통한 교수-학습 환경의 개선에 기여를 할 수 있길기대한다. 향후 학습자들을 실험집단과 통제집단으로 나누어 학업성취도 효과의 비교 분석이 필요하다. 또한 학습자들의 학습과 관련된 소통을 위한 소셜네트워크서비스의 내용도 크롤링하여 학습자들의 전반적인 학습상황을 파악하여 개별 맞춤교육을 통한 학업 성취도 향상 효과를 기대해보고자 한다.
참고문헌 (24)
J. K. Kim. (2019). Effect of Computational Thinking on Problem Solving Process in SW Education for non-CS Major Students. The Journal of Korea Multimedia Society, 22(4), 472-479. DOI:10.9717/kmms.2019.22.4.472
J. Y. Park. (2015). Direction and prospect of SW education in the 2015 revised curriculum. KEDI Journal of educational policy, 42(3), 85-89.
S. Y. Choi. (2017). Design and Application of an Instructional Model for Flipped learning of Programming Class. The Journal of Korean Association of Computer Education, 20(4), 27-36. DOI:10.32431/kace.2017.20.4.027
K. M. Kim & H. S. Kim. (2014). A Case Study on Necessity of Computer Programming for Interdisciplinary Education. Journal of Digital Convergence, 12(11), 339-348. DOI:10.14400/JDC.2014.12.11.339
E. S. Kang, S. I. Shim & K. J. Lee. (2019). Education Model Using PBL for IT Convergence Education of Non-Major in Liberal Arts Class: Focusing on Computing Thinking. Journal of Digital Contents Society , 20(11), 2159-2168. DOI:10.9728/dcs.2019.20.11.2159
M. J. Lee. (2017). Exploring the Effect of SW Programming Curriculum and Content Development Model for Non-majors College Students : focusing on Visual Representation of SW Solutions. Journal of Digital Convergence, 18(7), 1313-1321. DOI:10.14400/JDC.2017.18.7.1313
Y. S. Lee. (2018). Python-based Software Education Model for Non-Computer Majors. Journal of the Korea Convergence Society, 9(3), 73-78. DOI:10.15207/JKCS.2018.9.3.073
K. S. Lee. (2019). Case Analysis for Constructing a Homogeneous Learning Group in Programming Lessons for Non-Specialists. Journal of Digital Convergence, 17(12), 59-65. DOI:10.14400/JDC.2019.17.12.059
K. M. Kim & H. J. Kim. (2017). A Study on the Effect of Flipped Class by Analysis of Programming Achievement. The Journal of Korean Association of Computer Education, 20(4), 15-25. DOI:10.32431/kace.2017.20.4.015
E. S. Yi & H. S. Lim. (2020). A Study on the Influence of Flip Learning Classes on Academic Performance in Primary Course of Technical University. The Journal of Korean Association of Computer Education, 23(3), 59-64. DOI:10.32431/kace.2020.23.3.059
S. Y. Pi & S. J. Do. (2017). The Effectiveness of the Flipped Learning using the Smart Device. Journal of Digital Convergence, 15(4), 65-71. DOI:10.14400/JDC.2017.15.4.065
D. S. Han. (2016). University Education and Contents in The Fourth Industrial Revolution. Humanities Contents, 42(9), 9-24. DOI:10.18658/humancon.2016.42.9.009
S. H. Jin & M. N. Yoo. (2015). An Analytic Review of the studies on Learning Analytics based Dashboard in e-Learning Environments. Journal of Korean Association for Educational Information and Media, 21(2), 185-213. DOI:10.15833/KAFEIAM.2015.21.2.185
Y. J. Park & I. H. Jo. (2014). Need Analysis for Learning Analytics Dashboard in LMS: Applying Activity Theory as an Analytic and design Tool. Journal of Educational Technology, 30(2), 221-258. DOI:10.17232/KSET.2014.30.2.221
Long. P & Siemens. G. (2011). Penetrating the fog : Analytics in learning and education. EDUCAUSE Review, 46(5), 30-32.
A. L. Dyckhoff, D. Zielke, M. Bultmann, M. A. Chatti & U. Schroeder. (2012). Design and Implementation of a Learning Analytics Toolkit for Teachers. Journal of Educational Technology & Society, 15(3), 58-76.
M. A. Chatti, A. L. Dyckhoff, U. Schroeder & H. Thus. (2012). A Reference Model for Learning Analytics. International Journal of Technology Enhanced Learning, 4(5), 318-331. DOI:10.1504/IJTEL.2012.4.5.318
J. H. Shin, J. W. Choi & W. Koh. (2015). A study on the Use of Learning Analytics in Higher Education: Focusing on the perspective of professors. Journal of Educational Technology , 31(2), 223-252. DOI:10.17232/KSET.2015.31.2.223
K. Y. Lim, J. H. Eun, Y. J. Jung & H. N. Park. (2018). Exploratory study on the information design of online dashboard for learner-centered learning, The Journal of Korean Association of Computer Education, 21(3), 35-50. DOI:10.32431/kace.2018.21.3.035
S. W. Bae, H. D. Lee & D. S. Cho. (2018). Design and Implementation of a Web Crawler System for Collection of Structured and Unstructured Data. Journal of Korea Multimedia Society, 21(2), 199-209. DOI:10.9717/kmms.201821.2.199
H. J. kim, K. H. Kim & S. S. Shin. (2017). Crepe Search System Design using Web Crawling. Journal of Digital Convergence, 15(11), 261-269. DOI:10.14400/JDC.2017.15.11.261
D. Y. Kim & J. T. Kim. (2009). Efficient Design of Web Searching Robot Engine Using Distributed Processing Method with Javascript Function. The Journal of the Korea Institute of Maritime Information & Communication Sciences, 13(12), 2595-2602.
Y. G. Yu, K. B. Nam & K. R. Park. (2019). Implementation of web server monitoring system using crawling technology. Journal of the Korea Society of Computer and Information, 24(4), 123-128. DOI:10.9708/jksci.2019.24.04.123
C. H. Lee. (2008). Model Development and Application of Creative Engineering Design Education Program Based on ADDIE Model. The Korean Journal of Technology Education, 8(1), 131-146. DOI:10.34138/KJTE.2008.8.1.131
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.