대학 교육현장에서 강의와 관련한 수많은 비정형화된 데이터가 생산되고 있는데 그중 관심 있게 볼 부분은 학생들의 서술형 강의평가이며, 본 논문에서는 대학에서 시행하는 서술형 강의평가를 활용하여 분석하였다. 분석방법으로 먼저 학기가 끝난 후 수행된 강의평가에서 동일학과 유사과목을 강의했던 교수자 2인을 선택하고 학생들이 평가한 서술형 강의평가 내용에서 기존 문헌연구를 통해 얻은 학습자 상호작용과 관련한 키워드를 추출하고 이를 코사인유사도 분석을 이용해 상호작용 점수를 도출한 후 기존의 5점척도 강의평가 점수와 비교하였다. 분석을 위해 텍스트 마이닝 기법을 활용하였으며 분석결과 수업에서 필요한 학습자 상호작용은 주로 흥미, 기회, 열정, 재미, 참여, 유익, 친절 등으로 나타났다. 기존의 5점 척도 강의평가 점수와 새롭게 도출한 서술형 강의평가 점수를 비교했을 때 유사한 것으로 나타났으며 특히, 상호작용이 높을수록 더 높은 점수가 나타났다. 본 연구에서는 상호작용점수라는 새로운 지표를 만들었고 이에 대한 가능성을 확인하였다. 향후 학과단위 또는 학교단위의 데이터분석을 통해 정성적, 정량적 강의평가 지표를 개발함으로써 기존의 평가방식을 개선할 필요가 있다.
대학 교육현장에서 강의와 관련한 수많은 비정형화된 데이터가 생산되고 있는데 그중 관심 있게 볼 부분은 학생들의 서술형 강의평가이며, 본 논문에서는 대학에서 시행하는 서술형 강의평가를 활용하여 분석하였다. 분석방법으로 먼저 학기가 끝난 후 수행된 강의평가에서 동일학과 유사과목을 강의했던 교수자 2인을 선택하고 학생들이 평가한 서술형 강의평가 내용에서 기존 문헌연구를 통해 얻은 학습자 상호작용과 관련한 키워드를 추출하고 이를 코사인유사도 분석을 이용해 상호작용 점수를 도출한 후 기존의 5점척도 강의평가 점수와 비교하였다. 분석을 위해 텍스트 마이닝 기법을 활용하였으며 분석결과 수업에서 필요한 학습자 상호작용은 주로 흥미, 기회, 열정, 재미, 참여, 유익, 친절 등으로 나타났다. 기존의 5점 척도 강의평가 점수와 새롭게 도출한 서술형 강의평가 점수를 비교했을 때 유사한 것으로 나타났으며 특히, 상호작용이 높을수록 더 높은 점수가 나타났다. 본 연구에서는 상호작용점수라는 새로운 지표를 만들었고 이에 대한 가능성을 확인하였다. 향후 학과단위 또는 학교단위의 데이터분석을 통해 정성적, 정량적 강의평가 지표를 개발함으로써 기존의 평가방식을 개선할 필요가 있다.
A number of non-structured data associated with lectures in the field of university education have been generated and it is an important consideration of the students's written comments lecture evaluation. The purpose of this study is to find student interaction factors associated with the student e...
A number of non-structured data associated with lectures in the field of university education have been generated and it is an important consideration of the students's written comments lecture evaluation. The purpose of this study is to find student interaction factors associated with the student evaluation of teaching at universities, and to provide some insights into improving the student evaluation program based on the results. So, this study consists of three steps that create interaction score, collect student's written comments satisfaction, and analyze an individual professor score. There are a number of limitations to this study. The limitation is that the study was conducted on a narrow sample of the overall student population.
A number of non-structured data associated with lectures in the field of university education have been generated and it is an important consideration of the students's written comments lecture evaluation. The purpose of this study is to find student interaction factors associated with the student evaluation of teaching at universities, and to provide some insights into improving the student evaluation program based on the results. So, this study consists of three steps that create interaction score, collect student's written comments satisfaction, and analyze an individual professor score. There are a number of limitations to this study. The limitation is that the study was conducted on a narrow sample of the overall student population.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
특히, 비정형화된 데이터를 이용해 그 속에 숨겨진 의미를 찾는 기술들이 있는데 텍스트 문서로부터 이용자가 제시한 의견과 감정을 나타내는 패턴을 이용해 특정 대상에 대한 의견이 긍정인지 또는 중립, 부정인지를 찾아내는 텍스트 마이닝(Text Mining), 오피니언 마이닝(Opinion Mining), 소셜 네트워크 분석(Social Network Analytics) 등이 이에 속한다. 본 연구에서는 교수자나 학생 모두에게 객관성 결여라는 이유로 문제점이 끊이지 않는 정량적 강의평가 방식을 보완하기 위해 학생들이 작성한 서술적 평가를 이용하여 상호작용점수를 도출하고 이를 활용하는 방안에 대한 프로토타입을 제시하고자 한다.
관련연구로 최근 다양한 스마트 기기의 발전에 따른 상호작용과 강의만족도, 학업성취도, 수업분위기는 상관관계가 높은 것으로 나타났다[11]. 이에 본 연구에서는 학생들의 서술적 평가를 이용해 교수자의 상호작용 점수를 계량화하는 방안을 제시하고자 한다.
최근 대학 교육의 변화로 공급자 중심에서 수요자 중심으로 패러다임이 변하고 있으며, 교수나 교사 중심에서 학생중심 및 과정 중심으로 변화되는 시점에서[18], 본 연구는 대학 강의평가에 대한 문제점을 지적하고 이를 보완하기 위한 방안을 제시하였다. 즉, 학생들이 입력한 텍스트 형식의 데이터를 이용해 상호작용 점수 또는 상호작용 평가점수를 개발하여 기존의 정량평가를 보완하고자 하였는데, 이를 위해 빅데이터 분석의 텍스트 마이닝 기법을 활용하여 숫자로 표현된 점수 속에 드러나지 않은 학생들의 목소리를 좀 더 객관적으로 듣고자 했다. 이를 위해 학생들이 서술형으로 입력한 강의평가 내용을 상호작용 키워드를 이용한 점수를 도출하고 기존의 5점 척도 강의평가 점수와 비교하여 그 타당성과 의미를 도출하였다.
최근 대학 교육의 변화로 공급자 중심에서 수요자 중심으로 패러다임이 변하고 있으며, 교수나 교사 중심에서 학생중심 및 과정 중심으로 변화되는 시점에서[18], 본 연구는 대학 강의평가에 대한 문제점을 지적하고 이를 보완하기 위한 방안을 제시하였다. 즉, 학생들이 입력한 텍스트 형식의 데이터를 이용해 상호작용 점수 또는 상호작용 평가점수를 개발하여 기존의 정량평가를 보완하고자 하였는데, 이를 위해 빅데이터 분석의 텍스트 마이닝 기법을 활용하여 숫자로 표현된 점수 속에 드러나지 않은 학생들의 목소리를 좀 더 객관적으로 듣고자 했다.
제안 방법
즉, 학생들이 입력한 텍스트 형식의 데이터를 이용해 상호작용 점수 또는 상호작용 평가점수를 개발하여 기존의 정량평가를 보완하고자 하였는데, 이를 위해 빅데이터 분석의 텍스트 마이닝 기법을 활용하여 숫자로 표현된 점수 속에 드러나지 않은 학생들의 목소리를 좀 더 객관적으로 듣고자 했다. 이를 위해 학생들이 서술형으로 입력한 강의평가 내용을 상호작용 키워드를 이용한 점수를 도출하고 기존의 5점 척도 강의평가 점수와 비교하여 그 타당성과 의미를 도출하였다. 결과적으로 학생들이 수업에서 교수자에게 원하는 의미를 파악할 수 있었는데 흥미, 기회, 열정, 재미, 참여, 유익, 친절 등이 중요한 요소로 나타났으며 교수자는 학생들과의 수업에서 이런 부분에 대한 상호작용이 필요한 것으로 볼 수 있다.
3]은 학생들의 서술형 데이터를 이용한 교수별 상호작용 점수를 도출하는 과정으로써 2인 교수자에 대한 학생들의 서술형 평가에서 상호작용과 관련한 키워드 횟수를 추출하고 이를 상호작용 기준점수로 도출하였다(interaction_score). 이후, 교수별 상호작용 키워드에 해당하는 단어의 빈도수를 계산하여 이를 벡터 값으로 저장(professor_1, professor_2)하고 이를 통해 각 교수자 점수(pro_1, pro_2)를 산출하였다. 코사인 유사도 산술에 의해 1에 가까울수록 정성적 상호작용 점수가 높다고 볼 수 있다.
정성적 평가점수 또는 상호작용 점수를 도출하기 위해 [Table 1]에서 볼 수 있듯이 경기도지역 K대학 e-비즈니스경영과과 2학년 학생들의 서술적 강의평가를 모두 취합하고 유사단어 분석 및 R의 텍스트 분석을 반복적으로 처리하여 상호작용 키워드 9개를 추출하였고, 기존의 상호작용 연구들과 비교하여 [Fig. 1]과 같이 도출하였다.
이론/모형
빅 데이터 분석 기술을 통해 분석된 데이터의 의미와 가치를 시각적으로 표현하기 위한 기술로 대표적인 것으로는 R (프로그래밍 언어)이 있으며 본 연구에서 분석 도구로 활용하였다.
정성적 평가점수 또는 상호작용 점수를 계량화하기 위해 코사인 유사도(cosine similarity) 산술식을 활용하였다. 코사인 유사도는 어떤 개수의 차원에도 적용이 가능하여 흔히 다차원의 양수 공간에서의 유사도 측정에 자주 이용된다.
성능/효과
이를 위해 학생들이 서술형으로 입력한 강의평가 내용을 상호작용 키워드를 이용한 점수를 도출하고 기존의 5점 척도 강의평가 점수와 비교하여 그 타당성과 의미를 도출하였다. 결과적으로 학생들이 수업에서 교수자에게 원하는 의미를 파악할 수 있었는데 흥미, 기회, 열정, 재미, 참여, 유익, 친절 등이 중요한 요소로 나타났으며 교수자는 학생들과의 수업에서 이런 부분에 대한 상호작용이 필요한 것으로 볼 수 있다.
후속연구
본 연구는 프로토타입 연구이기 때문에 향후 좀 더 세밀한 기준과 다양한 측면을 고려할 필요가 있다. 즉, 학과·학부 또는 학교단위의 상호작용 라이브러리 데이터베이스를 구축하고 이를 적용함으로써 세밀하고 정확한 결과를 도출해낼 수 있으며 특히, 대학에서는 한 가지 기준으로 활용하기 보다는 5점 척도로 이루어진 정량 평가와 병행해서 활용한다면 기존의 강의평가에서 지속적으로 제기되고 있는 여러 문제점에 대한 객관성을 높일 수 있을 것으로 여겨진다.
정성적 상호작용 점수로 비교해 보면 기존 강의평가 점수가 높은 교수가 더 점수가 높게 나타나는 것을 확인할 수 있으며 이는 정량적 평가에서 보여주지 못하는 의미가 있을 것으로 사료되며 향후 이에 대한 추가 연구가 필요하다. 즉, 숫자로 나열된 척도 가운데 하나를 선택해서 얻어진 결과보다 좀 더 복잡한 인간의 감성이 포함된 것으로 볼 수 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
최근 강의평가는 무엇으로 사용되는가?
최근 강의평가에 대한 중요성이 높아지는 가운데 일부 대학에서는 강의평가점수를 기준으로 교수자를 평가하는 비중이 크게 높아졌고 특히 외래교수에 대해서는 다음 학기 수업진행에 대한 주요 기준으로 사용하고 있다. 강의평가는 강의의 질을 높이기 위해 모든 대학에서 수행하고 있는데 이는 대학 강의가 연구와 더불어 대학이 사회에 내놓는 가장 기본적이고 핵심적인 생산물이고, 따라서 강의의 질은 대학의 질을 결정하는 핵심 요소이기 때문이다[1].
강의평가는 무엇인가?
최근 강의평가에 대한 중요성이 높아지는 가운데 일부 대학에서는 강의평가점수를 기준으로 교수자를 평가하는 비중이 크게 높아졌고 특히 외래교수에 대해서는 다음 학기 수업진행에 대한 주요 기준으로 사용하고 있다. 강의평가는 강의의 질을 높이기 위해 모든 대학에서 수행하고 있는데 이는 대학 강의가 연구와 더불어 대학이 사회에 내놓는 가장 기본적이고 핵심적인 생산물이고, 따라서 강의의 질은 대학의 질을 결정하는 핵심 요소이기 때문이다[1]. 이런 점에서 일종의 품질관리 체계에 해당하는 강의평가는 아주 중요한 의미를 갖는다.
빅데이터(Big Data) 기술에 속하는 방법은 어떤 것들이 있는가?
한편, 최근 빅데이터(Big Data) 기술의 발전에 따라 다양한 분석방법이 개발되고 있다. 특히, 비정형화된 데이터를 이용해 그 속에 숨겨진 의미를 찾는 기술들이 있는데 텍스트 문서로부터 이용자가 제시한 의견과 감정을 나타내는 패턴을 이용해 특정 대상에 대한 의견이 긍정인지 또는 중립, 부정인지를 찾아내는 텍스트 마이닝(Text Mining), 오피니언 마이닝(Opinion Mining), 소셜 네트워크 분석(Social Network Analytics) 등이 이에 속한다. 본 연구에서는 교수자나 학생 모두에게 객관성 결여라는 이유로 문제점이 끊이지 않는 정량적 강의평가 방식을 보완하기 위해 학생들이 작성한 서술적 평가를 이용하여 상호작용점수를 도출하고 이를 활용하는 방안에 대한 프로토타입을 제시하고자 한다.
참고문헌 (18)
Lim, Woo-sup(et al), "Analysis of the Professor's Core Lecture Competency", The Journal of Educational Administration, Vol. 25, No. 4, 2007.
O-Young Kwon(et al), "A Study on the Reliability improvement for the Course Evaluation System", Journal of Engineering Education Research, Vol. 17, No. 2, 2014.
Astin, A, "What Metter in College?: Four Critical Years Revisited", San Francisco: Jossey-Bass Publishers, 1993.
Kyungsoo Han(et al), "Problems in Mandatory Course Evaluations", Journal of the Korean Statistical Society, Vol. 18, No. 1, pp. 35-45, 2011.
"Meaning of lecture evaluation and lecture diagnosis during semester", http://www.inhanews.com/news/articleView.html?idxno5513, (Nov 15, 2013)
Anderson, T. and Elloumi, F., "Theory and Practice of Online Learning", pp. 3-31, Athabasca University, 2008.
Sung-Ho Lee, "Exploration of teaching methods. SEOUL: YSWPUB Press", 2000.
Seong-Eun Heo, "Convergence Study on Major Satisfaction and Academic Achievement Depending on the Characteristics of Community Service Experience in University students", Journal of the Korea Convergence Society, Vol. 7, No. 4, 2016.
Bloom, B. S., "All our Childern Learning. NY: McGraw-Hill", 1981.
Chou, C., "Interactivity and interactive functions in web-based learning systems: a technical framework for designers", British Journal of Educational Technology, Vol. 34, No. 3, pp. 265-279, 2003.
Jung-Woong Choi, "The effect and implication of using SNS on student interaction and learning outcomes", Ph.D. dissertation, pp.86-87, Hankuk University of Foreign Studies. 2014.
McKinsey, "Big data: The next frontier for innovation, competition, and productivity", McKinsey & Company, 2011.
Yoon-Su Jeong, "Business Process Model for Efficient SMB using Big Data", Journal of IT Convergence Society for SMB, Vol. 5, No. 4, 2015.
Gantz, J. and Reinsel, D., "Extracting Value from Chaos", http://www.emc.com/collateral/analyst-reports/idc-extracting-value-from-chaos-ar.pdf, 2011.
Sung-Woo Jo, "Big Data era of technology. KT ICT Press", 2011.
Singhal, Amit, "Modern Information Retrieval: A Brief Overview", Bulletin of the IEEE Computer Society Technical Committee on Data Engineering Vol. 24, No. 4, pp. 35-43, 2001.
Tan PN, Steinbach M, Kumar, "Introduction to Data Mining, Addison-Wesley", p.500-501, 2005.
Kyoo-Sung Noh(et al), "An Exploratory Study on Concept and Realization Conditions of Smart Learning", Journal of Digital Convergence, Vol. 9, No. 2, 2011.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.