[논문]Analysis of Descriptive Lectures Evaluation using Text Mining: Comparative analysis pre and post COVID-19

Lee, Sang-Chul

doi:10.9708/jksci.2022.27.10.211

Analysis of Descriptive Lectures Evaluation using Text Mining: Comparative analysis pre and post COVID-19 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.27 no.10, 2022년, pp.211 - 222

Lee, Sang-Chul (Dept. of G2 Big Data Management, Gangseo University)

초록
AI-Helper

본 연구는 코로나 이전과 코로나 이후의 강의평가를 비교 분석하여, 코로나 이후 시대에 대학수업에서 고려해야 되는 사항은 무엇인지를 도출하고자 하였다. 이를 위해 서울시 소재 A대학의 4개년도 자료를 이용하였고, 코로나 이전은 2018년~2019년까지, 코로나 이후는 2020년~2021년까지 자료를 이용하였다. 연구결과에 의하면, 교양의 경우에는 "과제"가 코로나 이전과 이후와 상관없이 빈도 및 연결중심성(DC)이 가장 가장 높은 단어로 나타났으나, 전공에서는 "이해"가 가장 중요한 단어로 나타났다. 에코 네트워크의 분석결과, "동영상" 및 "비대면수업"의 경우에는 어렵다고 느끼고 있으며, 교수와 학생간의 "상호작용"이 중요하다고 생각하고 있었다. 결론적으로 코로나 이후의 교양 수업에서는 과제에 대한 비중을 낮추고, 학생과의 상호작용을 높이는 것이 중요하며, 전공의 경우에는 비대면 수업보다는 대면수업으로 운영하고, 동영상도 어렵지 않게 내용을 구성하는 것이 필요하다는 것을 확인하였다.

Abstract ▼ AI-Helper

The purpose of this study is to indicate the direction of the future university classes in the post-COVID era, comparing and analyzing lecture evaluation of pre and post COVID-19. To this end, 4 yeard data were used from 2018 to 2019 for pre COVID-19 and form 2020 to 2021 data for post COVID-19. The results were as follows. In the case of liberal arts, "assignments" was the word with the highest frequency and degree centrality(DC) regardless of pre and post-COVID-19 In the major, "understanding" appeared as the most important word. The result of the ego network analysis indicated that "video lecture" and "non-face-to-face classes" were difficult and "interaction" between the professor and the students was important. As a results, it is important to reduce the weight of assignments and increase interaction with students in liberal arts classes. In the case of majors, it is necessary to operate face-to-face classes rather than non-face-to-face classes, and to organize the contents of videos without difficulty.

주제어

표/그림 (13)

그림 Fig. 1. Research procedure
표 Table 1. Response
표 Table 2. Subject
표 Table 3. Documents
표 Table 4. Words
표 Table 5. Examples of Data Cleaning
표 Table 6. The results of frequency analysis in liberal art
표 Table 7. The results of frequency analysis in major
그림 Fig. 2. Wordcloud
그림 Fig. 3. Semantic Network Analysis
표 Table 8. The results of centrality analysis in liberal art
표 Table 9. The results of centrality analysis in major
그림 Fig. 4. Ego Network

AI 본문요약
AI-Helper

문제 정의

이에 본 연구에서는 코로나 이후에 대학 수업의 방향에 대해서 연구하고자 하며, 이를 위해 코로나 이전과 코로나 이후의 강의평가를 분석하여 코로나 이후에 어떻게 변화하고 있는지를 분석하고자 한다. 서술형 강의평가를 통해 학생들의 요구사항은 무엇인지 분석하고, 분석결과를 토대로 코로나 이후 시대에 대학 수업에서 고려해야 되는 사항은 무엇인지를 도출하고 개선점을 찾고자 한다.
이에 본 연구에서는 코로나 이후에 대학 수업의 방향에 대해서 연구하고자 하며, 이를 위해 코로나 이전과 코로나 이후의 강의평가를 분석하여 코로나 이후에 어떻게 변화하고 있는지를 분석하고자 한다. 서술형 강의평가를 통해 학생들의 요구사항은 무엇인지 분석하고, 분석결과를 토대로 코로나 이후 시대에 대학 수업에서 고려해야 되는 사항은 무엇인지를 도출하고 개선점을 찾고자 한다.

제안 방법

1>과 같이 데이터 수집 → 데이터 정제 → 빈도분석 → 의미연결망(중심성 분석) → 의미연결망(에고 네트워크 분석)으로 진행하였다.
개인정보보호를 위해 모든 정보는 삭제하고 10여개의 항목 중에서 “수업에 대한 의견”을 자유롭게 기술하는 서술형 문항만 분석에 사용하였다.
먼저, 자료를 추출하기 위해서 형태소 분석을 실시하였고, 이를 통해 명사와 동사, 형용사를 추출하였다. 이후에 유의어, 번역어, 띄어쓰기 등 단어를 통일하였다.
3과 같다. 본 연구에서는 연결중심성, 근접중심성의 값을 표준화하기 위해서 최소-최대 정규화(Min-Max normalization)를 수행하였다.
본 연구의 목적인 코로나 이전과 이후의 강의평가 서술형문항 내용분석을 수행하기 위하여, 텍스트 마이닝과 의미연결망 분석을 실시하였다. 연구 절차는 <Fig.

대상 데이터

1단계는 강의평가 서술형 문항을 수집하였으며, 코로나 이전 자료는 2018년~2019년까지, 코로나 이후 자료는 2020년~2021년까지로 선별하였다. 2단계는 자료 전처리 과정으로, 유의어는 하나의 단어로 통합하고, 무의미 단어는 삭제하였다.
본 연구의 분석 자료는 총 5,894개를 대상으로 하고 있으며, 교양과 전공 강의 기준으로 분류하면 <Table 1>과 같다.
분석 자료는 서울시 소재 A대학의 2018년부터 2021년까지 4개년도의 자료를 이용하였다. 최근에 많은 대학들이 중간강의평가와 기말강의평가를 실시하고 있는데, 본 연구에서는 기말강의평가를 기준으로 자료를 수집하였다.
분석 자료는 서울시 소재 A대학의 2018년부터 2021년까지 4개년도의 자료를 이용하였다. 최근에 많은 대학들이 중간강의평가와 기말강의평가를 실시하고 있는데, 본 연구에서는 기말강의평가를 기준으로 자료를 수집하였다. A대학은 매학기말 기말고사 후에 강의평가를 실시하고 있으며, 성적열람을 위해서는 필수로 강의를 평가하도록 하고있다.
코로나 전과 후의 강의평가 서술형문항 내용분석을 수행하기 위하여 시기를 구분하여 자료를 수집하였다. 코로나 이전은 2018～2019년까지, 코로나 이후는 2020～2021년까지로 설정하였다.

데이터처리

의미연결망분석을 통해 교양과 전공별로 전체 네트워크 를 분석하였으며, 동시발생빈도 및 상관관계 분석을 통해 연결중심성(DC), 근접중심성(CC), 매개중심성(BC)을 추출하였다. 교양과 전공별로 코로나 이전과 이후에 대한 연결중심성, 근접중심성, 매개중심성 결과는 Table.

성능/효과

3과 같이 의미연결망 지도에서 연결중심성이 높은 단어인 “과제”가 연결망의 중앙에 위치하여 있음을 확인할 수 있었다
이를 통해 좋은 수업의 특성, 강의 만족 및 불만 요인을 찾아낼 수 있었고, 교양과 전공별, 전공계열별, 단과대학별로 차이가 있음을 알 수 있었다. 또한, 코로나 이전에 실시한 강의결과와 이후에 실시한 강의평가 분석을 살펴보면 2020년 이후 코로나시기를 거치면서 학생들의 수업에 대한 인식이 바뀌고 있다는 것을 알 수 있었다. 그러나 지금까지의 연구들은 자료 수집의 시기상 코로나 이전과 이후로 구분되었을 뿐이며, 코로나 이전과 이후에 대한 강의평가를 직접적으로 비교분석한 연구는 없는 실정이다.
먼저, 교양의 경우에는 “과제”가 코로나 이전과 이후와 상관없이 빈도 및 연결중심성이 가장 가장 높은 단어로 나타났으나, 전공에서는 “이해”가 가장 중요한 단어로 나타났다
상호작용과 연관된 “의사소통”을 핵심 단어로 선정한 에고 네크워크 분석결과, “출석”, “의견”, “질문”, “동영상”, “통하다”, “쉽다”, “수업시간”, “도움”, “못하다”, “말씀”으로 나타났다
지금까지의 연구들을 보면 빈도분석, 토픽모델링을 통한 주제 도출, 의미연결망을 이용한 중요단어 도출하고 단어 간의 의미를 도출하는 등 다양한 방법을 사용하였다. 이를 통해 좋은 수업의 특성, 강의 만족 및 불만 요인을 찾아낼 수 있었고, 교양과 전공별, 전공계열별, 단과대학별로 차이가 있음을 알 수 있었다. 또한, 코로나 이전에 실시한 강의결과와 이후에 실시한 강의평가 분석을 살펴보면 2020년 이후 코로나시기를 거치면서 학생들의 수업에 대한 인식이 바뀌고 있다는 것을 알 수 있었다.

후속연구

반면에 전공의 경우에는 심화된 전공을 다루고 있는데, 비대면수업과 동영상으로 진행되는 과정에서 더욱 어렵게 느끼고 있다는 것을 알 수 있었다. 따라서 코로나 이후에도 전공의 경우에는 비대면 수업보다는 대면수업으로 운영하는 것이 필요하며, 온라인 또는 블랜디드 수업으로 운영할 경우는 어렵지 않게 내용을 구성하고, 어려운 내용을 이해할수 있는 질문과 피드백이 원활하도록 수업을 준비하는 것이 필요할 것이다.
그러나 지금까지의 연구들은 자료 수집의 시기상 코로나 이전과 이후로 구분되었을 뿐이며, 코로나 이전과 이후에 대한 강의평가를 직접적으로 비교분석한 연구는 없는 실정이다. 따라서 한 개 대학을 표본으로 자료를 수집하여 코로나 이전과 이후에 대한 인식도의 변화를 비교분석하는 것이 필요하겠다.
반면에, 전공의 경우에는 “과제”, “피드백”, “온라인”, “동영상”, “비대면수업”, “대면수업”, “질문”, “아쉬움” 등이 있었다. 이러한 결과를 코로나 이후의 교양 수업에 적용한다면, 과제에 대한 비중을 낮추고, 학생과의 상호작용을 높이며, 새롭고 흥미를 유발하는 과목과 수업을 개발하는 것이 중요한 요소가 될 수 있을 것이다. 반면에 전공의 경우에는 심화된 전공을 다루고 있는데, 비대면수업과 동영상으로 진행되는 과정에서 더욱 어렵게 느끼고 있다는 것을 알 수 있었다.
그러나 코로나 상황이 종료된 이후에 다시 대면수업이 진행된다면 코로나 이전과 코로나 진행상황과는 다른 결과가 도출될 수 있을 것이다. 추후의 연구에서는 코로나가 종식이 되고 대면수업으로 전환이 된 이후의 상황을 비교분석한다면 코로나 상황에서 비대면수업이 어떠한 영향을 주었는지에 대해서 더 의미있는 결과를 도출해 낼 수 있을 것이다.
먼저, 하나의 대학의 사례로 연구가 진행이 되었기 때문에 모든 대학의 사례로 일반화하기는 어려울 수 있다. 하지만 본 연구에서 진행된 방법론을 따라서 서술형 강의평가를 진행한다면, 대학마다 가지고 있는 특징을 파악하여 각 대학에 맞는 결과를 도출할 수 있을 것이다.

참고문헌 (26)

S. C. Lee, S. Y. Kim and S. H. Park, "An early assessment on Korean universities' response to COVID-19: A case of KNU's untact class evaluation," Journal of Learner-Centered Curriculum and Instruction, Vol. 20, No. 20, pp.993-1019, 2020. DOI:10.22251/jlcci.2020.20.20.993

상세보기
S. A. Shin, O. B. Kim, J. I. Park, E. J. Kim and T. W. Chung, "Exploring the Direction of University Lectures in the Post-Corona Era : Focused on Analysis of Mid-semester Lecture Evaluation Data Mining and Semantic-network Analysis," Journal of Education & Culture, Vol. 26, No. 5, pp.195-228, 2020. DOI:10.24159/joec.2020.26.5.195
H. H. Lee, S. S. Lee, S. S. Lee and E. J. Kim, "Semantic Network Analysis of College Students' Descriptive Course Evaluation," Journal of Educational Innovation Research, Vol. 28, No. 2, pp.237-262, 2018. DOI: dx.doi.org/10.21024/pnuedi.28.2.201806.237

상세보기
J. H. Shin, "Analysis of Student Response Status and Characters of Descriptive Course Evaluation. Focus on a A University Case," Journal of Educational Studies, Vol. 40, No. 3. pp.61-81, 2019. DOI: 10.18612/cnujes.2019.40.3.61

상세보기
J. H. Shin, J. W. Choi, "Text mining Analysis of ollege Students' Descriptive Course Evaluation", Journal of Learner-Centered Curriculum and Instruction, Vol.19 No.16, pp.77-99, Aug. 2019. DOI: http://dx.doi.org/10.22251/jlcci.2019.19.16.77

상세보기
H. D. Lee, M. W. Nam, "Better Class's Characteristics by Major Field based on the Analysis of Text Mining from College Course Evaluation Subjective Results," orean journal of early childhood education, Vol.20, No.2, Jul. 2018. DOI: dx.doi.org/10.15409/riece. 2018.20.2.2

상세보기
M. H. Kwak, H. R. Min, M. R. Kim, "Analysis of tudents' Open-Ended Course Evaluation Using Topic Modeling", Asian Journal of Education , Vol.20, No.2, pp.491-522, Jun. 2019. DOI: dx.doi.org/10.15753/aje.2019.06.20.2.491

상세보기
E. Y. Kim, "A Study on Students' Perception of 'University Classes' through Autonomous Descriptive Lecture Evaluation," Journal of Learner-Centered Curriculum and Instruction, Vol. 27, No.2, pp.217-238, 2021. DOI: 10.24159/joec.2021.27.2.217
J. M. Kim, J, S. Cheong and H. B. Jeong, "University Narrative Lecture Evaluation Status and Network Analysis: A case Study of S University," Journal of Learner-Centered Curriculum and Instruction, Vol. 21, No. 15, pp.149-164, 2021. DOI: 10.22251/jlcci.2021.21.15.149

상세보기
G. J. Park, "Analysis of the Contents of Each Department for The Descriptive Lecture Evaluation Results," Journal of the Korea Academia-Industrial cooperation Society, Vol. 23, No. 1, pp.428-435, 2022. DOI: 10.5762/KAIS.2022.23.1.428

상세보기
J. G. Jee, "Using Text Analytics to Analyze Students' Open-Ended Evaluation of Teaching," The Society of Convergence Knowledge Transactions, Vol. 10, No. 1, pp.71-80, 2022. DOI: 10.22716/sckt.2022.10.1.008
S. I. Han, "Analysis of Students' Written Comments on University Teaching," The Journal of Educational Administration, Vol. 21, NO. 3, pp.359-378, 2003.
K. B. Cohen and L. Hunter, "Getting started in text mining," PLoS Computational Biology," Vol.4, No.1, e20, 2008. DOI:10.1371/journal.pcbi.0040020

상세보기
H. An and M. Park, "Approaching fashion design trend applications using text mining and semantic network analysis," Fashion and Texiles, Vol.7, No.34, 2020. DOI: 10.1186/s40691-020-00221-w

상세보기
P. Drieger, "Semantic network analysis as a method for visual text analytics," Procedia-Social and Behavioral Sciences, Vol.79, pp.4-17, 2013. DOI: 10.1016/j.sbspro.2013.05.053

상세보기
U. Brandes and T. Erlebach, Network analysis: Methodological foundations, Springer, 2005.
S. Wasserman and K. Faust, Social network analysis, Methods and applications(Vol.8), Cambridge University Press, 1994.
K. Y. Kwahk, Social Network Analysis, Chungram book, 2014.
https://www.r-project.org/
https://www.tidymodels.org
https://CRAN.R-project.org/packageKoNLP
K. C. Park and H. K. Kim, "Analysis of Seasonal Importance of Construction Hazards Using Text Mining," Journal of Civil and Environmental Engineering Research, Vol. 41, No. 3, pp.305-316, 2021, DOI: 10.12652/Ksce.2021.41.3.0305

원문보기 상세보기
Y. Y. Koo, D. H. Park, J. J. Kim, Y. H. Park and C. K. Ko, "Meta-analysis of course selection data of the university graduates revealed the problems of course structures," Korean Journal of General Education, Vol. 13, No. 2, PP.369~396, 2019.
H. J. Yoon and D. M. Bang, "Analysis of undergraduate students' educational needs for key competencies in curriculum of major subject and liberal arts," Journal of Learner-Centered Curriculum and Instruction, Vol. 15, No. 7, pp.77-99, 2015.
H. J. Lee, I. W. Park and G. Y. Yun, "A Study on College Student's Course Selecting Standards: Focusing on electives and major courses," The Korea Educational Review, Vol. 23, No. 4, pp.79-99, 2017. DOI: 10.29318/KER.23.4.4

상세보기
M. G. Choi, "Student's perception of 'Good instruction' of major and liberal arts subjects," Korean Journal of General Education, Vol. 10, No. 3, PP.325~348. 2016.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증