초록 ▼

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

본 연구는 제2외국어로서 한국어를 배우는 학습자의 글을 평가할 때, 한국어교육 평가자의 쓰기 채점 점수가 평가자의 특성에 따라 어떠한 영향을 받는지를 교차분류 다층모형으로 밝히는 것이 목적이다. 이 목적을 위한 평가자 특성은 평가자의 채점 엄정성, 원어민과 비원어민 여부, 그리고 한국어 교수 경력이다. 평가자 24명은 한국어교육을 전공하고, 한국어교육 교수 경험이 있는 원어민인 한국인 한국어교육 교수자 12명과 비원어민인 외국인 한국어교육 교수자 12명으로 구성하였다. 평가자는 한국어 교수 경력에 따라 5년 미만의 교수자 12명과 5년 이상의 교수자 12명으로 구성하였다. 구성된 평가자가 다섯 명의 중급 학습자가 쓴 작문 다섯 편을 종합적 채점과 분석적 채점으로 평가한 자료를 바탕으로, 교차분류 다층모형을 적용하여 원어민인 한국인 평가자와 비원어민인 외국인 평가자 간 채점 점수 차이가 있는지를 분석해 보고, 평가 방법에 따른 채점의 평균 차이가 있는지를 알아보며, 원어민인 한국인 평가자와 비원어민인 외국인 평가자의 국적과 한국어 교수 경력이 평가에 미치는 영향을 분석하였다. 본 연구에서 분석한 연구 결과를 정리하면 다음과 같다.
첫째, 평가자의 특성을 구체적으로 살펴보기 위하여 교차분류 다층모형을 적용하였다. 교차분류 다층모형의 기초모형인 무조건 모형에서 나온 통계값으로 집단 내 상관(...

본 연구는 제2외국어로서 한국어를 배우는 학습자의 글을 평가할 때, 한국어교육 평가자의 쓰기 채점 점수가 평가자의 특성에 따라 어떠한 영향을 받는지를 교차분류 다층모형으로 밝히는 것이 목적이다. 이 목적을 위한 평가자 특성은 평가자의 채점 엄정성, 원어민과 비원어민 여부, 그리고 한국어 교수 경력이다. 평가자 24명은 한국어교육을 전공하고, 한국어교육 교수 경험이 있는 원어민인 한국인 한국어교육 교수자 12명과 비원어민인 외국인 한국어교육 교수자 12명으로 구성하였다. 평가자는 한국어 교수 경력에 따라 5년 미만의 교수자 12명과 5년 이상의 교수자 12명으로 구성하였다. 구성된 평가자가 다섯 명의 중급 학습자가 쓴 작문 다섯 편을 종합적 채점과 분석적 채점으로 평가한 자료를 바탕으로, 교차분류 다층모형을 적용하여 원어민인 한국인 평가자와 비원어민인 외국인 평가자 간 채점 점수 차이가 있는지를 분석해 보고, 평가 방법에 따른 채점의 평균 차이가 있는지를 알아보며, 원어민인 한국인 평가자와 비원어민인 외국인 평가자의 국적과 한국어 교수 경력이 평가에 미치는 영향을 분석하였다. 본 연구에서 분석한 연구 결과를 정리하면 다음과 같다.
첫째, 평가자의 특성을 구체적으로 살펴보기 위하여 교차분류 다층모형을 적용하였다. 교차분류 다층모형의 기초모형인 무조건 모형에서 나온 통계값으로 집단 내 상관(ICC)을 구하여 평가자의 채점 엄정성이 34.1%로 매우 크다는 것을 알 수 있었다.
둘째, 종합적 채점과 분석적 채점에 의한 채점 평균은 종합적 채점이 71.716 이고, 분석적 채점은 60.924 이다. 두 평가 방법의 전체적인 평균 차이는 10.792 로서, 종합적 채점 점수가 10.792 만큼 분석적 채점 점수보다 더 높게 평가되었다.
셋째, 평가자의 국적이 평가에 미치는 영향을 밝히는 연구에서는 종합적 채점에서 원어민인 한국인 평가자는 71.085 이고, 비원어민인 외국인 평가자는 72.348 이다. 분석적 채점에서 원어민인 한국인 평가자는 60.925 이고, 비원어민인 외국인 평가자는 62.188 이다. 두 평가 집단에서 종합적 채점과 분석적 채점 방법의 평균 차이는 1.263 이다. 이것은 거의 차이가 없는 것으로, 평가자의 국적은 채점에 큰 영향을 미치지 않는다는 것을 알 수 있다.
넷째, 평가자의 한국어 교수 경력과 평가와의 영향을 밝히는 분석 결과, 종합적 채점에서 한국어 교수 경력이 5년 미만의 평가자는 71.684 이고, 5년 이상의 평가자는 71.749 이다. 분석적 채점에서 5년 미만의 평가자는 60.932 이고, 5년 이상인 평가자는 60.997 이다. 두 평가 집단의 두 채점 방법에 따른 평가 차이는 0.065 으로 거의 차이가 없다. 즉, 한국어 교수 경력은 평가에 전혀 영향을 주지 않는다.
전체적으로 종합해 보면, 평가자의 채점 엄정성은 집단 내 상관(ICC)이 34.1%로 평가자의 영향은 매우 큰 것으로 나타났으며, 종합적 채점은 분석적 채점보다 약 평균 ‘+10’점 정도 더 높게 평가되었다. 평가자의 국적과 한국어 교수 경력에 관한 연구에서 약 평균 ‘±1’점 차이로써 평가에 거의 영향을 주지 않는다. 원어민인 한국인 평가자의 종합적 채점과 분석적 채점의 차이는 11.944 이고, 비원어민인 외국인 평가자의 두 채점의 차이는 9.639 이다. 이는 원어민인 한국인 평가자가 비원어민인 외국인 평가자보다 분석적 채점을 더 엄격하게 평가했다는 것을 의미한다.
본 연구의 의의는 첫째, 한국어 쓰기 평가를 교차분류 다층모형으로 시도하여 전통적인 통계 방법의 문제점들을 해결하는데 더 다가설 수 있었다. 둘째, 기존 한국어 쓰기 평가 연구에서 다루지 못한 평가자의 채점 엄정성 차이의 영향을 집단 내 상관(ICC)로 밝힐 수 있었다. 셋째, 한국어 쓰기 평가에서 연구되지 않았던 비원어민 평가자에 대한 효과를 검증해서 두 평가 집단 간 차이가 없음을 알 수 있었으며, 넷째, 평가자의 교수 경력이 채점에 미치는 영향이 거의 없다는 것 또한 밝힐 수 있었다.

Abstract ▼ AI-Helper

The purpose of this study is to investigate how the scores of Korean language raters are influenced by the rater’s characteristics when evaluating the writing of learners who are learning Korean as a second foreign language. Rater characteristics for this purpose are rater's scoring strictness, nati...

The purpose of this study is to investigate how the scores of Korean language raters are influenced by the rater’s characteristics when evaluating the writing of learners who are learning Korean as a second foreign language. Rater characteristics for this purpose are rater's scoring strictness, native speakers(Korean) and non - native speakers(non-Korean), and Korean language teaching experience. The 24 raters have majored Korean language education, also, they were 12 Korean language teachers who were native speakers of Korean language teaching and 12 Korean language teachers who were non-native speakers of Korean language teaching. The raters consisted of 12 instructors with less than 5 years and 12 instructors with more than 5 years depending on their teaching experience in Korean. Based on the test of five written essays written by five intermediate learners as holistic scoring and analytic scoring, The Cross-Classified Multilevel Model was applied to analyze whether there is a difference in the scoring scoring between native Korean raters and non-native foreigner raters. And I found out whether there is an mean difference in scoring based on assessment methods. Also, An analysis of the nationality of the Korean raters and foreign raters' nationality and Korean teaching experience were analyzed on the basis of the Korean citizenship. The results of this study are summarized as follows.
First, the Cross-Classified Multilevel Model was applied to examine the characteristics of the rater. Intraclass Correlation Coefficient(ICC) was obtained from statistical values derived from the unconditional model, which is the basic model of the Cross-Classified Multilevel Model. It was understood that the rater's grading standards were very large with 34.1 %.
Second, in the holistic scoring and analytical scoring, averages of the holistic scoring are 71.716 and analytical scoring are 60.924. As the overall mean difference between the two assessment methods is 10.792, holistic scoring score was 10.792 higher than the analytical scoring score.
Third, in the study which explains the influence of the rater 's nationality on the testing, the raters of the Korean who are the native speakers in the holistic scoring are 71.085, and the raters of the foreigners who are the non-native speakers are 72.348. The Korean raters, who are native to the analytic scoring score, are 60.925 and the foreigner raters, who are non-native are 62.188. The mean difference between the holistic scoring and analytical scoring methods in two assessment groups is 1.263. This shows that there is little difference, and that the nationality of the rater does not have a significant impact on scoring.
Fourth, if you look at the results of the survey, which reveals the impact of the raters' teaching experience and evaluations, the holistic scoring of raters with less than 5 years of Korean teaching experience is 71.684, and the holistic score of raters with more than 5 years of Korean teaching experience is 71.749. The analytical scoring of raters with less than 5 years of Korean teaching experience is 60.932, and the analytical score of raters with more than 5 years of Korean teaching experience is 60.997. Difference between the two scoring methods for two groups is almost imperceptible. In other words, the rater's career experience in Korean language does not affect the evaluation.
Overall, collectively, the rater's grading strictness was 34.1% in the ICC, so the rater' s influence was very large. The holistic scoring was evaluated to be about +10'higher than analytical scoring. In the study on the nationality of the rater and the history of teaching Korean, the difference is about ± 1 score, which has little effect on the evaluation. The difference between the holistic and analytical scoring of native Korean raters is 11.944. Also, the difference between the two grades of non-native foreigner raters is 9.639. This means that the native Korean raters rated the analytical scoring more strictly than the non-native foreigner raters.
The significance of this study is as follows. First, I tried to solve the problems of traditional statistical methods by attempting Korean writing test as Cross-Classified Multilevel Model. Second, the Cross-Classification Multilevel Model was applied to reveal the effect of differences in the scoring rigor of the raters who were not covered in the existing Korean writing test study. Third, I was able to verify the effect on non-native speaker raters which were not studied in Korean writing test. Fourth, the degree of influence of rater's teaching history on grading was revealed.

주제어