이 연구는 외국어로서의 한국어 말하기 평가에서 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식의 측정학적 특성을 비교하여 컴퓨터 기반 평가 방식이 한국어 말하기 능력을 측정하는 데 적절한 시행 방식인지를 검증하는 것을 목적으로 하고 있다. 이를 위해 한국어 말하기 면대면 인터뷰 평가와 컴퓨터 기반 평가의 결과 자료를 분석하여 검사 수준과 문항 수준의 측정학적 특성, 피험자 수행과 채점자 수행 측면에서 두 검사 시행 방식을 비교하였다. 연구 결과, 검사 수준의 측정학적 특성 비교의 경우 첫째, 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식으로부터 산출된 검사 점수의 상관과 교정 상관이 상당 수준의 정적 상관을 보였다. 또한 다중특성-다중방법 행렬의 ...
이 연구는 외국어로서의 한국어 말하기 평가에서 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식의 측정학적 특성을 비교하여 컴퓨터 기반 평가 방식이 한국어 말하기 능력을 측정하는 데 적절한 시행 방식인지를 검증하는 것을 목적으로 하고 있다. 이를 위해 한국어 말하기 면대면 인터뷰 평가와 컴퓨터 기반 평가의 결과 자료를 분석하여 검사 수준과 문항 수준의 측정학적 특성, 피험자 수행과 채점자 수행 측면에서 두 검사 시행 방식을 비교하였다. 연구 결과, 검사 수준의 측정학적 특성 비교의 경우 첫째, 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식으로부터 산출된 검사 점수의 상관과 교정 상관이 상당 수준의 정적 상관을 보였다. 또한 다중특성-다중방법 행렬의 수렴 타당도 계수를 통해 컴퓨터 기반 평가 방식의 수렴 타당도 근거를 확인할 수 있었다. 둘째, 구조방정식 모형 다집단 분석을 통해 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식 사이에 요인 구조의 형태 동일성, 측정 동일성, 절편 동일성, 요인 분산 동일성이 확보됨을 확인하였다. 셋째, 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식의 Cronbach α와 일반화가능도계수를 산출하여 비교한 결과 두 검사 시행 방식의 검사 신뢰도는 비슷한 수준을 유지하였고 모두 .8 이상으로 나타났다. 문항 수준의 측정학적 특성 비교의 경우 첫째, 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식에서 산출된 각 문항별 난이도와 변별도는 매우 유사한 양상을 보였다. 또한 두 검사 시행 방식의 문항 난이도 평균은 동일하였으며, 문항 변별도의 평균의 차는 0.01로 매우 근소한 차이를 보였다. 둘째, 다국면라쉬모형에 근거한 문항 난이도의 평균에는 두 검사 시행 방식 사이에 통계적으로 유의미한 차이가 없었다. 그러나 시행 방식 간 문항별 차이 검증에서 4번과 8번 문항의 난이도에 통계적으로 유의한 차이가 발견되었다. 검사 시행 방식이 문항의 난이도에 영향을 준 것인지를 확인하기 위해 검사 시행 방식과 문항의 상호작용이 전체 검사 점수에 미치는 영향력을 살펴보았다. 그 결과 검사 시행 방식과 문항 사이의 상호작용 효과가 전체 검사 점수 분산에서는 차지하는 비중이 0%로 나타나 검사 시행 방식과 문항 사이에 상호작용 효과가 존재하지 않는 것으로 나타났다. 이를 통해 4번과 8번 문항의 난이도 차이는 검사 시행 방식에서 기인한 결과가 아니라는 결론에 도달할 수 있었다. 피험자 수행 비교의 경우 첫째, 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식에서 산출된 검사 총점의 평균은 두 검사 시행 방식 간 통계적으로 유의미한 차이를 보이지 않았다. 둘째, 다국면라쉬모형에 의해 추정된 피험자 능력 모수의 평균도 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식 간에 통계적으로 의미 있는 차이가 발견되지 않았다. 셋째, 일반화가능도이론을 적용하여 검사 시행 방식이 전체 검사 점수에 미치는 영향력을 확인한 결과 전체 결과 점수에 대한 검사 시행 방식의 분산 비율이 0%로 나타나 검사 시행 방식에 따른 검사 점수의 차이는 거의 없으며 검사 시행 방식이 검사 결과에 미치는 영향력이 매우 미미함을 알 수 있었다. 채점자 수행 비교의 경우 첫째, 다국면라쉬모형에 근거해 추정된 채점자 엄격성 모수의 평균은 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식 사이에 통계적으로 유의미한 차이가 존재하지 않았다. 둘째, 채점자 간 신뢰도는 면대면 인터뷰 평가 방식보다 컴퓨터 기반 평가 방식에서 더 높게 나타났다. 셋째, 전체 검사 점수의 분산에서 검사 시행 방식과 채점자 사이의 상호작용 분산이 차지하는 비율이 0.18%로 나타나 검사 시행 방식과 채점자 사이의 상호작용 효과가 미미함이 드러났다. 결론적으로 한국어 말하기 평가에서 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식 간 검사 수준과 문항 수준의 측정학적 특성과 피험자 수행과 채점자 수행의 차이는 통계적으로 유의하지 않거나 매우 미미한 것으로 드러났다. 이를 통해 한국어 말하기 평가에서 컴퓨터 기반 평가 방식은 면대면 인터뷰 평가 방식과 매우 유사하게 기능하는 것으로 볼 수 있다. 따라서 컴퓨터 기반 평가 방식은 한국어 말하기 능력을 측정하는 데 적절한 시행 방식으로 간주될 수 있다.
이 연구는 외국어로서의 한국어 말하기 평가에서 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식의 측정학적 특성을 비교하여 컴퓨터 기반 평가 방식이 한국어 말하기 능력을 측정하는 데 적절한 시행 방식인지를 검증하는 것을 목적으로 하고 있다. 이를 위해 한국어 말하기 면대면 인터뷰 평가와 컴퓨터 기반 평가의 결과 자료를 분석하여 검사 수준과 문항 수준의 측정학적 특성, 피험자 수행과 채점자 수행 측면에서 두 검사 시행 방식을 비교하였다. 연구 결과, 검사 수준의 측정학적 특성 비교의 경우 첫째, 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식으로부터 산출된 검사 점수의 상관과 교정 상관이 상당 수준의 정적 상관을 보였다. 또한 다중특성-다중방법 행렬의 수렴 타당도 계수를 통해 컴퓨터 기반 평가 방식의 수렴 타당도 근거를 확인할 수 있었다. 둘째, 구조방정식 모형 다집단 분석을 통해 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식 사이에 요인 구조의 형태 동일성, 측정 동일성, 절편 동일성, 요인 분산 동일성이 확보됨을 확인하였다. 셋째, 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식의 Cronbach α와 일반화가능도계수를 산출하여 비교한 결과 두 검사 시행 방식의 검사 신뢰도는 비슷한 수준을 유지하였고 모두 .8 이상으로 나타났다. 문항 수준의 측정학적 특성 비교의 경우 첫째, 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식에서 산출된 각 문항별 난이도와 변별도는 매우 유사한 양상을 보였다. 또한 두 검사 시행 방식의 문항 난이도 평균은 동일하였으며, 문항 변별도의 평균의 차는 0.01로 매우 근소한 차이를 보였다. 둘째, 다국면라쉬모형에 근거한 문항 난이도의 평균에는 두 검사 시행 방식 사이에 통계적으로 유의미한 차이가 없었다. 그러나 시행 방식 간 문항별 차이 검증에서 4번과 8번 문항의 난이도에 통계적으로 유의한 차이가 발견되었다. 검사 시행 방식이 문항의 난이도에 영향을 준 것인지를 확인하기 위해 검사 시행 방식과 문항의 상호작용이 전체 검사 점수에 미치는 영향력을 살펴보았다. 그 결과 검사 시행 방식과 문항 사이의 상호작용 효과가 전체 검사 점수 분산에서는 차지하는 비중이 0%로 나타나 검사 시행 방식과 문항 사이에 상호작용 효과가 존재하지 않는 것으로 나타났다. 이를 통해 4번과 8번 문항의 난이도 차이는 검사 시행 방식에서 기인한 결과가 아니라는 결론에 도달할 수 있었다. 피험자 수행 비교의 경우 첫째, 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식에서 산출된 검사 총점의 평균은 두 검사 시행 방식 간 통계적으로 유의미한 차이를 보이지 않았다. 둘째, 다국면라쉬모형에 의해 추정된 피험자 능력 모수의 평균도 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식 간에 통계적으로 의미 있는 차이가 발견되지 않았다. 셋째, 일반화가능도이론을 적용하여 검사 시행 방식이 전체 검사 점수에 미치는 영향력을 확인한 결과 전체 결과 점수에 대한 검사 시행 방식의 분산 비율이 0%로 나타나 검사 시행 방식에 따른 검사 점수의 차이는 거의 없으며 검사 시행 방식이 검사 결과에 미치는 영향력이 매우 미미함을 알 수 있었다. 채점자 수행 비교의 경우 첫째, 다국면라쉬모형에 근거해 추정된 채점자 엄격성 모수의 평균은 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식 사이에 통계적으로 유의미한 차이가 존재하지 않았다. 둘째, 채점자 간 신뢰도는 면대면 인터뷰 평가 방식보다 컴퓨터 기반 평가 방식에서 더 높게 나타났다. 셋째, 전체 검사 점수의 분산에서 검사 시행 방식과 채점자 사이의 상호작용 분산이 차지하는 비율이 0.18%로 나타나 검사 시행 방식과 채점자 사이의 상호작용 효과가 미미함이 드러났다. 결론적으로 한국어 말하기 평가에서 면대면 인터뷰 평가 방식과 컴퓨터 기반 평가 방식 간 검사 수준과 문항 수준의 측정학적 특성과 피험자 수행과 채점자 수행의 차이는 통계적으로 유의하지 않거나 매우 미미한 것으로 드러났다. 이를 통해 한국어 말하기 평가에서 컴퓨터 기반 평가 방식은 면대면 인터뷰 평가 방식과 매우 유사하게 기능하는 것으로 볼 수 있다. 따라서 컴퓨터 기반 평가 방식은 한국어 말하기 능력을 측정하는 데 적절한 시행 방식으로 간주될 수 있다.
The purpose of this study was to verify whether the computer-based test is appropriate for measuring Korean speaking ability by comparing the computer-based test with the face-to-face interview test in the Korean speaking test as a foreign language. For this purpose, two test modes were compared by ...
The purpose of this study was to verify whether the computer-based test is appropriate for measuring Korean speaking ability by comparing the computer-based test with the face-to-face interview test in the Korean speaking test as a foreign language. For this purpose, two test modes were compared by analyzing psychometric properties at the test and item level, the examinee performance and the rater performance based on the results of the computer-based test and the face-to-face interview test. The results of this study were as follows. First, regarding the comparison of the psychometric properties at the test level, the correlation coefficient and disattenuated correlation coefficient between the test scores calculated from the computer-based test and the face-to-face interview test were highly correlated. In addition, convergent validity was confirmed through the multitrait-multimethod matrix using the correlation coefficient of items between the two test modes. The multi-group analysis in structural equation modeling confirmed the configural invariance, metric invariance, scalar invariance, and factor variance invariance of factor structure between the computer-based test and the face-to-face interview test. Comparing the test reliability of the computer-based test and the face-to-face interview test with the Cronbach α and the generalizability coefficient, the reliability of the two test modes was found to be similar, which was above 0.8. Second, in terms of the comparison of the psychometric properties at the item level, patterns of the item difficulty and item discrimination index in the computer-based test and the face-to-face interview test were very similar. The item difficulty average of the two test modes was identical. Also, the mean difference of item discrimination was 0.01, which was very slight. Moreover, there was no statistically significant difference in the average of item difficulty based on the many-facet Rash measurement between the two test modes. However, it was revealed that there was a statistically significant difference in item difficulty of two items. In order to find out whether this difference was due to the test mode, the effect of the interaction between test mode and item on the total test scores was examined. The results showed that the interaction effect between test mode and item was 0% in the total test score variance, indicating that there was no interaction effect between test mode and item. Thus, the difference of item difficulty of two items was not the result of the test mode effect. Third, in relation to the comparison of the examinee performance, the mean of the total scores calculated by the computer-based test and the face-to-face interview test did not show a statistically significant difference. Moreover, the analysis of the many-facet Rasch measurement showed that there was no statistically significant difference in the examinee ability parameters between the computer-based test and the face-to-face interview test. Furthermore, the generalizability theory was used to investigate the effect of test mode on the total test scores. The results showed that the variance rate of the test mode effect was 0%, which means that the effect of test mode on test scores was little. Fourth, with regards to the comparison of the rater performance, the analysis of many-facet Rash measurement revealed that there was no statistically significant difference in terms of the mean of the rater severity parameters between the computer-based test and the face-to-face interview test. The inter-rater correlation and inter-rater agreement in the computer-based test were higher than the ones in the face-to-face interview test. According to the total test score variance, the variance of interaction between test mode and rater performance was 0.18%, indicating that the interaction effect of between test mode and rater performance was quite small. In conclusion, in the Korean speaking test, the differences of the psychometric properties at the test and item level, the examinee performance and the rater performance between the computer-based test and the face-to-face interview test were statistically insignificant or so small as to be negligible. The results of this study suggest that the computer-based test functions very similarly to the face-to-face interview test in the Korean speaking test. Therefore, the computer-based test can be regarded as an appropriate test mode in measuring Korean speaking ability.
The purpose of this study was to verify whether the computer-based test is appropriate for measuring Korean speaking ability by comparing the computer-based test with the face-to-face interview test in the Korean speaking test as a foreign language. For this purpose, two test modes were compared by analyzing psychometric properties at the test and item level, the examinee performance and the rater performance based on the results of the computer-based test and the face-to-face interview test. The results of this study were as follows. First, regarding the comparison of the psychometric properties at the test level, the correlation coefficient and disattenuated correlation coefficient between the test scores calculated from the computer-based test and the face-to-face interview test were highly correlated. In addition, convergent validity was confirmed through the multitrait-multimethod matrix using the correlation coefficient of items between the two test modes. The multi-group analysis in structural equation modeling confirmed the configural invariance, metric invariance, scalar invariance, and factor variance invariance of factor structure between the computer-based test and the face-to-face interview test. Comparing the test reliability of the computer-based test and the face-to-face interview test with the Cronbach α and the generalizability coefficient, the reliability of the two test modes was found to be similar, which was above 0.8. Second, in terms of the comparison of the psychometric properties at the item level, patterns of the item difficulty and item discrimination index in the computer-based test and the face-to-face interview test were very similar. The item difficulty average of the two test modes was identical. Also, the mean difference of item discrimination was 0.01, which was very slight. Moreover, there was no statistically significant difference in the average of item difficulty based on the many-facet Rash measurement between the two test modes. However, it was revealed that there was a statistically significant difference in item difficulty of two items. In order to find out whether this difference was due to the test mode, the effect of the interaction between test mode and item on the total test scores was examined. The results showed that the interaction effect between test mode and item was 0% in the total test score variance, indicating that there was no interaction effect between test mode and item. Thus, the difference of item difficulty of two items was not the result of the test mode effect. Third, in relation to the comparison of the examinee performance, the mean of the total scores calculated by the computer-based test and the face-to-face interview test did not show a statistically significant difference. Moreover, the analysis of the many-facet Rasch measurement showed that there was no statistically significant difference in the examinee ability parameters between the computer-based test and the face-to-face interview test. Furthermore, the generalizability theory was used to investigate the effect of test mode on the total test scores. The results showed that the variance rate of the test mode effect was 0%, which means that the effect of test mode on test scores was little. Fourth, with regards to the comparison of the rater performance, the analysis of many-facet Rash measurement revealed that there was no statistically significant difference in terms of the mean of the rater severity parameters between the computer-based test and the face-to-face interview test. The inter-rater correlation and inter-rater agreement in the computer-based test were higher than the ones in the face-to-face interview test. According to the total test score variance, the variance of interaction between test mode and rater performance was 0.18%, indicating that the interaction effect of between test mode and rater performance was quite small. In conclusion, in the Korean speaking test, the differences of the psychometric properties at the test and item level, the examinee performance and the rater performance between the computer-based test and the face-to-face interview test were statistically insignificant or so small as to be negligible. The results of this study suggest that the computer-based test functions very similarly to the face-to-face interview test in the Korean speaking test. Therefore, the computer-based test can be regarded as an appropriate test mode in measuring Korean speaking ability.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.