초록 ▼

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

2015 개정교육과정 도입에 따라 과정중심평가가 대두되었으며 이에 따른 영어 평가 방식의 변화가 필요해졌다. 특히 기존 영어 말하기 평가의 제한점을 해결하고 타당도와 신뢰도를 함께 확보하면서 정보 통신 기술의 발전을 반영한 인공지능 기술이 접목된 영어 평가의 개발이 필요해 졌다. 챗봇을 기반으로 한 말하기 평가는 평가자의 주관성을 줄이고 학생의 수준에 따른 피드백을 즉각적으로 제공할 수 있으며 탈맥락적인 평가 상황을 보완한 실제적인 의사소통 상황 기반 평가를 시행할 수 있는 가능성을 보여준다. 이에 본 연구에서는 6학년 학생을 대상으로 AI활용 초등 영어 말하기 평가를 위한 평가 모형을 제안하고, 이를 적용한 후 타당도와 신뢰도를 검증하여 평가 모형의 실행가능성 및 효과성을 모색하고자 하였다.
AI활용 초등영어 말하기 평가 모형을 설계하기 위해 영어 말하기 평가에 대해 고찰하고 교사와 학생을 대상으로 기존 말하기 평가의 실태를 분석하였다. 이를 토대도 AI활용 말하기 평가 모형을 개발의 시사점을 도출하였으며 평가 요소와 절차 및 단계를 설계하였다. AI활용 초등영어 말하기 평가 모형의 평가 요소는 ‘의미전달’, ‘정확성’, ‘과제 완성도’이며 학생의 수준에 맞는 피드백의 제공 여부에 따라 ‘의미 전달’의 성취 수준을 결정하고 문장 형식의 오류를 교사가 관찰하여 ‘정확성’을 판단한다. 문항 해결 정도를 파악하여 ‘과제 완성도’의 수준을 결정하며 이 세 평가 요소를 종합적으로 평가하여 최종 성취 수준을 결정하게 된다. 교사는 AI스피커와 학생이 대화하는 장면을 관찰하여 평가하며 대화 전사 자료를 평가 자료로 활용한다.
설계한 평가 모형의 타당도와 실용도를 파악하기 위해 영어교육 전문가 10인을 대상으로 태당도 검증을 설문으로 실시하였으며 이를 평균값과 ...

2015 개정교육과정 도입에 따라 과정중심평가가 대두되었으며 이에 따른 영어 평가 방식의 변화가 필요해졌다. 특히 기존 영어 말하기 평가의 제한점을 해결하고 타당도와 신뢰도를 함께 확보하면서 정보 통신 기술의 발전을 반영한 인공지능 기술이 접목된 영어 평가의 개발이 필요해 졌다. 챗봇을 기반으로 한 말하기 평가는 평가자의 주관성을 줄이고 학생의 수준에 따른 피드백을 즉각적으로 제공할 수 있으며 탈맥락적인 평가 상황을 보완한 실제적인 의사소통 상황 기반 평가를 시행할 수 있는 가능성을 보여준다. 이에 본 연구에서는 6학년 학생을 대상으로 AI활용 초등 영어 말하기 평가를 위한 평가 모형을 제안하고, 이를 적용한 후 타당도와 신뢰도를 검증하여 평가 모형의 실행가능성 및 효과성을 모색하고자 하였다.
AI활용 초등영어 말하기 평가 모형을 설계하기 위해 영어 말하기 평가에 대해 고찰하고 교사와 학생을 대상으로 기존 말하기 평가의 실태를 분석하였다. 이를 토대도 AI활용 말하기 평가 모형을 개발의 시사점을 도출하였으며 평가 요소와 절차 및 단계를 설계하였다. AI활용 초등영어 말하기 평가 모형의 평가 요소는 ‘의미전달’, ‘정확성’, ‘과제 완성도’이며 학생의 수준에 맞는 피드백의 제공 여부에 따라 ‘의미 전달’의 성취 수준을 결정하고 문장 형식의 오류를 교사가 관찰하여 ‘정확성’을 판단한다. 문항 해결 정도를 파악하여 ‘과제 완성도’의 수준을 결정하며 이 세 평가 요소를 종합적으로 평가하여 최종 성취 수준을 결정하게 된다. 교사는 AI스피커와 학생이 대화하는 장면을 관찰하여 평가하며 대화 전사 자료를 평가 자료로 활용한다.
설계한 평가 모형의 타당도와 실용도를 파악하기 위해 영어교육 전문가 10인을 대상으로 태당도 검증을 설문으로 실시하였으며 이를 평균값과 표준편차로 분석하였다. 결과적으로 모든 항목에서 높은 평균값을 보였으며 평가모형의 타당도가 높은 것으로 나타났다. 또한 평가 모형의 신뢰도를 검증하기 위해 채점자내 신뢰도와 채점자간 신뢰도를 분석하였다. 채점자간 신뢰도를 분석하기 위해 두 채점자의 평가 결과를 상관관계를 분석하였으며 동일한 평가 유형을 두 번 실시하여 그 결과를 상관관계를 이용하여 채점자간 신뢰도를 분석하였다. 두 신뢰도가 모두 매우 높은 상관관계를 갖는 것으로 분석되었으며 이를 통해 본 연구에서 개발한 채점기준안 및 척도가 매우 신뢰도가 높음을 알 수 있었다. 학생들의 사후 반응을 분석하기 위해 사후 반응 평가지를 통해 설문을 실시하였으며 이를 통해 학생들이 평가를 통해 성장하고 학습을 경험했음을 발견할 수 있었고 자신의 수준에 맞는 피드백 제공이 매우 유용했다는 의견을 확인할 수 있었다. 또한 AI를 활용한 평가에 흥미를 느끼고 유창성과 정확성 측면에서 모두 긍정적인 영향이 있었음을 알 수 있었다.
위에서 논의한 결과를 바탕으로 초등영어 말하기 평가에 대해 다음과 같이 제언한다. 첫째, AI활용 말하기 평가를 보편화하기 위해 챗봇을 공유할 수 있는 교사 커뮤니티 형성이 필요하다. 둘째, 교사가 챗봇을 수정하여 사용할 수 있으려면 교사 대상 AI스피커 활용 관련 연수가 필요하다. 셋째, AI스피커 활용 영어 말하기 평가의 다양한 평가 모형의 보급과 개발이 필요하다.

주제어