제7차 교육과정에서는 개인차를 고려한 학생 중심의 영어교육과 함께 의사소통능력을 중시하는 영어교육을 도입하였다. 그러면서 평가도 단편적 지식의 평가가 아니라 질적 평가 중심의 수행평가를 실시하였다. 그러나 수행평가는 채점하기가 어렵고 객관성의 문제점 때문에 어려움이 많은 것이 현실이다.특히 쓰기의 경우는 신뢰성과 객관도 등의 문제로 평가하기 더 어려운데,쓰기평가는 학생들이 글을 쓰고 교사가 피드백으로 조언을 하고 다시 고쳐 쓰는 과정 등을 반복할 수 있어 학생들의 글 쓰기 능력을 향상시키는데 중요한 역할을 한다. 따라서 본 연구에서는 외국과 한국의 영작문 평가 프로그램들을 분석하여 우리나라 초등학교 현장에서 활용할 수 있는 평가프로그램을 어떠한 방향으로 개발할 것인지 알아보고자 다음과 같은 연구 문제를 설정하였다. 첫째, 컴퓨터를 활용한 영작문 평가 프로그램은 어떤 것들이 있으며 그 특징은 무엇인가? 둘째, 초등학교에서 활용 가능한 영작문 평가 프로그램은 어떤 방향으로 개발되어야 하는가? 본 연구는 주로 외국의 영작문 프로그램들을 분석했기 때문에, 그와 관련된 전문가들의 article, 웹사이트, 등의 자료를 분석하였다. 일찍이 미국에서는 1966년에 Page가 ...
제7차 교육과정에서는 개인차를 고려한 학생 중심의 영어교육과 함께 의사소통능력을 중시하는 영어교육을 도입하였다. 그러면서 평가도 단편적 지식의 평가가 아니라 질적 평가 중심의 수행평가를 실시하였다. 그러나 수행평가는 채점하기가 어렵고 객관성의 문제점 때문에 어려움이 많은 것이 현실이다.특히 쓰기의 경우는 신뢰성과 객관도 등의 문제로 평가하기 더 어려운데,쓰기평가는 학생들이 글을 쓰고 교사가 피드백으로 조언을 하고 다시 고쳐 쓰는 과정 등을 반복할 수 있어 학생들의 글 쓰기 능력을 향상시키는데 중요한 역할을 한다. 따라서 본 연구에서는 외국과 한국의 영작문 평가 프로그램들을 분석하여 우리나라 초등학교 현장에서 활용할 수 있는 평가프로그램을 어떠한 방향으로 개발할 것인지 알아보고자 다음과 같은 연구 문제를 설정하였다. 첫째, 컴퓨터를 활용한 영작문 평가 프로그램은 어떤 것들이 있으며 그 특징은 무엇인가? 둘째, 초등학교에서 활용 가능한 영작문 평가 프로그램은 어떤 방향으로 개발되어야 하는가? 본 연구는 주로 외국의 영작문 프로그램들을 분석했기 때문에, 그와 관련된 전문가들의 article, 웹사이트, 등의 자료를 분석하였다. 일찍이 미국에서는 1966년에 Page가 PEG(Project Essay Grade)를 개발한 이후 1990년대 기술의 발달과 함께 PKT(Pearson Knowledge Technology)사의 IEA(Intelligent Essay Assessor), ETS(Education Testing Service)사의 E-rater, Vantage Learning사의 IntelliMetric 등이 개발되었다. PEG는 다중회귀분석이라는 통계적 분석을 사용하여 에세이의 형식만을 평가하였지만, 최초의 영작문 평가 프로그램이라는 의의가 있다. IEA는 에세이의 의미에 초점을 두는 잠재적 의미 분석(Latent Semantic Analysis) 기술을 이용하여 에세이를 평가하였다. E-rater 엔진을 기반으로 만든 Criterion과 IntelliMetric 엔진 기반인 My Access!는 다른 프로그램들과는 달리 ETS와 Vantage Learning이 오랜 연구 끝에 개발한 상업적인 웹기반 프로그램이다. 둘 다 교사와 학생모드 로그인 체제가 달라 교사가 로그인한 경우 원하는 주제, 시간제한, 피드백 종류, 날짜제한 등을 선정하고 학생이 로그인해 그것을 보고 에세이를 작성하는 것이다. 이러한 체제의 장점은 학생의 경우 에세이 작성 후 프로그램의 평가와 피드백을 즉각적으로 받을 수 있고 교사가 추가적으로 조언을 해줄 수 있어 기계의 단점을 보완해준다. PEG, IEA, E-rater, IntelliMetric의 경우 프로그램 개발 후 채점타당도에 대한 많은 연구를 하였는데 대부분 인간 채점자와 거의 비슷한 수준의 결과가 나왔다. 우리나라의 기업 (주)E사가 2004년에 개발한 Dr. Writing 2는 초급, 중급, 고급 등 수준별로 내용이 구성되어 있어 고무적이지만 자유 쓰기단계에서 오류 검사의 정확도가 14%에 그칠 정도로 문법적 오류를 제대로 판별해 내지 못한다. 또, (주)T사와 (주)W사가 2006년에 공동개발한 Writing Machine은 자유영작을 하고 영작 평가와 피드백을 바로 받는 형식을 취하고 있다. 그러나 Writing Machine은 에세이의 형식과 내용면 둘 다 평가하고 있지만 실질적으로 평가 결과 피드백 장면을 보면 내용이 모호하게 되어있다. 또, 우리나라의 프로그램인 Dr. Writing과 Writing Machine의 경우 프로그램의 채점 타당도에 대한 연구가 이루어지지 않았다. 초등학교 현장에서 활용할 수 있는 영작문 평가 프로그램의 개발방향은 첫째, 채점관점 면에서 영작문 평가 프로그램은 영작문의 문법, 구두점과 규칙, 철자 등의 형식과 구조, 조직과 전개, 초점과 일관성 등의 내용 둘 다 평가할 수 있어야 한다. 둘째, 채점방법 면에서 총괄적, 분석적 채점 둘 다 가능한 평가 프로그램이어야 한다. 셋째, 영작문 평가 프로그램의 채점 타당도를 되도록 높게 개발해야 한다. 넷째, 학생들의 영어쓰기 능력향상에 도움이 되도록 프로그램의 평가내용이 수준별로 구성되어야 한다. 다섯째, 프로그램의 그래픽적 요소와 진행 측면에서 초등학생이 흥미를 가질 수 있도록 개발되어야 한다. 여섯째, 교사·학생 모두가 언제, 어디서나 인터페이스가 가능한 프로그램을 개발해야 한다. 본 연구결과를 바탕으로 하여 다음과 같은 제언을 하고자 한다. 영작문 평가 프로그램을 개발하기 위해서는 자연언어처리, 인공지능, 기계학습 등의 최첨단 기술을 가진 공학자, 최적의 교수학습방법 및 평가방법을 인지하고 있는 교육학자, 언어학자 등의 각 분야별 전문가들의 의견이 반영되어야 한다. 또, 교사부터가 평가 프로그램에 대한 인식을 바꿔야 한다. 흔히 기계가 무슨 쓰기평가를 할 수 있겠냐고 생각하고 신뢰하지 않는 경우가 많다. 그러나 연구한 바와 같이 최근 외국에서는 인공지능, 자연언어처리 기술 등의 발달로 인하여 학생 글의 형식적 부분뿐만 아니라 글의 내용까지 파악할 수 있는 프로그램들이 등장하였다. 따라서 우리나라도 앞으로 영작문 평가프로그램에 대한 많은 후속 연구가 필요하다.
제7차 교육과정에서는 개인차를 고려한 학생 중심의 영어교육과 함께 의사소통능력을 중시하는 영어교육을 도입하였다. 그러면서 평가도 단편적 지식의 평가가 아니라 질적 평가 중심의 수행평가를 실시하였다. 그러나 수행평가는 채점하기가 어렵고 객관성의 문제점 때문에 어려움이 많은 것이 현실이다.특히 쓰기의 경우는 신뢰성과 객관도 등의 문제로 평가하기 더 어려운데,쓰기평가는 학생들이 글을 쓰고 교사가 피드백으로 조언을 하고 다시 고쳐 쓰는 과정 등을 반복할 수 있어 학생들의 글 쓰기 능력을 향상시키는데 중요한 역할을 한다. 따라서 본 연구에서는 외국과 한국의 영작문 평가 프로그램들을 분석하여 우리나라 초등학교 현장에서 활용할 수 있는 평가프로그램을 어떠한 방향으로 개발할 것인지 알아보고자 다음과 같은 연구 문제를 설정하였다. 첫째, 컴퓨터를 활용한 영작문 평가 프로그램은 어떤 것들이 있으며 그 특징은 무엇인가? 둘째, 초등학교에서 활용 가능한 영작문 평가 프로그램은 어떤 방향으로 개발되어야 하는가? 본 연구는 주로 외국의 영작문 프로그램들을 분석했기 때문에, 그와 관련된 전문가들의 article, 웹사이트, 등의 자료를 분석하였다. 일찍이 미국에서는 1966년에 Page가 PEG(Project Essay Grade)를 개발한 이후 1990년대 기술의 발달과 함께 PKT(Pearson Knowledge Technology)사의 IEA(Intelligent Essay Assessor), ETS(Education Testing Service)사의 E-rater, Vantage Learning사의 IntelliMetric 등이 개발되었다. PEG는 다중회귀분석이라는 통계적 분석을 사용하여 에세이의 형식만을 평가하였지만, 최초의 영작문 평가 프로그램이라는 의의가 있다. IEA는 에세이의 의미에 초점을 두는 잠재적 의미 분석(Latent Semantic Analysis) 기술을 이용하여 에세이를 평가하였다. E-rater 엔진을 기반으로 만든 Criterion과 IntelliMetric 엔진 기반인 My Access!는 다른 프로그램들과는 달리 ETS와 Vantage Learning이 오랜 연구 끝에 개발한 상업적인 웹기반 프로그램이다. 둘 다 교사와 학생모드 로그인 체제가 달라 교사가 로그인한 경우 원하는 주제, 시간제한, 피드백 종류, 날짜제한 등을 선정하고 학생이 로그인해 그것을 보고 에세이를 작성하는 것이다. 이러한 체제의 장점은 학생의 경우 에세이 작성 후 프로그램의 평가와 피드백을 즉각적으로 받을 수 있고 교사가 추가적으로 조언을 해줄 수 있어 기계의 단점을 보완해준다. PEG, IEA, E-rater, IntelliMetric의 경우 프로그램 개발 후 채점타당도에 대한 많은 연구를 하였는데 대부분 인간 채점자와 거의 비슷한 수준의 결과가 나왔다. 우리나라의 기업 (주)E사가 2004년에 개발한 Dr. Writing 2는 초급, 중급, 고급 등 수준별로 내용이 구성되어 있어 고무적이지만 자유 쓰기단계에서 오류 검사의 정확도가 14%에 그칠 정도로 문법적 오류를 제대로 판별해 내지 못한다. 또, (주)T사와 (주)W사가 2006년에 공동개발한 Writing Machine은 자유영작을 하고 영작 평가와 피드백을 바로 받는 형식을 취하고 있다. 그러나 Writing Machine은 에세이의 형식과 내용면 둘 다 평가하고 있지만 실질적으로 평가 결과 피드백 장면을 보면 내용이 모호하게 되어있다. 또, 우리나라의 프로그램인 Dr. Writing과 Writing Machine의 경우 프로그램의 채점 타당도에 대한 연구가 이루어지지 않았다. 초등학교 현장에서 활용할 수 있는 영작문 평가 프로그램의 개발방향은 첫째, 채점관점 면에서 영작문 평가 프로그램은 영작문의 문법, 구두점과 규칙, 철자 등의 형식과 구조, 조직과 전개, 초점과 일관성 등의 내용 둘 다 평가할 수 있어야 한다. 둘째, 채점방법 면에서 총괄적, 분석적 채점 둘 다 가능한 평가 프로그램이어야 한다. 셋째, 영작문 평가 프로그램의 채점 타당도를 되도록 높게 개발해야 한다. 넷째, 학생들의 영어쓰기 능력향상에 도움이 되도록 프로그램의 평가내용이 수준별로 구성되어야 한다. 다섯째, 프로그램의 그래픽적 요소와 진행 측면에서 초등학생이 흥미를 가질 수 있도록 개발되어야 한다. 여섯째, 교사·학생 모두가 언제, 어디서나 인터페이스가 가능한 프로그램을 개발해야 한다. 본 연구결과를 바탕으로 하여 다음과 같은 제언을 하고자 한다. 영작문 평가 프로그램을 개발하기 위해서는 자연언어처리, 인공지능, 기계학습 등의 최첨단 기술을 가진 공학자, 최적의 교수학습방법 및 평가방법을 인지하고 있는 교육학자, 언어학자 등의 각 분야별 전문가들의 의견이 반영되어야 한다. 또, 교사부터가 평가 프로그램에 대한 인식을 바꿔야 한다. 흔히 기계가 무슨 쓰기평가를 할 수 있겠냐고 생각하고 신뢰하지 않는 경우가 많다. 그러나 연구한 바와 같이 최근 외국에서는 인공지능, 자연언어처리 기술 등의 발달로 인하여 학생 글의 형식적 부분뿐만 아니라 글의 내용까지 파악할 수 있는 프로그램들이 등장하였다. 따라서 우리나라도 앞으로 영작문 평가프로그램에 대한 많은 후속 연구가 필요하다.
As more emphasis is placed on English communication skills in the Information Age and globalization, Koreans have become greatly interested in learning English and have invested a great deal of their time its study; however, achievement has been relatively low. The Seventh Curriculum is based on a w...
As more emphasis is placed on English communication skills in the Information Age and globalization, Koreans have become greatly interested in learning English and have invested a great deal of their time its study; however, achievement has been relatively low. The Seventh Curriculum is based on a whole language approach, which attempts to gradually improve the four linguistic skills: listening, speaking, reading, and writing. Despite aiming for a whole language approach, spoken and written languages are, in reality, divided; students learn listening and speaking in the third grade, alphabet and reading in the fourth grade, and basic reading and writing in the fifth grade. Because of this arrangement, the importance of writing education in school has been underestimated compared to that of listening and speaking. Writing skills help organize thoughts in a more creative, systematic, and logical manner, and also have a systematic effect on reading, speaking, and listening skills; thus, improving the student's skills comprehensively. Writing is an aggregation of foreign language learning and demonstrates the writer's personality, knowledge, and communication skills collectively; therefore, as the significance of writing skill draws more attention, many proposals aimed at improving students' writing skills have been suggested, such as increasing the marks assigned for writing in each university's admission exam or implementing performance evaluations in elementary, middle, and high schools. However, the application of performance evaluations in reality is time and effort consuming, and its reliability and validity are questionable. In foreign countries, the gravity of the situation was recognized much earlier, followed by research and development of writing evaluation programs. This investigation, therefore, analyzes English-writing evaluation programs developed abroad, as well as those developed in Korea, and examines the desirable future development of evaluation tools that could be applied in Korean primary schools. Since Page developed PEG (Project Essay Grade) in 1966, technological advancement in the 1990s has accompanied development of PKT's IEA (Intelligent Essay Assessor), ETS's E-rater, Vantage Learning's IntelliMetric and such. PEG only analyzes the essay's format using a statistical analysis method called Multiple Regression Analysis technique, but has its significance as the very first English-writing evaluation program. IEA analyzes essays using the Latent Semantic Analysis technique and places its focus on the essay's contents. This program has significance as a content-based evaluator, but has a drawback in that it considers the meaning of words but not order of words. E-rater, criterion-based engines and My Access! based on IntelliMetric, are commercial web-based programs developed by ETS and Vantage Learning after a long period of research. Both are usable web-based programs after the teacher or student's ID is issued. Log-in systems for teachers and students differ so that, when a teacher logs in, he/she can select the desired topic, time limit, type of feedback, due date, for the student to see when he/she logs in and writes an essay according to the directions. The advantages of this system are that the student can receive evaluation and feedback from the program immediately after writing the essay and that the teacher can give additional advice, both of which offset the machine's drawbacks. In the case of PEG, IEA, E-rater, and IntelliMetric, much research has been carried out on the validity of marking, and results showed that it was generally consistent with human marking. Dr. Writing 2, developed by the Korean company E in 2002, is inspiring as the content is organized by level (beginner, intermediate, and advanced); but, according to research by Choi Seo-yoon (2002), it cannot distinguish grammatical errors very well as shown by an error evaluation accuracy of merely 14%. Writing Machine developed by the collaboration of T & W companies enables writing in the categories of Essay Writing, E-mail Writing, Business Writing, and Fax Writing, followed by immediate evaluation and feedback. However, although Writing Machine assesses both the essay's format and contents, evaluation showed that the feedback was ambiguous. Furthermore, research on the validity of marking was not carried out for Dr. Writing and Writing Machine, which are Korean programs. Future development of English-writing evaluation programs to be used in elementary schools should first, in its marking, be able to assess both format (such as the essay's grammar, punctuation marks, and spelling) and content (such as structure, organization and development, perspective, and coherence). Second, in its marking method, the evaluation program should be able to mark both generally and analytically. Furthermore, general and analytical marking scales must be specific and accurate. Third, English-writing evaluation program's validity in marking should be maximized. There are two conditions required for this. The program should be trained using as many sample essays as possible, and the marking of sample essays should be done by experts using an accurate scale. Fourth, the program's evaluation details should be structured according to different levels so that it can help improve the students' English writing skills. The program, therefore, should be organized according to the level of writing: beginner, intermediate, and advanced. Writing skills will improve if the students repeat the process of selecting topics of their level, writing essays and receiving immediate evaluation and feedback. Fifth, the program's graphical and procedural elements should be developed so that elementary school students would be interested in the program. Sixth, a program with an interface accessible by teachers and students anywhere and at anytime should be developed. In order to develop an English-writing evaluation program, opinions of engineers with modern technology such as natural language processing, artificial intelligence, machine learning, as well as educators and linguists with knowledge of optimum education and evaluation methods, should be consulted. Furthermore, teachers' understanding of evaluation programs should change because they do not trust these programs, thinking that machinery is incapable of correct evaluation. With the recent development of artificial intelligence, natural language processing techniques and so on, however, programs have been introduced that can assess not only writing style but also content; therefore, continuous future research on English-writing evaluation programs is essential.
As more emphasis is placed on English communication skills in the Information Age and globalization, Koreans have become greatly interested in learning English and have invested a great deal of their time its study; however, achievement has been relatively low. The Seventh Curriculum is based on a whole language approach, which attempts to gradually improve the four linguistic skills: listening, speaking, reading, and writing. Despite aiming for a whole language approach, spoken and written languages are, in reality, divided; students learn listening and speaking in the third grade, alphabet and reading in the fourth grade, and basic reading and writing in the fifth grade. Because of this arrangement, the importance of writing education in school has been underestimated compared to that of listening and speaking. Writing skills help organize thoughts in a more creative, systematic, and logical manner, and also have a systematic effect on reading, speaking, and listening skills; thus, improving the student's skills comprehensively. Writing is an aggregation of foreign language learning and demonstrates the writer's personality, knowledge, and communication skills collectively; therefore, as the significance of writing skill draws more attention, many proposals aimed at improving students' writing skills have been suggested, such as increasing the marks assigned for writing in each university's admission exam or implementing performance evaluations in elementary, middle, and high schools. However, the application of performance evaluations in reality is time and effort consuming, and its reliability and validity are questionable. In foreign countries, the gravity of the situation was recognized much earlier, followed by research and development of writing evaluation programs. This investigation, therefore, analyzes English-writing evaluation programs developed abroad, as well as those developed in Korea, and examines the desirable future development of evaluation tools that could be applied in Korean primary schools. Since Page developed PEG (Project Essay Grade) in 1966, technological advancement in the 1990s has accompanied development of PKT's IEA (Intelligent Essay Assessor), ETS's E-rater, Vantage Learning's IntelliMetric and such. PEG only analyzes the essay's format using a statistical analysis method called Multiple Regression Analysis technique, but has its significance as the very first English-writing evaluation program. IEA analyzes essays using the Latent Semantic Analysis technique and places its focus on the essay's contents. This program has significance as a content-based evaluator, but has a drawback in that it considers the meaning of words but not order of words. E-rater, criterion-based engines and My Access! based on IntelliMetric, are commercial web-based programs developed by ETS and Vantage Learning after a long period of research. Both are usable web-based programs after the teacher or student's ID is issued. Log-in systems for teachers and students differ so that, when a teacher logs in, he/she can select the desired topic, time limit, type of feedback, due date, for the student to see when he/she logs in and writes an essay according to the directions. The advantages of this system are that the student can receive evaluation and feedback from the program immediately after writing the essay and that the teacher can give additional advice, both of which offset the machine's drawbacks. In the case of PEG, IEA, E-rater, and IntelliMetric, much research has been carried out on the validity of marking, and results showed that it was generally consistent with human marking. Dr. Writing 2, developed by the Korean company E in 2002, is inspiring as the content is organized by level (beginner, intermediate, and advanced); but, according to research by Choi Seo-yoon (2002), it cannot distinguish grammatical errors very well as shown by an error evaluation accuracy of merely 14%. Writing Machine developed by the collaboration of T & W companies enables writing in the categories of Essay Writing, E-mail Writing, Business Writing, and Fax Writing, followed by immediate evaluation and feedback. However, although Writing Machine assesses both the essay's format and contents, evaluation showed that the feedback was ambiguous. Furthermore, research on the validity of marking was not carried out for Dr. Writing and Writing Machine, which are Korean programs. Future development of English-writing evaluation programs to be used in elementary schools should first, in its marking, be able to assess both format (such as the essay's grammar, punctuation marks, and spelling) and content (such as structure, organization and development, perspective, and coherence). Second, in its marking method, the evaluation program should be able to mark both generally and analytically. Furthermore, general and analytical marking scales must be specific and accurate. Third, English-writing evaluation program's validity in marking should be maximized. There are two conditions required for this. The program should be trained using as many sample essays as possible, and the marking of sample essays should be done by experts using an accurate scale. Fourth, the program's evaluation details should be structured according to different levels so that it can help improve the students' English writing skills. The program, therefore, should be organized according to the level of writing: beginner, intermediate, and advanced. Writing skills will improve if the students repeat the process of selecting topics of their level, writing essays and receiving immediate evaluation and feedback. Fifth, the program's graphical and procedural elements should be developed so that elementary school students would be interested in the program. Sixth, a program with an interface accessible by teachers and students anywhere and at anytime should be developed. In order to develop an English-writing evaluation program, opinions of engineers with modern technology such as natural language processing, artificial intelligence, machine learning, as well as educators and linguists with knowledge of optimum education and evaluation methods, should be consulted. Furthermore, teachers' understanding of evaluation programs should change because they do not trust these programs, thinking that machinery is incapable of correct evaluation. With the recent development of artificial intelligence, natural language processing techniques and so on, however, programs have been introduced that can assess not only writing style but also content; therefore, continuous future research on English-writing evaluation programs is essential.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.