본 연구의 목적은 스토리텔링 평가도구 OPIc의 사용자들이 시험 점수를 어떻게 해석하고, 점수를 통해 어떤 결정들이 내려지고 있고, 그에 따른 결과는 무엇인지를 조사하여 OPIc의 타당도를 검증하는 것이다. 2007년 국내에 도입된 이래로, OPIc은 현재 1600여 개의 정부기관과 기업에서 입사 및 승진의 고부담 결정에 활용되고 있지만, OPIc이 적절하게 사용되고 있는지에 관한 타당도 연구는 충분히 수행되지 않았다. 특히 OPIc은 묘사와 서술을 통한 스토리텔링 과업 중심의 말하기 평가로서, 수험자들이 스토리텔링을 어떻게 이해하고 OPIc을 사용하고 있는지 알아보는 것이 중요하다. 따라서 본 연구는 실제 국내 고부담 환경에서 OPIc을 사용하는 직장인들의 OPIc에 대한 인식을 살펴보고 실제 수험자들의 인식과 본래 OPIc 개발자들의 의도와의 차이를 알아보고 이를 통해 OPIc의 타당도 검증을 수행한다. 이를 위해 설정한 연구질문들은 다음과 같다. 연구 질문 1, 스토리텔링 평가도구로서 OPIc 개발자들이 본래 의도한 OPIc 점수의 의미, 사용 및 결과는 무엇인가? 연구 질문 2, 한국기업의 OPIc 사용자들이 인식하고 있는 OPIc 점수의 의미, 사용 및 결과는 무엇인가? 연구 질문 3, OPIc 개발자들이 의도한 점수의 의미와 실제 사용자들이 인식하고 있는 점수의 의미 사이에는 어떤 관계가 있는가? 본 연구는 OPIc의 사용과 결과의 타당도를 검증하기 위한 이론적 근거와 연구 방법으로서 평가 사용 논증(Bachman & Palmer, 2010)을 채택한다. 연구 결과, 개발자들이 본래 의도한 OPIc의 해석에서 가장 중요한 요소는 긴 담화를 묘사와 서술 중심으로 구성할 수 있는 스토리텔링 능력이었다. 또한 개발자들은 OPIc이 다양한 목적으로 사용이 가능하고, OPIc의 사용은 모든 이해 당사자들에게 공평할 것이라 기대하고 있어, 결과적으로 OPIc의 사용이 수험자와 사회와 교육 체계에 유익한 결과를 가져올 것이라 주장한다(연구 질문 1). 반면 국내 기업의 OPIc 사용자들은 OPIc이 스토리텔링 중심의 구어 평가라는 이해가 부족한 채, 사교육 중심의 ...
본 연구의 목적은 스토리텔링 평가도구 OPIc의 사용자들이 시험 점수를 어떻게 해석하고, 점수를 통해 어떤 결정들이 내려지고 있고, 그에 따른 결과는 무엇인지를 조사하여 OPIc의 타당도를 검증하는 것이다. 2007년 국내에 도입된 이래로, OPIc은 현재 1600여 개의 정부기관과 기업에서 입사 및 승진의 고부담 결정에 활용되고 있지만, OPIc이 적절하게 사용되고 있는지에 관한 타당도 연구는 충분히 수행되지 않았다. 특히 OPIc은 묘사와 서술을 통한 스토리텔링 과업 중심의 말하기 평가로서, 수험자들이 스토리텔링을 어떻게 이해하고 OPIc을 사용하고 있는지 알아보는 것이 중요하다. 따라서 본 연구는 실제 국내 고부담 환경에서 OPIc을 사용하는 직장인들의 OPIc에 대한 인식을 살펴보고 실제 수험자들의 인식과 본래 OPIc 개발자들의 의도와의 차이를 알아보고 이를 통해 OPIc의 타당도 검증을 수행한다. 이를 위해 설정한 연구질문들은 다음과 같다. 연구 질문 1, 스토리텔링 평가도구로서 OPIc 개발자들이 본래 의도한 OPIc 점수의 의미, 사용 및 결과는 무엇인가? 연구 질문 2, 한국기업의 OPIc 사용자들이 인식하고 있는 OPIc 점수의 의미, 사용 및 결과는 무엇인가? 연구 질문 3, OPIc 개발자들이 의도한 점수의 의미와 실제 사용자들이 인식하고 있는 점수의 의미 사이에는 어떤 관계가 있는가? 본 연구는 OPIc의 사용과 결과의 타당도를 검증하기 위한 이론적 근거와 연구 방법으로서 평가 사용 논증(Bachman & Palmer, 2010)을 채택한다. 연구 결과, 개발자들이 본래 의도한 OPIc의 해석에서 가장 중요한 요소는 긴 담화를 묘사와 서술 중심으로 구성할 수 있는 스토리텔링 능력이었다. 또한 개발자들은 OPIc이 다양한 목적으로 사용이 가능하고, OPIc의 사용은 모든 이해 당사자들에게 공평할 것이라 기대하고 있어, 결과적으로 OPIc의 사용이 수험자와 사회와 교육 체계에 유익한 결과를 가져올 것이라 주장한다(연구 질문 1). 반면 국내 기업의 OPIc 사용자들은 OPIc이 스토리텔링 중심의 구어 평가라는 이해가 부족한 채, 사교육 중심의 스크립트 암기를 통해 OPIc을 준비하고 있었다. 또한 OPIc의 사용이 국내 기업 문화를 잘 반영하지 못하고 있고, 무분별하게 인사 결정에 활용하는 것 역시 불공평의 요인으로 인식되고 있어, OPIc 사용으로 인한 결과는 실제 사용자들에게 부정적으로 받아들여지고 있었다(연구 질문 2). 이와 같은 OPIc의 본래 의도와 실제 사용자들의 인식과의 큰 차이는 OPIc이 스토리텔링 활동 기반의 구어 평가라는 이해의 부족에서 비롯된 것이라 볼 수 있다(연구 질문 3). 본 연구 결과에 따라 다음과 같이 제언한다. OPIc의 사용자들은 OPIc의 본래 제작 목적을 이해하고 그에 맞는 적절한 사용이 요구된다. 또한 OPIc의 개발자들 역시 모든 맥락에서 OPIc이 쓰이길 원한다면 다양한 변인들에 대한 고려가 필요하다.
본 연구의 목적은 스토리텔링 평가도구 OPIc의 사용자들이 시험 점수를 어떻게 해석하고, 점수를 통해 어떤 결정들이 내려지고 있고, 그에 따른 결과는 무엇인지를 조사하여 OPIc의 타당도를 검증하는 것이다. 2007년 국내에 도입된 이래로, OPIc은 현재 1600여 개의 정부기관과 기업에서 입사 및 승진의 고부담 결정에 활용되고 있지만, OPIc이 적절하게 사용되고 있는지에 관한 타당도 연구는 충분히 수행되지 않았다. 특히 OPIc은 묘사와 서술을 통한 스토리텔링 과업 중심의 말하기 평가로서, 수험자들이 스토리텔링을 어떻게 이해하고 OPIc을 사용하고 있는지 알아보는 것이 중요하다. 따라서 본 연구는 실제 국내 고부담 환경에서 OPIc을 사용하는 직장인들의 OPIc에 대한 인식을 살펴보고 실제 수험자들의 인식과 본래 OPIc 개발자들의 의도와의 차이를 알아보고 이를 통해 OPIc의 타당도 검증을 수행한다. 이를 위해 설정한 연구질문들은 다음과 같다. 연구 질문 1, 스토리텔링 평가도구로서 OPIc 개발자들이 본래 의도한 OPIc 점수의 의미, 사용 및 결과는 무엇인가? 연구 질문 2, 한국기업의 OPIc 사용자들이 인식하고 있는 OPIc 점수의 의미, 사용 및 결과는 무엇인가? 연구 질문 3, OPIc 개발자들이 의도한 점수의 의미와 실제 사용자들이 인식하고 있는 점수의 의미 사이에는 어떤 관계가 있는가? 본 연구는 OPIc의 사용과 결과의 타당도를 검증하기 위한 이론적 근거와 연구 방법으로서 평가 사용 논증(Bachman & Palmer, 2010)을 채택한다. 연구 결과, 개발자들이 본래 의도한 OPIc의 해석에서 가장 중요한 요소는 긴 담화를 묘사와 서술 중심으로 구성할 수 있는 스토리텔링 능력이었다. 또한 개발자들은 OPIc이 다양한 목적으로 사용이 가능하고, OPIc의 사용은 모든 이해 당사자들에게 공평할 것이라 기대하고 있어, 결과적으로 OPIc의 사용이 수험자와 사회와 교육 체계에 유익한 결과를 가져올 것이라 주장한다(연구 질문 1). 반면 국내 기업의 OPIc 사용자들은 OPIc이 스토리텔링 중심의 구어 평가라는 이해가 부족한 채, 사교육 중심의 스크립트 암기를 통해 OPIc을 준비하고 있었다. 또한 OPIc의 사용이 국내 기업 문화를 잘 반영하지 못하고 있고, 무분별하게 인사 결정에 활용하는 것 역시 불공평의 요인으로 인식되고 있어, OPIc 사용으로 인한 결과는 실제 사용자들에게 부정적으로 받아들여지고 있었다(연구 질문 2). 이와 같은 OPIc의 본래 의도와 실제 사용자들의 인식과의 큰 차이는 OPIc이 스토리텔링 활동 기반의 구어 평가라는 이해의 부족에서 비롯된 것이라 볼 수 있다(연구 질문 3). 본 연구 결과에 따라 다음과 같이 제언한다. OPIc의 사용자들은 OPIc의 본래 제작 목적을 이해하고 그에 맞는 적절한 사용이 요구된다. 또한 OPIc의 개발자들 역시 모든 맥락에서 OPIc이 쓰이길 원한다면 다양한 변인들에 대한 고려가 필요하다.
This study aims to investigate the validity of OPIc from Korean stakeholders’ perspective. Since its launch in 2007, OPIc has been used in 1,600 government agencies and companies in South Korea to make high-stake decisions such as employment and promotion. However, validity study on score interpreta...
This study aims to investigate the validity of OPIc from Korean stakeholders’ perspective. Since its launch in 2007, OPIc has been used in 1,600 government agencies and companies in South Korea to make high-stake decisions such as employment and promotion. However, validity study on score interpretation and the impact of decision based on the OPIc score from stakeholders’ perspectives has barely conducted. As storytelling activities through description and narration are vital tasks in OPIc, understanding OPIc takers’ perceptions and the way they use it is important to contribute to its validity. Employing Bachman and Palmer’s(2010) Assessment Use Argument(AUA) framework, this study examines the gap between the intended purposes of OPIc developers and the actual perceptions of employees in a Korean global company in which OPIc is being used for high-stake decisions. Three research questions are derived: 1)What are the intended interpretation, decisions, and consequences of OPIc scores? 2)What are the actual interpretation, decisions, and consequences of OPIc scores? 3)What is the relationship between the intended and actual interpretation, decision, and consequences of OPIc scores? The results indicate that storytelling ability based on description and narration to make a long discourse represents the proficiency, which is the construct of OPIc. The developers expected OPIc to be used for the wide range of purposes in various communities, and the consequences of using OPIc should be beneficial for the test-takers, societies, and the educational systems(RQ 1). However, actual users of OPIc are not aware of the meaning of the proficiency nor storytelling as the construct of OPIc. That’s why Korean examinees simply try to memorize the scripts. The abuse of OPIc for making high-stake decisions in global company context leads the employees to consider the uses of OPIc inequitable. The negative washback effect of memorizing scripts and the abuse of OPIc in global company context are regarded as the detrimental consequences(RQ 2). The gap between the intended purposes and the actual uses has been identified(RQ 3). This study helped unpacked the validity of OPIc in Koran global company context, shed light on understanding the importance to know the intended purposes of OPIc, and pointed to implications for OPIc developers and future OPIc validity studies.
This study aims to investigate the validity of OPIc from Korean stakeholders’ perspective. Since its launch in 2007, OPIc has been used in 1,600 government agencies and companies in South Korea to make high-stake decisions such as employment and promotion. However, validity study on score interpretation and the impact of decision based on the OPIc score from stakeholders’ perspectives has barely conducted. As storytelling activities through description and narration are vital tasks in OPIc, understanding OPIc takers’ perceptions and the way they use it is important to contribute to its validity. Employing Bachman and Palmer’s(2010) Assessment Use Argument(AUA) framework, this study examines the gap between the intended purposes of OPIc developers and the actual perceptions of employees in a Korean global company in which OPIc is being used for high-stake decisions. Three research questions are derived: 1)What are the intended interpretation, decisions, and consequences of OPIc scores? 2)What are the actual interpretation, decisions, and consequences of OPIc scores? 3)What is the relationship between the intended and actual interpretation, decision, and consequences of OPIc scores? The results indicate that storytelling ability based on description and narration to make a long discourse represents the proficiency, which is the construct of OPIc. The developers expected OPIc to be used for the wide range of purposes in various communities, and the consequences of using OPIc should be beneficial for the test-takers, societies, and the educational systems(RQ 1). However, actual users of OPIc are not aware of the meaning of the proficiency nor storytelling as the construct of OPIc. That’s why Korean examinees simply try to memorize the scripts. The abuse of OPIc for making high-stake decisions in global company context leads the employees to consider the uses of OPIc inequitable. The negative washback effect of memorizing scripts and the abuse of OPIc in global company context are regarded as the detrimental consequences(RQ 2). The gap between the intended purposes and the actual uses has been identified(RQ 3). This study helped unpacked the validity of OPIc in Koran global company context, shed light on understanding the importance to know the intended purposes of OPIc, and pointed to implications for OPIc developers and future OPIc validity studies.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.