선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 이 연구는 2011년도 수도권의 한 대학부설 과학영재교육원 선발에 활용된 자기소개서, 교사추천서 평가에서 발생하는 평가의 오차요인과 각각의 오차요인이 평가에 끼치는 영향력이 어떠한지를 알아보고 자기소개서, 교사추천서 평가를 실시할 때 일반화가능도 계수의 최적화 조건 탐색을 목적으로 한다. 자기소개서, 교사추천서 평가에 있어서 채점자, 평가 문항 및 평가 영역은 채점이 달라질 수 있는 요인이 될 수 있으며 이에 대한 영향력과 신뢰도를 연구하는 것은 영재 선발의 객관성과 공정성을 위해서 꼭 필요한 일일 것이다.
- 그리고 자기소개서와 교사추천서 선행연구를 바탕으로 채점기준표를 작성하여(박성익 외, 2003; 박종률, 2008; 송상헌, 2006; 최영기, 도종훈, 2004) 총체적 채점방법과 분석적 채점방법으로 나누어 각각 평가하였다. 이를 통해 자기소개서와 교사추천서 평가에서 총체적 채점방법과 분석적 채점방법이 검사 점수의 일반화가능도에 미치는 영향을 분석하고, 자기소개서, 교사추천서 평가의 효율적인 측정조건을 탐색하여 향후 본격적으로 활용되어지게 될 이러한 자료의 활용에 객관성과 공정성을 확보할 수 있는 평가 방안을 모색해 보고자 하였다.
- 영재 선발에 있어서 자기 소개서 및 교사 추천서의 채점 방법을 어떤 것으로 하는 것이 더 효과적인지에 대한 연구는 거의 나와 있지 않은 상황이다. 이에 자기 소개서와 교사 추천서를 총체적 채점과 분석적 채점으로 비교 채점하여 어떤 방법이 더 효과적이고 객관적인지에 대한 연구와 구체적으로 어떤 기준에서 더 신뢰로운 채점 결과를 기대할 수 있는지에 대한 연구를 진행하였다.
제안 방법
- 교사추천서 평가에서 총체적 채점 방법과 분석적 채점 방법을 실시할 경우 점수에 영향을 주는 요인들의 상대적 영향력이 어느 정도인지를 알아보기 위해 피험자 분산과 각 오차 점수 분산을 추정한 값을 비교하였다.<표 3>은 총체적 채점에 의한 피험자 분산과 각 효과의 분산 크기를, <표 4>는 분석적 채점에 의한 피험자 분산과 각 오차 점수 분산의 크기를 나타내고 있다.
- 이에 이 연구는 관찰·추천 영재 선발에 사용되는 자기소개서와 교사추천서의 내용을 교사와 학생이 인식하고 있는 영재성의 특징으로 인지적, 수학적, 사회적, 정의적 행동특성으로 나누어 분석하였다. 그리고 자기소개서와 교사추천서 선행연구를 바탕으로 채점기준표를 작성하여(박성익 외, 2003; 박종률, 2008; 송상헌, 2006; 최영기, 도종훈, 2004) 총체적 채점방법과 분석적 채점방법으로 나누어 각각 평가하였다. 이를 통해 자기소개서와 교사추천서 평가에서 총체적 채점방법과 분석적 채점방법이 검사 점수의 일반화가능도에 미치는 영향을 분석하고, 자기소개서, 교사추천서 평가의 효율적인 측정조건을 탐색하여 향후 본격적으로 활용되어지게 될 이러한 자료의 활용에 객관성과 공정성을 확보할 수 있는 평가 방안을 모색해 보고자 하였다.
- 먼저 Cronbach α를 추정하기 위해서는 원 자료에서 사용되었던 총 문항수와 채점자 수를 기준으로 총체적 채점은 총 문항수를 4로, 분석적 채점은 문항 수를 16으로 하였으며 채점자는 2명으로 하였다.
- 분석적 채점은 내용영역을 채점 문항별로 세분하여 피험자에게 점수를 부과하는 방법으로 D-연구는 내용영역의 수를 2에서 6까지, 채점 문항의 수를 2에서 5까지 그리고 채점자 수를 1명에서 5명까지 변화시키며 일반화 가능도 계수를 산출하였다. 이 중 <표 8>은 이 연구에서 원 자료를 수집할 때 사용되었던 조건과 같은 내용영역이 4인 경우만 제시하였고, 이 경우 일반화가능도 계수는 0.
- 분석적 채점은 내용영역을 채점 문항별로 세분하여 피험자에게 점수를 부과하는 방법으로 D-연구는 내용영역의 수를 2에서 6까지, 채점 문항의 수를 2에서 5까지 그리고 채점자 수를 1명에서 5명까지 변화시키며 일반화 가능도 계수를 산출하였다. 이 중 <표 8>은 이 연구에서 원 자료를 수집할 때 사용되었던 조건과 같은 내용영역이 4인 경우만 제시하였고, 이 경우 일반화가능도 계수는 0.
- 이 연구는 초등 심화 영재 선발 시 1단계 서류심사 중 자기소개서와 교사추천서 평가에서 발생하는 오차요인 들의 상대적인 영향력을 살펴보고, 교사추천서와 자기소개서를 총체적 채점과 분석적 채점으로 실시했을 때 채점 방법에 따른 일반화가능도계수의 최적화 측정 조건을 탐색하고, 이를 전통적인 신뢰도 추정방법과 비교하였다. 연구결과를 바탕으로 결론 및 논의를 제시하면 다음과 같다.
- 이 연구의 G-연구는 관찰⋅추천 영재 선발 시 사용되는 자기소개서와 교사추천서 평가 결과를 2명의 채점자가 총제적 채점 방법과 분석적 채점 방법으로 점수를 부여한 것으로 p × r × d [피험자×채점자×내용 영역]모형과 p × r × (i : d) [피험자×채점자×(문항 : 내용영역)]모형을 설계하여 적용하였다.
- 이에 이 연구는 관찰·추천 영재 선발에 사용되는 자기소개서와 교사추천서의 내용을 교사와 학생이 인식하고 있는 영재성의 특징으로 인지적, 수학적, 사회적, 정의적 행동특성으로 나누어 분석하였다.
- 자기소개서 평가에서 총체적 채점 방법과 분석적 채점 방법을 실시할 경우 점수에 영향을 주는 요인들의 상대적 영향력이 어느 정도인지를 알아보기 위해 피험자 분산과 각 오차 점수 분산을 추정한 값을 비교하였다.<표 5>는 총체적 채점에 의한 피험자 분산과 각 효과의 분산 크기를 나태내고 있고, <표 6>은 분석적 채점에 의한 피험자 분산과 각 오차 점수 분산의 크기를 나타내고 있다.
- 즉, 총체적 채점에서 적정 수준의 일반화가능도를 유지하기 위한 채점자 수와 내용영역의 수가 분석되었고, 분석적 채점에서 적정수준의 일반화가능도를 유지하기 위한 채점자 수, 내용영역 수 그리고 내용영역에 내재된 문항수가 분석되었다. 자료 처리는 G-연구 결과의 분산성분을 입력 값으로 활용하여 GENOVA 프로그램을 활용한 다양한 D-연구를 수행 하였다.
- 총체적 채점의 D-연구는 내용영역의 수를 2에서 6까지, 그리고 채점자 수를 1명에서 5명까지 변화를 주어 내용영역에 따른 채점자 수 변화에 대해 각 조건별 일반화가능도 계수를 산출하였다. D-연구 결과 내용영역 수가 많을수록, 그리고 채점자 수가 많을수록 일반화가능도 계수가 높아진다는 것을 알 수 있다.
- 한 평가방법이 다른 평가방법에 영향을 미치지 않도록 하기 위해 분석적 채점을 먼저 하였고, 시간 간격을 어느 정도 유지함과 동시에 동일 순서로 학생이 채점되지 않도록 임의적으로 순서를 바꾸어 채점하였다. 즉 채점자는 분석적 채점을 먼저 한 후 총체적 채점으로 점수를 부여하였다.
대상 데이터
- 이 연구에서는 2011학년도 수도권에 소재하고 있는 대학부설 과학영재교육원에서 관찰-추천 영재 선발에 지원한 90명의 자기소개서와 교사추천서 평가를 자료로 하였다. 자기 소개서에는 지원한 동기, 교육원에서 자신을 뽑아야 하는 이유, 수학에 관심을 갖도록 영향을 끼친 동기, 장래 희망이, 교사 추천서에는 학생이 영재성을 보인 사례, 우수한 인성이 드러난 사례, 리더십이 드러난 사례, 종합 의견이 기록되어 있다.
데이터처리
- 관찰·추천 영재 선발 시 사용되는 자기소개서 평가에서 총체적 채점과 분석적 채점 방법을 사용할 경우 효율적인 측정 조건을 탐색하기 위해 G-연구 분석 결과에서 나온 분산 성분을 가지고 GENOVA 프로그램을 사용하여 D-연구를 실시하였다.
- 관찰⋅추천 영재 선발 시 사용되는 교사추천서 평가에서 총체적 채점과 분석적 채점 방법을 사용할 경우 효율적인 측정 조건을 탐색하기 위해 G-연구 분석 결과에서 나온 분산 성분을 가지고 GENOVA 프로그램을 사용하여 D-연구를 실시하였다.
- 일반화가능도 이론을 적용한 연구를 위해 제안된 임의효과 p × r × d모형과p × r × (i : d)모형의 분산 성분을 추정하기 위해, G-연구(일반화연구)는 균형 무선 효과 설계에 의해 분산성분을 추정하였고, 이를 위해 GENOVA(A GENeralized Analysis Of VAriance System)프로그램(Crick & Brennan, 1983)을 사용하였다.
이론/모형
- G-연구에서 얻어진 분산성분의 상대적 오차의 크기에 따라 일반화가능도 계수를 산출하고, 평가 상황과 조건에 대한 의사결정자에게 안정적인 점수를 제공하기 위한 평가의 조건을 제시함으로써 평가의 신뢰도와 실용도를 개선할 수 있는 연구이다(김경선 외, 2011). 이 연구에서는 G-연구와 동일하게 D-연구 설계를 적용하였다. D-연구를 통해서 얻어지는 일반화가능도 계수는 고전검사이론의 진점수 분산과 유사한 전집점수 분산과 오차점수 분산의 합에 대한 전집점수 분산의 비로 얻을 수 있다.
성능/효과
- 총체적 채점의 D-연구는 내용영역의 수를 2에서 6까지, 그리고 채점자 수를 1명에서 5명까지 변화를 주어 내용영역에 따른 채점자 수 변화에 대해 각 조건별 일반화가능도 계수를 산출하였다. D-연구 결과 내용영역 수가 많을수록, 그리고 채점자 수가 많을수록 일반화가능도 계수가 높아진다는 것을 알 수 있다. <표 7>에서 보는 바와 같이 이 연구에서 원 자료를 수집할 때 사용되었던 조건과 같이 내용영역을 4개 그리고 채점자수를 2명으로 하는 경우 일반화가능도 계수는 0.
- 21%로 가장 작게 나타났다. 그리고 피험자와 채점자의 상호작용 분산은 5.05%, 피험자와 내용영역 분산은 3.84%, 채점자와 내용영역의 상호작용 분산은 1.11%, 채점자와 내용영역 내 문항의 상호작용 분산은 1.27%의 전체 분산을 설명하는 것으로 분석되었다.
- 이는 채점자로 인해 영향을 받은 점수의 변동부분이 크게 작용하고 있음을 의미한다. 내용영역 분산은 1.15%, 피험자와 내용영역 간 상호작용 분산은 4.34%로 전체 분산에서 차지하는 비중은 상대적으로 작았다. 채점자와 내용영역 간 상호작용 분산은 0.
- 이는 채점자로 인해 영향을 받은 점수의 변동부분이 크게 작용하고 있음을 의미한다. 내용영역 분산은 1.23%, 피험자와 내용영역 간 상호작용 분산은 10.89%, 그리고 채점자와 내용영역 간 상호작용 분산은 0.23%로 전체 분산 중 차지하는 값이 가장 작게 나타났다.
- 다음으로 교사추천서와 자기소개서의 일반화 가능도 계수를 비교하면 분석적 채점이 총체적 채점보다 일반화 가능도 계수가 높게 나타났다. 이는 총체적 채점의 채점 기준이 분석적 채점보다 채점자의 주관성을 더 쉽게 반영할 수 있는 구조이기 때문으로 해석할 수 있다.
- 즉 학생들 개인 간의 영재성에 차이가 있음을 알 수 있다. 다음으로 피험자와 내용영역 그리고 채점자의 상호작용 분산이 11.01%로 높게 나타났으며 피험자와 내용영역에 내재된 문항과의 상호작용 분산이 8.01%로 나타났다. 채점자 분산은 5.
- 첫째, 교사추천서와 자기소개서에서 총체적 채점과 분석적 채점 방법의 각 요인들에 대한 상대적 영향력 분석결과 공통점과 차이점이 발견되었다. 두 채점 방법의 공통점은 피험자 관련 분산이 내용영역, 문항 수, 채점자 수의 영향보다 크다는 점이다. 이는 학생들 개인 간의 영재성에는 큰 차이가 있다는 것을 보여준다.
- 72였다. 따라서 0.80 이상의 일반화가능도 계수를 확보하기 위해서는 내용영역이 3개인 경우 채점자 수는 5명 이상, 내용영역이 4개인 경우는 채점자 수는 4명 이상, 채점자 수가 2명 이상인 경우는 내용영역 수를 너무 많이 요구하는 것으로 나타났다. 특히 원자료의 경우 0.
- 또한 분석적 채점에서 문항수와 채점자 수의 효과는 에서 보는 바와 같이 문항수와 채점자 수가 증가함에 따라 일반화가능도 계수가 상승하나 점차 그 효과는 감소하고 있음을 알 수 있다.
- 분석적 채점의 경우 내용영역을 4개로 한정할 경우 문항수가 4개인 경우 채점자수는 4명 이상이, 그리고 채점자수를 2명으로 한정할 경우 내용영역이 6개인 경우 문항수는 8개 이상이 요구되었다. 또한 원자료의 경우에는 교사추천서를 분석적 채점방법에 따라 채점한 경우만이 0.8 이상의 일반화가능도계수를 얻을 수 있었다.
- 80이상의 일반화계능도 계수를 확보하지 못하는 것으로 나타났다. 분석적 채점은 영역의 수가 늘어날수록, 문항의 수가 증가할수록 그리고 채점자의 수가 증가할수록 일반화가능도 계수가 높아진다는 것을 알 수 있다. 또한 분석적 채점에서 문항수와 채점자 수의 효과는 <그림 4>에서 보는 바와 같이 문항수와 채점자 수가 증가함에 따라 일반화가능도 계수가 상승하나 점차 그 효과는 감소하고 있음을 알 수 있다.
- 분석적 채점의 잔차 분산을 제외하면, 두 채점 방법 모두에서 피험자 분산이 가장 크게 나타났으며, 내용영역 분산은 모두 작게 나타났다. 반면에 채점자 분산은 어느 정도 크게 나타났으며, 총체적 채점 방법에서 더 크게 나타났다.
- 셋째, 전통적인 신뢰도 추정방법인 Cronbach α와 일반화가능도계수를 비교한 결과 교사추천서와 자기소개서 모두에서 채점 방법과 상관없이 Cronbach α가 더 높은 값을 보여주었으며, 이와 같은 결과는 문항만을 오차요인으로 보는 Cronbach α가 신뢰도를 과대 추정한다는 많은 선행연구와 일치한다.
- D-연구(결정연구)는 G-연구 결과를 바탕으로 p × R × D설계와 p × R × (I : D)의 설계에서 오차 국면의 표집 수를 조절하여 적정 수준의 일반화가능도를 유지하기 위한 효율적인 조건을 탐색하였다. 즉, 총체적 채점에서 적정 수준의 일반화가능도를 유지하기 위한 채점자 수와 내용영역의 수가 분석되었고, 분석적 채점에서 적정수준의 일반화가능도를 유지하기 위한 채점자 수, 내용영역 수 그리고 내용영역에 내재된 문항수가 분석되었다. 자료 처리는 G-연구 결과의 분산성분을 입력 값으로 활용하여 GENOVA 프로그램을 활용한 다양한 D-연구를 수행 하였다.
- 이를 통해 학생들 개인 간의 영재성에 차이가 크다는 것을 알 수 있다. 채점자와 관련된 분산을 살펴보면 채점자 분산이 10.37% 그리고 피험자와 채점자의 상호작용 분산이 20.92%로 상대적으로 크게 나타났다. 이는 채점자로 인해 영향을 받은 점수의 변동부분이 크게 작용하고 있음을 의미한다.
- 이는 학생들 개인 간의 영재성에 차이가 크다는 것을 보여준다. 채점자와 관련된 분산을 살펴보면 채점자 분산이 15.25% 그리고 피험자와 채점자의 상호작용 분산이 13.86%로 상대적으로 크게 나타났다. 이는 채점자로 인해 영향을 받은 점수의 변동부분이 크게 작용하고 있음을 의미한다.
- 첫째, 교사추천서와 자기소개서에서 총체적 채점과 분석적 채점 방법의 각 요인들에 대한 상대적 영향력 분석결과 공통점과 차이점이 발견되었다. 두 채점 방법의 공통점은 피험자 관련 분산이 내용영역, 문항 수, 채점자 수의 영향보다 크다는 점이다.
- 15%로 가장 높았고, 이는 학생들 개인 간의 영재성에 차이가 크다는 것을 나타낸다. 피험자와 관련된 분산을 살펴보면 잔차가 33.52%, 피험자와 내용영역에 내재된 문항 간 상호작용 분산은 10.23%, 피험자와 내용영역, 채점자 간 상호작용은 8.88%, 피험자와 채점자의 상호작용 분산이 6.75% 그리고 피험자와 내용영역 간 상호작용 분산은 6.45%로 나타났다. 반면에 나머지 분산들은 0.
후속연구
- 그러나 자기 소개서의 총체적 채점 경우는 채점자가 2명인 경우 내용영역수를 크게 증가시키더라도 신뢰도를 확보하는 데 어려움이 있으며 분석적 채점의 경우 역시 내용영역 6개, 문항수 8개로 많은 내용영역과 문항수가 요구된다. 따라서 보다 정밀한 채점 기준표를 바탕으로 엄격한 채점자 훈련을 실시함으로써 채점의 신뢰도를 확보할 수 있도록 해야 할 것이다.
- 셋째, 전통적인 신뢰도 추정방법인 Cronbach α와 일반화가능도계수를 비교한 결과 교사추천서와 자기소개서 모두에서 채점 방법과 상관없이 Cronbach α가 더 높은 값을 보여주었으며, 이와 같은 결과는 문항만을 오차요인으로 보는 Cronbach α가 신뢰도를 과대 추정한다는 많은 선행연구와 일치한다. 따라서 채점의 신뢰도를 확보하기 위해서는 채점자, 내용영역, 문항수와 같이 다양한 오차요인을 반영하는 일반화가능도 계수를 통해 보다 정밀한 신뢰도를 추정하는 것이 바람직할 것이다.
- 마지막으로 본 연구는 일반화가능도이론을 활용함에 있어 채점방법에 따라 고려할 수 있는 국면의 수가 많지 않다는 제한점을 갖는다. 따라서 후속연구에서는 실제 평가 상황을 반영할 수 있는 다양한 오차요인을 고려한 연구가 이루어질 필요가 있다.
- 마지막으로 본 연구는 일반화가능도이론을 활용함에 있어 채점방법에 따라 고려할 수 있는 국면의 수가 많지 않다는 제한점을 갖는다. 따라서 후속연구에서는 실제 평가 상황을 반영할 수 있는 다양한 오차요인을 고려한 연구가 이루어질 필요가 있다.
- 평가자, 내용 영역, 문항 수, 채점 방식 등의 요인은 채점 결과에 영향을 줄 수 있다. 이러한 채점 결과에 영향을 미칠 수 있는 요인에 대한 체계적인 검증이 이루어져야 할 것이다.
- 총체적 채점 방법과 분석적 채점 방법 모두 채점자 수를 늘리는 것이 일반화 가능도 계수를 더 크게 높일 수있는 방법이지만 실용적인 측면을 고려한다면 채점자 수보다는 내용영역과 문항수를 늘리는 것이 보다 경제적인 방법이 될 것이다. 그러나 자기 소개서의 총체적 채점 경우는 채점자가 2명인 경우 내용영역수를 크게 증가시키더라도 신뢰도를 확보하는 데 어려움이 있으며 분석적 채점의 경우 역시 내용영역 6개, 문항수 8개로 많은 내용영역과 문항수가 요구된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.