선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 따라서 본 연구는 교직 적성·인성 검사 표준안이 교원양성기관에 보급 된지 5년이 지난 현 시점에서 대학생을 대상으로 타당화된 검사 표준안이 상대적으로 연구가 수행되지 않았던 교육대학원의 공학교육을 전공하는 원생들에게 동일하게 적용할 수 있는지에 대한 실제적인 관심에서 연구의 필요성을 인식하였다.
- 이에 본 연구에서는 측정학적 특성 중 하나인 신뢰도 산출 시 다중 오차 요인을 고려함과 동시에 준거참조검사에 적합한 신뢰도인 의존도계수를 산출하는 일반화가능도 분석을 수행함으로써 교육대학원의 예비공학교사에게 교직 적성·인성검사 표준안을 사용할 수 있는지에 대한 경험적인 근거를 제시하고자 하며, 적정 수준의 신뢰도에 도달할 수 있는 효율적인 측정 조건을 바탕으로 교직 적성·인성 검사를 개선 및 향상시킬 수 있는 방안을 제시하고자 한다.
- 본 연구에서는 교육부에서 표준안으로 보급한 교직 적성·인성 검사[14]결과를 활용하여 교육대학원의 예비 공학교사 검사점수에 영향을 미치는 요인들의 상대적인 영향력을 탐색하고, 이를 바탕으로 적정 수준의 신뢰도에 도달할 수 있는 효율적인 측정 조건을 제시하였다.
가설 설정
- 교육대학원의 예비공학교사인 피험자(p)에게 14개 영역(d) 별로 서로 다른 15개 문항(i)이 포함되어 있는 총 210개 문항으로 구성된 교직 적성·인성 검사 표준안이 2회(o) 실시되었으므로, 본 연구에서는 3가지 G-연구설계를 분석하였다. 단, 피험자(p)는 무한한 모집단에서 무작위로 추출되었으며, 영역(d)과 문항(i)은 무한한 영역과 문항 전집에서 표집되었다고 간주하여 모두 무선효과(random effect)로 가정하였다. 교육대학원의 예비공학교사마다 총 210개 문항의 교직 적성·인성 검사점수를 고려하는 경우에는 이를 일반화가능도 분석 체계로 표현한 p×i 설계를, 예비공학교사마다 14개 영역 별로 서로 다른 15개 문항이 포함되어 있는 총 210개의 교직 적성·인성 검사점수를 고려하는 경우에는 p×(i:d) 설계를, 그리고 예비공학교사마다 14개 영역 별로 서로 다른 15개 문항이 포함되어 있는 210개의 문항을 2회 실시한 총 420개의 교직 적성·인성 검사점수를 고려하는 경우에는 p×o×(i:d) 설계를 적용하였다.
제안 방법
- 일례로 조운주[16]는 예비유아교사들을 대상으로 이들에게 적합한 교직 적성·인성 검사로 기존 14개 영역의 총 210문항에서 9개 영역의 총 140문항으로 수정할 것을 제안하였으며, 원혜경과 이소정[17]은 영유아의 발달을 고려하여 기존 14개 영역에 민감성 영역을 추가하여 예비유아교사에게 적합한 15개 영역의 각각 75문항을 포함하는 A세트와 B세트를 제안하였다.
- 단, D-연구 분석을 위해서는 G-연구 설계와 동일한 p×I 설계, p × (I:D)설계, 그리고 p×O×(I:D) 설계를 적용하였다.
- 교육대학원의 예비공학교사마다 총 210개 문항의 교직 적성·인성 검사점수를 고려하는 경우에는 이를 일반화가능도 분석 체계로 표현한 p×i 설계를, 예비공학교사마다 14개 영역 별로 서로 다른 15개 문항이 포함되어 있는 총 210개의 교직 적성·인성 검사점수를 고려하는 경우에는 p×(i:d) 설계를, 그리고 예비공학교사마다 14개 영역 별로 서로 다른 15개 문항이 포함되어 있는 210개의 문항을 2회 실시한 총 420개의 교직 적성·인성 검사점수를 고려하는 경우에는 p×o×(i:d) 설계를 적용하였다.
- 이 자료에는 예비공학교사들의 입학 연도에 따라 1회 또는 2회의 결과가 혼합되어 있으므로, 본 연구에서는 연구 설계에 따라 시행횟수를 고려하지 않은 연구 설계는 반복측정되지 않은 집단(No Replication Group, 이후 ‘NR-G’라고 함)으로, 그리고 시행횟수를 고려한 연구 설계는 1회와 2회 모두 검사점수가 있는 반복측정된 집단(Replication Group, 이후 ‘R-G’라고 함)으로 자료를 구분하여 분석대상으로 정하였다.
- 구체적으로 교직 적성·인성 검사를 받은 NR-G에 속하는 예비공학교사들을 시행 시기, 전공, 그리고 성별에 따라 Table 1에 빈도를 제시하였다.
- 교육대학원의 예비공학교사인 피험자(p)에게 14개 영역(d) 별로 서로 다른 15개 문항(i)이 포함되어 있는 총 210개 문항으로 구성된 교직 적성·인성 검사 표준안이 2회(o) 실시되었으므로, 본 연구에서는 3가지 G-연구설계를 분석하였다. 단, 피험자(p)는 무한한 모집단에서 무작위로 추출되었으며, 영역(d)과 문항(i)은 무한한 영역과 문항 전집에서 표집되었다고 간주하여 모두 무선효과(random effect)로 가정하였다.
- 따라서 일반화가능도 분석은 측정학적 특성 중 하나인 신뢰도를 바탕으로 그동안 교직 적성·인성 검사에 대해 교육부에서 공시한 2회 이상이라는 시행횟수에 대한 적절성에 대한 경험적 근거를 제공하는데 활용될 수 있다. 또한 시행 횟수를 2번으로 고정한 상태에서 원자료인 14개 영역의 영역 별로 15문항을 포함하는 총 210개 문항을 영역 수와 문항 수에 대한 조절을 통해 효율적인 측정 조건을 3가지 기준에서 살펴본 결과는 다음과 같다. 최소 문항 수 기준, 원자료의 14개 영역을 모두 사용하는 기준, 그리고 용이성을 기준으로 교직 적성·인성 검사를 각각 12개 영역의 영역 별로 8개 문항을 포함하는 총 96개, 14개 영역의 영역 별로 7개 문항을 포함하는 총 98개, 그리고 9개 영역의 영역 별로 14개 문항을 포함하는 총 126개 문항으로 축소하여도 적정 수준의 신뢰도에 도달하는 것으로 나타났다.
대상 데이터
- 본 연구에서는 2013년부터 2017년까지 한 교육대학원에서 교육부에서 표준안으로 보급한 교직 적성·인성검사[14]를 공학교육전공 원생들인 예비공학교사에게 실시한 결과를 분석 자료로 활용하였다.
데이터처리
- 교육대학원의 예비공학교사마다 총 210개 문항의 교직 적성·인성 검사점수를 고려하는 경우에는 이를 일반화가능도 분석 체계로 표현한 p×i 설계를, 예비공학교사마다 14개 영역 별로 서로 다른 15개 문항이 포함되어 있는 총 210개의 교직 적성·인성 검사점수를 고려하는 경우에는 p×(i:d) 설계를, 그리고 예비공학교사마다 14개 영역 별로 서로 다른 15개 문항이 포함되어 있는 210개의 문항을 2회 실시한 총 420개의 교직 적성·인성 검사점수를 고려하는 경우에는 p×o×(i:d) 설계를 적용하였다. 각 설계의 분산성분을 추정하기 위한 G-연구 분석과, 이를 바탕으로 오차국면의 수를 조절함으로써 효율적인 측정 조건을 탐색하는 D-연구 분석에는 GENOVA[20]프로그램과 엑셀을 사용하였다. 단, D-연구 분석을 위해서는 G-연구 설계와 동일한 p×I 설계, p × (I:D)설계, 그리고 p×O×(I:D) 설계를 적용하였다.
이론/모형
- 또한 교직 적성·인성 검사점수는 김정환 외[14]에서 제시한 방법에 따라 정직성과 일관성 척도에 해당하는 문항들에 대해서는 두 문항에 동일한 배점으로, 그리고 무응답은 0점으로 재코딩하였다.
성능/효과
- Cohen’s d는 NR-G의 평균에서 R-G의 평균을 뺀 후두 집단의 통합표준편로 나눈 값으로, 분산비는 R-G의 분산을 NR-G의 분산으로 나눈 값이다. 총점을 기준으로는 NR-G의 평균이 R-G의 평균보다 높으며, R-G의 분산이 NR-G의 분산보다 크게 나타났다. 또한 열정 영역에서 두 집단의 평균 차이가 가장 큰 0.
- 총점을 기준으로는 NR-G의 평균이 R-G의 평균보다 높으며, R-G의 분산이 NR-G의 분산보다 크게 나타났다. 또한 열정 영역에서 두 집단의 평균 차이가 가장 큰 0.36의 중간 효과 크기가 나타났으며, NR-G가 R-G에 비해 변동성이 24% 더 크게 나타났다.
- 피험자 효과는 8.16%로 잔차 효과를 제외하면 두 번째로 크게 나타남으로써 교직 적성·인성 검사점수에 교직 적성·인성 수준 차이가 반영되어 있다고 해석할 수 있다.
- 반면에 시행 효과와 피험자와 시행의 상호작용 효과는 각각 0.00%와 1.25%로 교직 적성·인성 검사점수에 미치는 영향력은 상대적으로 작게 나타났다.
- 잔차 효과를 제외하면 영역 내 문항 효과가 29.26%로 가장 크게 나타남으로써 영역 내 문항들의 난이도 차이가 교직 적성·인성 검사점수에 미치는 영향력은 상당히 크게 나타났다.
- 16%로 잔차 효과를 제외하면 두 번째로 크게 나타남으로써 교직 적성·인성 검사점수에 교직 적성·인성 수준 차이가 반영되어 있다고 해석할 수 있다. 다음으로 피험자와 영역의 상호작용 효과는 5.52%로 영역 효과인 1.05%보다 크게 나타났다. 이는 전체 피험자의 교직 적성·인성 검사점수는 영역 별로 큰 차이를 보이지 않으나, 교직 적성·인성 검사점수의 피험자 간 상대적 순위는 영역에 따라서 차이가 있다고 해석할 수 있다.
- 26%로 가장 크게 나타남으로써 영역 내 문항들의 난이도 차이가 교직 적성·인성 검사점수에 미치는 영향력은 상당히 크게 나타났다. 다음으로 시행횟수와 영역의 상호작용 효과, 그리고 피험자 효과 순으로 각각 14.71%와 9.29%로 나타났다. 이는 시행횟수에 따라 영역 간에 특성 차이가, 그리고 피험자의 교직 적성·인성 수준 차이가 교직 적성·인성 검사점수에 반영되어 있다고 해석할 수 있다.
- 이는 교직 적성·인성 검사점수는 시행횟수에 따라 차이가 거의 없으며, 검사점수의 상대적 순위도 시행횟수에 따라 변화가 거의 없다고 해석할 수 있다. 또한 영역 내 피험자, 시행횟수 및 문항의 상호작용을 포함한 잔차 효과는 39.50%로 가장 크게 나타났다.
- Table 6은 원자료와 같은 표본 크기를 갖는 D-연구의 분석결과이다. 국면이 늘어날수록 절대오차분산은 증가하며, 의존도계수는 감소하는 것으로 나타났다. 특히 고 전검사이론을 바탕으로 한 Cronbach‘s α는 규준참조검사에 적합한 신뢰도로 p × I 설계에서의 일반화가능도 계수와 동일하다.
- Table 7은 구체적인 영역 효과와 시행횟수 효과를 제시하였다. 각 효과는 연구 설계 중 오직 영역 국면만 또는 시행횟수 국면만 무시하였을 때의 차로 계산하였으며, 영역 효과가 시행횟수 효과보다 크게 나타났다.
- 또한 모든 G-연구 설계에서 본 연구 설계에서 고려하지 못한 국면들의 필요성을 간접적으로 설명하는 잔차 효과가 교직 적성·인성 검사점수에 가장 큰 영향력을 미치는 것으로 나타났다.
- 첫째, 교직 적성·인성 검사점수에 G-연구 p×i, p×(i:d), 그리고 p×o×(i:d) 설계를 적용하여 분석한 결과, 잔차 효과를 제외하면 피험자 효과가 두 번째 또는 세 번째로 큰 영향력을 미치는 것으로 나타났다.
- 881로 Table 6과 동일하게 나타났다. 따라서 원자료의 경우 시행횟수를 1회로 축소할 경우에 의존도 계수는 0.817로 적정 수준의 신뢰도에 도달하기 위해서는 최소 시행횟수는 2회인 것으로 나타났다.
- Table 8에 제시된 바와 같이 시행횟수를 1회로 하는 경우에는 적정 수준의 의존도계수에 도달하는 경우는 없는 것으로 나타났다. 따라서 최적의 시행횟수를 2회로 정하고 영역 수와 문항 수에 대한 효율적인 측정 조건을 탐색한 결과, 총 문항 수가 가장 작은 경우를 기준으로는 원본인 210 문항에서 12개 영역의 영역별 8개 문항을 포함하는 총 96문항으로 축소하여도 적정 수준의 의존도계수에 도달하는 것으로 나타났다. 또는 원자료의 14개 영역을 모두 사용하는 경우를 기준으로 할 때는 문항 수를 7개로 줄여 총 98개 문항으로 축소할 수 있는 것으로 나타났다.
- 따라서 최적의 시행횟수를 2회로 정하고 영역 수와 문항 수에 대한 효율적인 측정 조건을 탐색한 결과, 총 문항 수가 가장 작은 경우를 기준으로는 원본인 210 문항에서 12개 영역의 영역별 8개 문항을 포함하는 총 96문항으로 축소하여도 적정 수준의 의존도계수에 도달하는 것으로 나타났다. 또는 원자료의 14개 영역을 모두 사용하는 경우를 기준으로 할 때는 문항 수를 7개로 줄여 총 98개 문항으로 축소할 수 있는 것으로 나타났다. 만일 영역과 문항을 개발할 때 상대적으로 영역 내 문항을 개발하는 경우가 더 용이하다는 점을 기준으로 정하면 이 때 효율적인 최적의 측정조건은 총 126개 문항인 9개 영역에 영역 별 14개 문항이 포함될 수 있는 것으로 나타났다.
- 또는 원자료의 14개 영역을 모두 사용하는 경우를 기준으로 할 때는 문항 수를 7개로 줄여 총 98개 문항으로 축소할 수 있는 것으로 나타났다. 만일 영역과 문항을 개발할 때 상대적으로 영역 내 문항을 개발하는 경우가 더 용이하다는 점을 기준으로 정하면 이 때 효율적인 최적의 측정조건은 총 126개 문항인 9개 영역에 영역 별 14개 문항이 포함될 수 있는 것으로 나타났다.
- 둘째, 다양한 G-연구 설계의 분석 결과를 비교한 결과에서 시행횟수 효과가 검사점수에 미치는 영향력은 상대적으로 작게 나타났으며, 영역 효과는 시행횟수 효과보다 크게 나타났다. 이처럼 설계에서 고려하는 국면에 따라 그 국면들의 상대적인 영향력이 달라진다는 것은 관찰점수 분산 대비 진점수 분산 비율로 산출되는 고전 검사이론을 바탕으로 한 신뢰도가 과대 추정될 수 있음을 시사한다.
- 특히 Cronbach’s α는 본 연구 설계에서 단일 오차요인만을 고려하는 D-연구 p × I 설계의 규준참조검사에 적합한 일반화가능도계수로 본 연구 설계에서 산출된 어떤 신뢰도보다도 높게 나타났다.
- 최소 문항 수 기준, 원자료의 14개 영역을 모두 사용하는 기준, 그리고 용이성을 기준으로 교직 적성·인성 검사를 각각 12개 영역의 영역 별로 8개 문항을 포함하는 총 96개, 14개 영역의 영역 별로 7개 문항을 포함하는 총 98개, 그리고 9개 영역의 영역 별로 14개 문항을 포함하는 총 126개 문항으로 축소하여도 적정 수준의 신뢰도에 도달하는 것으로 나타났다.
- 넷째, 국면이 많이 포함됨으로써 이론적으로 가장 적합한 D-연구 p×O×(I:D) 설계를 분석한 결과 적정 수준의 신뢰도에 도달할 수 있는 교직 적성·인성 검사의 최적의 시행횟수는 2번인 것으로 나타났다.
- 셋째, 다양한 D-연구 설계의 분석 결과를 비교한 결과에서는 연구 설계에 국면이 늘어날수록 오차분산은 증가하며, 신뢰도인 의존도계수는 감소하는 것으로 나타났다. 특히 Cronbach’s α는 본 연구 설계에서 단일 오차요인만을 고려하는 D-연구 p × I 설계의 규준참조검사에 적합한 일반화가능도계수로 본 연구 설계에서 산출된 어떤 신뢰도보다도 높게 나타났다.
후속연구
- 즉, 예비공학교사를 대상으로 교직 적성·인성 검사를 사용할 때는 G-연구 분석 결과를 바탕으로 본 연구에서 고려하지 못한 피험자의 전공, 성별, 검사 시행시간, 그리고 시행연도 등과 같은 요인들이 고려되어야 함을 알 수 있다.
- 따라서 일반화가능도 분석은 교직 적성·인성 검사점수 차이가 교육대학원 예비공학교사의 교직 적성·인성 수준 차이 때문인지, 영역의 특성 때문인지, 영역 내 문항들의 난이도 차이 때문인지, 예비공학교사가 문항에 다르게 응답하기 때문인지 등을 포함하여 본연구에서 고려하지 못한 추가적인 요인들이 필요한지를 밝히는데 적용될 수 있다.
- 따라서 일반화가능도 분석은 측정학적 특성 중 하나인 신뢰도를 바탕으로 그동안 교직 적성·인성 검사에 대해 교육부에서 공시한 2회 이상이라는 시행횟수에 대한 적절성에 대한 경험적 근거를 제공하는데 활용될 수 있다.
- 따라서 Cronbach’s α와 같이 측정 구조를 잘 반영하지 못하는 신뢰도를 교직 적성·인성 검사의 신뢰도로 제시하기 보다는 다중 오차 요인을 고려하는 일반화가능도 분석을 바탕으로 준거참조검사에 적합한 의존도계수와 같은 보다 정밀한 신뢰도를 추정할 필요가 있다.
- 마지막으로 본 연구는 첫째, 한 교육대학원에 소속된 예비공학교사를 대상으로 분석이 수행되었으며 둘째, 새로운 연구 설계에서 고려해야 할 오차 요인에 대한 필요성만을 언급하였으며 셋째, 단변량 일반화가능도 분석을 수행함으로써 영역 별로 다른 문항들을 포함하는 문항효과의 상대적인 영향력을 분석하지 못하였으며, 그리고 넷째, 시행횟수를 제외하면 최적의 측정 조건으로 문항 수와 영역 수에 대한 정보만을 제시한다는 한계점을 갖는다. 따라서 향후 예비공학교사 전체를 대표할 수 있는 연구대상을 표집하고, 본 연구 설계에서 제안한 오차 요인을 고려한 일반화가능도 분석을 수행하며, 다변량 일반화가능도 분석을 통해 영역 내 문항 효과를 밝히며, 그리고 다변량 일반화가능도 분석 결과를 바탕으로 문항 프로파일 분석을 수행하여 교육대학원 예비공학교사에게 적합한 교직 적성·인성 검사를 구성하는 문항들을 탐색할 수 있는 지속적인 후속 연구들을 제안한다.
- 마지막으로 본 연구는 첫째, 한 교육대학원에 소속된 예비공학교사를 대상으로 분석이 수행되었으며 둘째, 새로운 연구 설계에서 고려해야 할 오차 요인에 대한 필요성만을 언급하였으며 셋째, 단변량 일반화가능도 분석을 수행함으로써 영역 별로 다른 문항들을 포함하는 문항효과의 상대적인 영향력을 분석하지 못하였으며, 그리고 넷째, 시행횟수를 제외하면 최적의 측정 조건으로 문항 수와 영역 수에 대한 정보만을 제시한다는 한계점을 갖는다. 따라서 향후 예비공학교사 전체를 대표할 수 있는 연구대상을 표집하고, 본 연구 설계에서 제안한 오차 요인을 고려한 일반화가능도 분석을 수행하며, 다변량 일반화가능도 분석을 통해 영역 내 문항 효과를 밝히며, 그리고 다변량 일반화가능도 분석 결과를 바탕으로 문항 프로파일 분석을 수행하여 교육대학원 예비공학교사에게 적합한 교직 적성·인성 검사를 구성하는 문항들을 탐색할 수 있는 지속적인 후속 연구들을 제안한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.