수학 학업성취도가 높은 국가의 수학-정의적 영역 요인 분석 및 측정 동일성 검증 Factor Analysis and Measurement Invariance Test of Mathematical Affectiveness in High Mathematical Achievement Countries원문보기
수학 학습과 성취에 있어서 인지적 영역뿐만 아리나 정의적 영역의 여러 요인이 영향을 주고 있다는 연구가 활발하게 진행되고 있으며 교육 활동에 있어서 정의적 영역에 대한 중요성 인식은 국가수준의 교육과정 개정이나 학업성취도 평가, 국제비교평가 연구 등에서도 확인해 볼 수 있다. 이와 같이 수학 학습과 성취에 영향을 주는 요인으로서 정의적 요소를 살펴보기 위한 다양한 연구 방법 중에 대규모의 표집집단을 대상으로 하는 경우 가장 보편적이고 일반적으로 사용되는 것이 설문에 따른 반응을 분석하는 것이다. 이에 본 연구에서는 PISA 2003과 TIMSS 2007의 자료를 분석하여 수학 학업 성취도가 상대적으로 높은(상위 30%) 국가를 선정하고 각 국가의 정의적 영역 성취점수를 분석함으로써 국제비교평가의 결과를 바탕으로 한 우리나라 학생들의 정의적 특성을 잘 파악할 수 있는지를 알아보았다. 이 결과를 바탕으로 우리나라 학생들의 정의적 특성을 파악하기 위한 설문 문항 개발의 필요성을 확인하였고 대규모 국제비교평가의 설문문항이 우리나라 학생들을 대상으로 하는 설문 문항 개발에 어떤 시사점을 줄 수 있는지 고찰하였다.
수학 학습과 성취에 있어서 인지적 영역뿐만 아리나 정의적 영역의 여러 요인이 영향을 주고 있다는 연구가 활발하게 진행되고 있으며 교육 활동에 있어서 정의적 영역에 대한 중요성 인식은 국가수준의 교육과정 개정이나 학업성취도 평가, 국제비교평가 연구 등에서도 확인해 볼 수 있다. 이와 같이 수학 학습과 성취에 영향을 주는 요인으로서 정의적 요소를 살펴보기 위한 다양한 연구 방법 중에 대규모의 표집집단을 대상으로 하는 경우 가장 보편적이고 일반적으로 사용되는 것이 설문에 따른 반응을 분석하는 것이다. 이에 본 연구에서는 PISA 2003과 TIMSS 2007의 자료를 분석하여 수학 학업 성취도가 상대적으로 높은(상위 30%) 국가를 선정하고 각 국가의 정의적 영역 성취점수를 분석함으로써 국제비교평가의 결과를 바탕으로 한 우리나라 학생들의 정의적 특성을 잘 파악할 수 있는지를 알아보았다. 이 결과를 바탕으로 우리나라 학생들의 정의적 특성을 파악하기 위한 설문 문항 개발의 필요성을 확인하였고 대규모 국제비교평가의 설문문항이 우리나라 학생들을 대상으로 하는 설문 문항 개발에 어떤 시사점을 줄 수 있는지 고찰하였다.
Recognizing the importance of affective factors in mathematical learning and achievement, international comparative assessment as PISA and TIMSS survey affective achievement as well as scholastic achievement. On the affective survey those items of PISA are categorized by 5 factors ; interest of math...
Recognizing the importance of affective factors in mathematical learning and achievement, international comparative assessment as PISA and TIMSS survey affective achievement as well as scholastic achievement. On the affective survey those items of PISA are categorized by 5 factors ; interest of mathematics, instrumental motivation, Mathematics self-efficacy, mathematics anxiety, mathematics self-concept) and those of TIMSS are categorized by 3 factors; Positive affect toward mathematics (PATM), Students' Self-Confidence in Learning Mathematics(SCM), and Students' Valuing Mathematics(SVM). In this study we carried out Exploratory Factor Analysis, Confirmatory Factor Analysis and Measurement Equivalence/Invariance to find whether the constructs are well defined and divided. As a result of our analysis, some factors were overlapped in PISA whereas the items of TIMSS were categorized as intended in TIMSS study. Based on these results, it is confirmed that the questionnaire items need to be developed to understand our students affective characteristics. Also, how questionnaire of large-scaled international assessment can give implication to the development of the questionnaire of Korean specific.
Recognizing the importance of affective factors in mathematical learning and achievement, international comparative assessment as PISA and TIMSS survey affective achievement as well as scholastic achievement. On the affective survey those items of PISA are categorized by 5 factors ; interest of mathematics, instrumental motivation, Mathematics self-efficacy, mathematics anxiety, mathematics self-concept) and those of TIMSS are categorized by 3 factors; Positive affect toward mathematics (PATM), Students' Self-Confidence in Learning Mathematics(SCM), and Students' Valuing Mathematics(SVM). In this study we carried out Exploratory Factor Analysis, Confirmatory Factor Analysis and Measurement Equivalence/Invariance to find whether the constructs are well defined and divided. As a result of our analysis, some factors were overlapped in PISA whereas the items of TIMSS were categorized as intended in TIMSS study. Based on these results, it is confirmed that the questionnaire items need to be developed to understand our students affective characteristics. Also, how questionnaire of large-scaled international assessment can give implication to the development of the questionnaire of Korean specific.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
여기서 중요하게 참조하는 것은 요인계수의 크기가 적절한지이며, 요인계수가 너무 작으면 수렴 타당도가 낮다고 할 수 있다. 그리고 요인 간 상관이 너무 크게 나타나 요인 간 변별이 되지는 않는지 확인하고자 한다. 요인을 구성할 때는 요인계수의 절댓값이 0.
측정단위 동일성 검증에서는 측정틀 동일성 검증 모형에서 국가 간 요인계수들이 같도록 제약한다. 그리고 이전 측정틀 동일성 검증 모형과의 합치도 차이를 통해 측정단위 동일성이 만족될 수 있는지 판단하게 된다. 이후 요인분산, 요인공분산, 측정오차분산 동일성 검증에서는 순서대로 요인분산, 요인공분산, 그리고 측정오차분산을 국가 간에 동일하도록 제약하면서 전모형과의 비교를 통해 동일성을 검증하게 된다.
대규모의 국제비교평가인 PISA 2003과 TIMSS 2007에서 높은 수준의 성취를 보인 국가들을 대상으로 PISA와 TIMSS의 본래 의도대로 정의적 요인들3)이 잘 나타나는 개념들인지 각 국가별로 탐색적 요인분석을 실시한다. 또한 확인적 요인분석을 실시한 후, 7개의 국가4)를 통합하여 분석하는 다집단 분석을 실시하여 각 국가들의 요인구조가 같다고 할 수 있는지 확인해 보고자 한다. 이 결과를 바탕으로 우리나라 학생들의 수학 성취도에 영향을 미치는 정의적 영역 요소를 조사하기 위한 설문 문항 개발의 필요성을 재고(再考)하고 우리나라 학생들에게 적합한 문항 개발에 대한 시사점을 논의할 것이다.
같은 문항이라 하더라도 그것을 읽고 받아들이는 정도나 응답 척도에 반응하는 범위가 다를 수 있기 때문이다. 이에 본 연구에서는 모든 피험자가 같은 문항에 대해 응답하고 같은 기준에 의해 수준이 구분되는 국제비교평가나 전수조사가 가능해진 국가수준의 성취도 평가에서 나타나는 학생들의 수학에 대한 정의적 영역의 성취 특성을 파악하는 것의 문제점은 없는지 살펴보고, 우리나라 학생들의 특성을 제대로 해석할 수 있는 설문 문항 개발의 필요성을 역설하였다.
높은 학업성취에 비해 정의적 영역의 성취가 상대적으로 낮음에도 불구하고 이와 같은 현상에 대한 분석이나 해석을 위한 연구는 아직 미진한 상황이다. 이에 본 연구에서는 수학 학습과 성취에 관련된 정의적 요인을 살펴보기 위한 설문 연구법에 대하여, 우리나라 학생들이 보여주는 특징이나 현상을 알아보기 위한 도구로서 어떤 요건을 갖추어야 할 것인지를 논의할 것이다. 이를 바탕으로 효과적으로 측정해 낼 수 있는 설문 도구를 개발하기 위한 선행연구로서 우선 측정 도구의 신뢰도와 타당도, 문항 합치도 등을 검증받은 대규모 국제비교평가(PISA, TIMSS)의 정의적 영역에 대한 설문 문항을 세 가지 방법으로 분석하고자 한다.
제안 방법
PISA와 TIMSS의 문항들의 구성 요소들을 확인하기 위하여 각 국가들을 대상으로 PISA나 TIMSS에서 원래 의도했던 대로 정의적 요인들이 잘 나타나는 개념들인지 탐색적 요인분석을 실시하였다. 탐색적 요인분석을 위해 SPSS 17.
각 나라별로 같은 측정 도구에 대해 측정 동일성이 나타나는지를 확인하기 위하여 구조방정식 다집단 분석을 실시하였다. 즉, PISA 2003의 7개 국가들과 TIMSS 2003의 7개 국가들의 자료를 같은 모형에 합치시켜보는 다집단 분석을 실시하였다.
이를 바탕으로 효과적으로 측정해 낼 수 있는 설문 도구를 개발하기 위한 선행연구로서 우선 측정 도구의 신뢰도와 타당도, 문항 합치도 등을 검증받은 대규모 국제비교평가(PISA, TIMSS)의 정의적 영역에 대한 설문 문항을 세 가지 방법으로 분석하고자 한다. 대규모의 국제비교평가인 PISA 2003과 TIMSS 2007에서 높은 수준의 성취를 보인 국가들을 대상으로 PISA와 TIMSS의 본래 의도대로 정의적 요인들3)이 잘 나타나는 개념들인지 각 국가별로 탐색적 요인분석을 실시한다. 또한 확인적 요인분석을 실시한 후, 7개의 국가4)를 통합하여 분석하는 다집단 분석을 실시하여 각 국가들의 요인구조가 같다고 할 수 있는지 확인해 보고자 한다.
또한, 각 국가들을 대상으로 PISA에서 원래 의도했던 대로 정의적 요인들(수학에 대한 흥미, 도구적 동기, 자아효능감, 불안, 자아개념)이 잘 나타나는 개념들인지 확인적 요인분석을 하였다. 확인적 요인분석을 위해 AMOS 7.
즉, PISA 2003의 7개 국가들과 TIMSS 2003의 7개 국가들의 자료를 같은 모형에 합치시켜보는 다집단 분석을 실시하였다. 먼저 국가 간에 요인구조의 틀이 같은지 검증해보는 측정틀 동일성 검증의 단계로부터 시작하여, 요인계수가 같은지 검증해보는 측정단위 동일성, 그리고 요인분산/공분산 동일성을 검증한 후, 측정오차분산이 같은지 검증하고, 절편이 같은지 확인하는 측정원점 동일성 검증을 실시하였다. PISA 2003과 TIMSS 2007의결과는 다음과 같다.
연구의 목적에 따라 다르지만, 보통 측정 동일성 검증을 하는 순서는 다음과 같다(Vandenberg & Lance, 2000). 먼저 측정틀 동일성(configurational invariance)을 검토한 후, 측정단위 동일성(metric invariance), 측정원점 동일성(scalar invariance), 요인분산/공분산 동일성(invariant factor variance/covariance), 측정오차분산 동일성(invariant uniqueness) 순서로 검증을 실시한다. 보통 측정원점 동일성 검증까지는 이루어져야 두 집단 간 비교가 가능하다고 할 수 있다.
측정 구성 요소를 탐색적으로 확인해보기 위하여 탐색적 요인분석을 실시하였다. 요인추출방법은 주축 분해 방법을 사용했고, 회전은 요인 간 상관이 있도록 하는 오블리민 회전을 하였다. PISA 2003의 경우는 요인 개수를 5개로 설정하였고, TIMSS 2007의 경우는 요인의 개수를 3개로 설정하여 결과를 확인하였다.
이에 본 연구에서는 수학 학습과 성취에 관련된 정의적 요인을 살펴보기 위한 설문 연구법에 대하여, 우리나라 학생들이 보여주는 특징이나 현상을 알아보기 위한 도구로서 어떤 요건을 갖추어야 할 것인지를 논의할 것이다. 이를 바탕으로 효과적으로 측정해 낼 수 있는 설문 도구를 개발하기 위한 선행연구로서 우선 측정 도구의 신뢰도와 타당도, 문항 합치도 등을 검증받은 대규모 국제비교평가(PISA, TIMSS)의 정의적 영역에 대한 설문 문항을 세 가지 방법으로 분석하고자 한다. 대규모의 국제비교평가인 PISA 2003과 TIMSS 2007에서 높은 수준의 성취를 보인 국가들을 대상으로 PISA와 TIMSS의 본래 의도대로 정의적 요인들3)이 잘 나타나는 개념들인지 각 국가별로 탐색적 요인분석을 실시한다.
각 나라별로 같은 측정 도구에 대해 측정 동일성이 나타나는지를 확인하기 위하여 구조방정식 다집단 분석을 실시하였다. 즉, PISA 2003의 7개 국가들과 TIMSS 2003의 7개 국가들의 자료를 같은 모형에 합치시켜보는 다집단 분석을 실시하였다. 먼저 국가 간에 요인구조의 틀이 같은지 검증해보는 측정틀 동일성 검증의 단계로부터 시작하여, 요인계수가 같은지 검증해보는 측정단위 동일성, 그리고 요인분산/공분산 동일성을 검증한 후, 측정오차분산이 같은지 검증하고, 절편이 같은지 확인하는 측정원점 동일성 검증을 실시하였다.
0으로 다집단 분석을 실시하였다. 측정 동일성의 순서는 측정틀 동일성, 측정단위 동일성, 요인분산 동일성, 요인공분산 동일성, 측정오차분산 동일성, 그리고 측정원점 동일성 검증의 순서로 실시했다. 측정틀 동일성 검증에서는 각 국가들의 자료를 확인적 요인분석 모형에 합치시키게 되는데이 때 모수, 예를 들면 요인계수, 요인분산 또는 공분산, 측정오차분산, 절편 등에는 아무런 제약을 주지 않아, 각 국가별로 개별의 모수를 추정하게 된다.
그리고 요인들을 회전하여 다시 추출해본다. 회전된 요인에서 관계가 있는 요인에 해당하는 문항들의 내용에 근거해서 요인의 이름을 붙이고 이를 해석한다.
대상 데이터
PISA의 경우, PISA 2003 참여국 중 수학 성취도가 높은 국가를 선정하였다. PISA 분석에 포함된 국가는 우리나라를 비롯하여 호주, 캐나다, 핀란드, 홍콩, 일본, 뉴질랜드의 7개국이다. PISA에 포함된 정의적 영역으로는 수학에 대한 흥미와 즐거움, 수학에서의 도구적 동기, 수학에 대한 자아효능감, 수학에 대한 불안감, 수학에 대한 자아개념이 있다.
TIMSS의 경우 TIMSS 2007 참여국 중 수학 성취도가 높으면서 정의적 영역에서도 높은 점수를 보이는 국가를 선정하였다. TIMSS 분석에 포함된 국가는 우리나라를 비롯하여 영국, 홍콩, 일본, 싱가포르, 타이완, 미국의 7개국이다. TIMSS에 포함된 정의적 영역으로는 자신감지수, 즐거움 인식지수, 가치인식 지수 등이 있으며 이 연구에서는 3가지 항목에 TIMSS 2007의 정의적 영역에 해당하는 요인은 수학학습의 즐거움 인식, 수학학습에 대한 자신감, 수학 학습에 대한 가치 인식인데(Mullis, Martin, Ruddock, O'Sullivan, Arora, & Erberber, 2005; 김경희 외, 2008b) 본 연구에서는 이를 각각 요인 T-1, T-2, T-3으로 표기할 것이다.
TIMSS의 경우 TIMSS 2007 참여국 중 수학 성취도가 높으면서 정의적 영역에서도 높은 점수를 보이는 국가를 선정하였다. TIMSS 분석에 포함된 국가는 우리나라를 비롯하여 영국, 홍콩, 일본, 싱가포르, 타이완, 미국의 7개국이다.
수학 학습과 성취에 영향을 미치는 정의적 요인을 알아보기 위한 설문 연구 도구 및 자료를 분석하기 위해 공개되어 있는 자료 중 수학에 대한 문항이 가장 많이 포함되어 있는 PISA 2003과 TIMSS 2007의 자료를 선정하였다.
데이터처리
PISA 2003과 TIMSS 2007에서 국가들 간 측정 동일성을 확인하기 위해 AMOS 7.0으로 다집단 분석을 실시하였다. 측정 동일성의 순서는 측정틀 동일성, 측정단위 동일성, 요인분산 동일성, 요인공분산 동일성, 측정오차분산 동일성, 그리고 측정원점 동일성 검증의 순서로 실시했다.
PISA나 TIMSS에서 의도한대로 요인구조가 나타나는지에 대해 측정 도구를 검증하기 위하여 확인적 요인분석을 실시하였다. 확인적 요인분석에서 PISA 2003자료에는 5개 요인을, TIMSS 2007 자료에는 3개 요인을 설정하였고 이에 대한 분석 결과는 다음과 같다.
각 국가별로 구인타당도를 검증하기 위하여 우선 탐색적 요인분석을 실시하였고, PISA와 TIMSS에서 나타내는 이론에 근거한 확인적 요인분석을 실시하였다.
측정 구성 요소를 탐색적으로 확인해보기 위하여 탐색적 요인분석을 실시하였다. 요인추출방법은 주축 분해 방법을 사용했고, 회전은 요인 간 상관이 있도록 하는 오블리민 회전을 하였다.
또한, 각 국가들을 대상으로 PISA에서 원래 의도했던 대로 정의적 요인들(수학에 대한 흥미, 도구적 동기, 자아효능감, 불안, 자아개념)이 잘 나타나는 개념들인지 확인적 요인분석을 하였다. 확인적 요인분석을 위해 AMOS 7.0 소프트웨어를 사용했고, 각각 PISA와 TIMSS에서 원래 의도했던 5개의 요인과 3개의 요인이 잘 나타나는지 분석하였다.
이론/모형
요인추출 방법은 주축 요인 방법(principle factor extraction)을 사용했고, 해석을 위해 회전은 요인 간 상관이 최대로 있도록 하는 직접 오블리민(direct oblimin, δ=0)을 사용했다.
성능/효과
결과를 살펴보면, 영국과 미국은 확실하게 합치도 지수들이 좋은 반면, 우리나라, 싱가포르, 대만은 보통 수준, 홍콩과 일본은 합치도 지수가 조금 낮은 편이었다. 우리나라와 싱가포르, 대만은 TLI와 CFI가 .
PISA 2003의 측정 동일성 검증을 실시한 결과 다음과 같은 결과가 나타났다. 결과에서 볼 수 있듯이 측정오차분산 동일성까지는 대체적으로 합치도가 좋은 것을 알 수 있다. 그러나 측정원점 동일성 검증에서 모형의 합치도가 TLI가 .
PISA 2003과 TIMSS 2007에서 제작・사용한 정의적 영역에 대한 설문 문항은 같은 요인을 측정했을 뿐만 아니라 요인 간 상관도 같고, 측정의 신뢰도도 같다고 할 수 있다. 그러나 요인 분석 결과 및 측정 동일성 검증 결과를 살펴보면, 각 연구에서 사용된 문항이 측정하고자 하는 것을 잘 나타내고는 있으나 학생들의 반응결과는 이들 문항에서 묻는 바를 다른 요인으로 받아들이거나 여러 가지 요인에 걸쳐서 받아들였다는 것을 보여주는 부분도 있었다. 이는 문항이 제작되고 각 국가의 언어로 번역되는 과정에서의 미묘한 뉘앙스 차이, 같은 용어에 대한 문화적 인식의 차이나 심리적 수용의 차이 등에 의한 결과로 해석해 볼 수 있다.
결과에서 볼 수 있듯이 측정오차분산 동일성까지는 대체적으로 합치도가 좋은 것을 알 수 있다. 그러나 측정원점 동일성 검증에서 모형의 합치도가 TLI가 .885, CFI가 .873으로 측정오차분산에 비해 많이 나빠져 측정원점 동일성은 만족하지 않는다고 결론내릴 수 있다. 나.
위에서 말한 것처럼, 요인분산 동일성과 동시에 만족되면 모든 집단에서 요인 간 상관이 같다고 할 수 있다. 다섯 번째, 측정오차분산 동일성(invariant uniqueness)은 집단 간 측정 오차분산들이 동일한 것을 나타낸다. 아직까지는 측정오차분산 동일성을 독립적으로 해석하는 경우는 없으며, 요인분산 동일성과 동시에 만족된다면, 집단 간 신뢰도가 같다는 결론을 내릴 수 있다.
우리나라는 요인구조가 가장 복잡한 국가 중에 하나였다. 문항1(:나는 수학 공부하는 것이 즐겁다), 문항 2(:수학은 지루하다), 문항 3(:나는 수학을 좋아한다)의 요인 A와 요인 C에 대한 요인계수가 동시에 높게 나타났고, 문항9(나는 다른 과목을 배우는 데 수학이 필요하다고 생각한다)는 요인B와 요인C에 걸쳐 있었다. 또한, 기존에 TIMSS에서 수학에 대한 즐거움 인식(요인 T-1)과 수학에 대한 자신감(요인 T-2)에 해당하는 문항들이 하나의 요인, 즉, 요인 A로 묶이었다.
분석 결과에서 알 수 있듯이, 측정틀, 측정단위, 요인분산, 요인공분산, 측정오차분산 까지는 합치도가 양호하다. 물론 카이제곱 검증을 하면 유의하게 나오지만, 카이제곱은 표본 수에 영향을 받기 때문에 여기서는 참고적으로만 사용된다.
553으로 적절하였다. 요인의 개수를 5개로 넣고 탐색해 본 결과, 첫번째 요인인 요인 A에 해당하는 문항들은 수학에 대한 흥미(요인 P-1)와 자아개념(요인 P-5) 에 해당하는 내용으로, PISA에서 이론적으로두 개로 나뉘어져 있던 요인들이 합쳐져서 나타났다. 또한 PISA 2003에서 자기효능감(요인 P-3)과 관련된다고 한 문항들은 요인 B와 요인 D로 나뉘어져 두 개의 요인이 되었다.
일본의 경우는 요인 간에 약간 걸친 구조를 볼 수 있었다. 즉, 문항3(:나는 수학을 좋아한다)은 요인 A와 요인 B에 대해 요인계수가 높게 나타나고, 문항8(:나는 수학을 배우는 것이 일상생활을 하는데 도움이 된다고 생각한다)과 문항9(:나는 다른 과목을 배우는데 수학이 필요하다고 생각한다)는 요인 B와 요인 C에 걸쳐 요인계수가 높게 나타났다. 요인 간 상관은 -.
탐색적 요인분석 결과를 종합해 보면, 원래 의도했던 대로 정의적 영역의 요인들이 가장잘 나뉜 국가는 호주였다. 즉, 하나의 문항이 묻고자 하는 것이 하나의 요인으로 나타났다고볼 수 있다.
탐색적 요인분석의 결과를 종합해 보자면, 홍콩과 서양권 국가들은 대부분 원래 의도했던대로 3요인 구조가 나타나는 것을 볼 수 있었다. 하지만 동양권 국가들은 문항들이 여러 요인에 걸친 구조를 형성하여 3개의 요인마다 해당하는 문항들이 확실하게 나타나지 않아 수렴타당도가 조금 낮게 나왔다.
후속연구
따라서 전국의 모든 학생들을 대상으로 한 평가에서 활용하기 위해서는 정의적 영역에 대한 문항을 좀 더 보완하고 수정해야 할 필요가 있다. 그러나 새로운 설문 도구 개발에 앞서 기존에 활용된 문항을 면밀하게 분석함으로써 우리나라 학생들의 높은 학업 성취와 상반되는 정의적 영역의 특징에 대한 원인 규명과 진단을 내릴 수 있어야 할 것이다.
그러므로 우리나라 학생들이 설문에 응답하는 유형의 특성, 예를 들면 엄격화의 정도나 자기 겸양의 인식 정도, 문항의 의미 전달과정에서의 중의적 해석 여부 등을 면밀히 고려하여 설문 문항을 개발하고 그 결과를 분석함으로써 우리나라 학생들의 특성을 목적에 맞게 파악할 수 있도록 해야 할 것이다. 또한 이를 바탕으로 비교국제비교평가 문항에서의 응답 분포나 특징에 대해 보다 정확하고 타당한 해석도 가능해 질 수 있을 것이다.
그러므로 우리나라 학생들은 어떤 정의적 특성을 가지고 있으며 이것이 그들의 수학 학습과 성취에 있어서 어떤 영향을 끼치는지를 연구하기 위해서는 우리나라 학생들이 자연스럽게 받아들이고 반응할 수 있는 설문 문항을 개발해야 한다. 문항 개발과 응답 분석에 필요한 여러 가지 통계적 기술을 이용하여 문항이 측정하고자 하는 것을 제대로 측정할 수 있도록, 가장 정확하게 학생들이 설문 문항에 반응하는 눈높이를 정확히 파악하고, 이를 반영한 문항의 진술, 배치 등을 고려하여 문항을 개발하여 설문지를 제작하여야 할것이다. 앞으로 지속적인 국가수준의 평가와 그 결과의 교육적 활용이 이루어지기 위해서는 수학 성취도 평가를 위한 내용영역의 문항 개발뿐만 아니라 이에 영향을 주는 정의적 요인을 찾고 분석하는 작업도 필요하다.
문항 개발과 응답 분석에 필요한 여러 가지 통계적 기술을 이용하여 문항이 측정하고자 하는 것을 제대로 측정할 수 있도록, 가장 정확하게 학생들이 설문 문항에 반응하는 눈높이를 정확히 파악하고, 이를 반영한 문항의 진술, 배치 등을 고려하여 문항을 개발하여 설문지를 제작하여야 할것이다. 앞으로 지속적인 국가수준의 평가와 그 결과의 교육적 활용이 이루어지기 위해서는 수학 성취도 평가를 위한 내용영역의 문항 개발뿐만 아니라 이에 영향을 주는 정의적 요인을 찾고 분석하는 작업도 필요하다. 이를 위해서는 우리나라 학생들의 정의적 특성을 파악하기에 적합한 설문 문항 개발이 반드시 이루어져야 한다.
또한 확인적 요인분석을 실시한 후, 7개의 국가4)를 통합하여 분석하는 다집단 분석을 실시하여 각 국가들의 요인구조가 같다고 할 수 있는지 확인해 보고자 한다. 이 결과를 바탕으로 우리나라 학생들의 수학 성취도에 영향을 미치는 정의적 영역 요소를 조사하기 위한 설문 문항 개발의 필요성을 재고(再考)하고 우리나라 학생들에게 적합한 문항 개발에 대한 시사점을 논의할 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
다집단 분석은 무엇을 목적으로 실시되는가?
다집단 분석은 서로 다른 모집단 즉, 다른 특성을 가진 집단의 자료들을 모형에 합치시켜 봄으로써, 집단 간 비교를 하고자 하는 목적으로 실시된다(Byrne, Shavelson, & Muthen, 1989; Joreskog, 1971). 집단 간 비교 검증을 하기 위해서는 우선 집단 간 측정 동일성이 충족되는지 확인하는 작업이 필수적이다.
요인분석이란?
구인 타당도를 검증하는 통계적 방법 중가장 대표적인 것이 요인분석(factor analysis)이라고 할 수 있다. 요인분석이란 여러 변수 사이에 존재하는 상호관련성을 찾아내어 소수의 요인으로 추출하여 요인들의 의미를 부여하는 통계적인 방법이다. 성태제(2002)는 요인분석을 통한 구인타당도를 검증하는 기본 절차를 간단히 설명하였는데, 우선 필요한 문항을 제작하여 검사를 실시한 후에 문항점수를 얻는 것이 기본이 된다.
PISA 2003에서 조사한 정의적 영역을 알아보는 설문 문항을 네 가지 영역으로 구분하면?
PISA 2003에서 조사한 정의적 영역은 수학에 대한 흥미, 수학에 대한 도구적 동기, 수학에 대한 자아 개념, 수학에 대한 자아효능감, 수학에 대한 불안감을 알아보는 설문 문항으로 구성되어 있는데(이미경 외, 2004), 각각의 문항은 다음과 같이 크게 네 가지의 영역으로 구분할 수 있다. 첫째, 동기유발과 관련된 요인 및 학교에 대한 일반적인 태도를 묻는 영역으로 수학에 대한 흥미와 즐거움, 수학에 대한 도구적 동기, 학교에 대한 태도, 학교에 대한 소속감을 묻는 문항이 포함되어 있다. 둘째, 수학에 대한 학습자 관련 신념을 묻는 영역으로 수학에 대한 자기 효능감, 자아개념을 묻는 문항이 포함된다. 셋째, 수학에 대한 감정적 요인을 묻는 영역으로 여기 에는 수학에 대한 불안을 묻는 문항이 포함된다. 끝으로 수학에 대한 학습 전략을 묻는 영역으로 여기에는 기억이나 연습 전략, 정교화 전략, 통제 전략 등에 대한 문항이 포함되어 있다. 그리고 TIMSS 2007은 수학에 대한 자신감, 수학 학습에 대한 즐거움 인식, 수학에 대한 가치 인식을 알아보는 문항으로 구성된(김경희 외, 2008a) 설문지를 통해 학생들의 수학에 대한 정의적 성취를 측정하고자 하였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.