본 연구는 루브릭 형태로 개발된 유아 평가 중 타당성과 신뢰성을 검증받은 미국 하이스코프 재단의 유아용 Child Observation Record-II를 국내 유아를 대상으로 사용할 수 있도록 타당화하여 유아관찰기록척도(K-COR-II)로 명명하는데 있다. 이를 위해 서울, 인천, 대전, 경기 및 충북에 소재한 8개 어린이집의 만 3세부터 만 6세 유아 255명과 담임교사 32명을 대상으로 2개월 이상의 관찰 후 K-COR-II를 사용하여 평정을 실시하였고, 공인타당도 확보를 위하여 K-CDI를 함께 실시하였다. 신뢰도와 문항양호도 검중 및 타당도 검증을 위해 상관분석과 탐색적, 확인적 요인분석 및 AVE와 개념신뢰도 지수를 산출하였다. 그 결과 K-COR-II 각 항목의 내용타당도는 높게 나타났으나, 판별타당도 분석 결과 하위영역 간의 차별성은 떨어지는 것으로 밝혀졌다. 확인적 요인분석과 AVE 및 개념신뢰도 지수 산출 검토 결과 집중타당도는 만족스러운 것으로 나타났으며, K-CDI를 이용한 공인타당도 결과 각 영역 간 상관은 통계적으로 유의미한 수준으로 나타났다. 관찰자간 신뢰도와 영역별 항목간 내적합치도 또한 만족스러운 수준으로 판단되어 신뢰도 또한 확보되었으며, 각 문항별로 상 하 집단 간의 유의한 평균 차이가 있는지를 알아본 결과, 문항변별도 또한 만족스러운 것으로 판단되었다. 이에 타당화된 K-COR-II가 유아교육 및 보육현장에서 유아의 발달 수준을 가늠하는데 활용가능한 신뢰롭고 타당한 도구로 판단되었다.
본 연구는 루브릭 형태로 개발된 유아 평가 중 타당성과 신뢰성을 검증받은 미국 하이스코프 재단의 유아용 Child Observation Record-II를 국내 유아를 대상으로 사용할 수 있도록 타당화하여 유아관찰기록척도(K-COR-II)로 명명하는데 있다. 이를 위해 서울, 인천, 대전, 경기 및 충북에 소재한 8개 어린이집의 만 3세부터 만 6세 유아 255명과 담임교사 32명을 대상으로 2개월 이상의 관찰 후 K-COR-II를 사용하여 평정을 실시하였고, 공인타당도 확보를 위하여 K-CDI를 함께 실시하였다. 신뢰도와 문항양호도 검중 및 타당도 검증을 위해 상관분석과 탐색적, 확인적 요인분석 및 AVE와 개념신뢰도 지수를 산출하였다. 그 결과 K-COR-II 각 항목의 내용타당도는 높게 나타났으나, 판별타당도 분석 결과 하위영역 간의 차별성은 떨어지는 것으로 밝혀졌다. 확인적 요인분석과 AVE 및 개념신뢰도 지수 산출 검토 결과 집중타당도는 만족스러운 것으로 나타났으며, K-CDI를 이용한 공인타당도 결과 각 영역 간 상관은 통계적으로 유의미한 수준으로 나타났다. 관찰자간 신뢰도와 영역별 항목간 내적합치도 또한 만족스러운 수준으로 판단되어 신뢰도 또한 확보되었으며, 각 문항별로 상 하 집단 간의 유의한 평균 차이가 있는지를 알아본 결과, 문항변별도 또한 만족스러운 것으로 판단되었다. 이에 타당화된 K-COR-II가 유아교육 및 보육현장에서 유아의 발달 수준을 가늠하는데 활용가능한 신뢰롭고 타당한 도구로 판단되었다.
The purpose of this study was to validate Preschool Child Observation Record-II developed by High/Scope for Korean preschool children. The subjects of the study were 255 children aged three to six attending child care centers and their head teachers. They were observed for at least two months and co...
The purpose of this study was to validate Preschool Child Observation Record-II developed by High/Scope for Korean preschool children. The subjects of the study were 255 children aged three to six attending child care centers and their head teachers. They were observed for at least two months and completed the Korean version of Child Observation Record-II(K-COR-II). K-COR-II consisted of six categories and 32 items which had five-level-rubrics. The results from an exploratory factor analysis identified one dimension of the scale, there was no evidence of discriminant validity even after face validity was examined. The concurrent validity and internal consistency of the revised scale were relatively high. Also, the mean between the upper and lower groups with regard to item discrimination showed significant difference. It was concluded that K-COR-II can be used as a valid and reliable instrument to various aspects of preschool children's development.
The purpose of this study was to validate Preschool Child Observation Record-II developed by High/Scope for Korean preschool children. The subjects of the study were 255 children aged three to six attending child care centers and their head teachers. They were observed for at least two months and completed the Korean version of Child Observation Record-II(K-COR-II). K-COR-II consisted of six categories and 32 items which had five-level-rubrics. The results from an exploratory factor analysis identified one dimension of the scale, there was no evidence of discriminant validity even after face validity was examined. The concurrent validity and internal consistency of the revised scale were relatively high. Also, the mean between the upper and lower groups with regard to item discrimination showed significant difference. It was concluded that K-COR-II can be used as a valid and reliable instrument to various aspects of preschool children's development.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 연구는 루브릭 형태로 개발된 미국 하이스코프 재단의 개정판 COR을 국내 유아를 대상으로 사용할 수 있도록 타당화하는 것으로, 어린이집을 이용하는 우리나라의 만 3세부터 만 6세까지의 유아 255명을 대상으로 담임교사의 번안된 K-COR-II를 사용하여 관찰 및 평정을 실시하였다. 그 결과 판별타당도를 제외한 모든 타당도에서 만족스러운 수준으로 나타났으며, K-COR-II를 구성하는 항목의 신뢰도 및 문항변별도 결과 또한 적절한 것으로 밝혀져, 타당화된 K-COR-II가 보육현장에서 활용가능한 신뢰롭고 타당한 도구로 판단되었다.
이에 본 연구에서는 High/Scope 교육연구재단으로부터 연구목적으로 사용 허가를 받은 개정판 COR 중 유아용 버전을 국내에 적합하도록 타당화하고, 이를 ‘유아관찰기록척도(K-COR-II)’로 명명하고자 한다.
이에 적절한 요인의 수를 결정하기 위하여 스크리 도표를 살펴보았다. 스크리 도표를 이용한 요인 수 확정은 급격한 차이를 두고 고유치가 변화하는 것을 체감하기 직전까지의 요인의 수를 기준으로 요인을 추출하거나 그래프가 안정되는 지점까지의 요인 수를 포함하는 방법을 취하는 것이 일반적이다(김용석, 2009).
제안 방법
K-COR-II의 구인타당도는 판별타당도와 집중타당도 측면에서 살펴보았다. 가장 먼저 K-COR-II의 요인구조를 알아보기 위해 탐색적 요인분석을 통해 판별타당도를 실시하였다.
K-COR-II의 신뢰도를 알아보기 위하여, 내적합치도에 해당하는 Cronbach α 계수를 산출 하였다.
해당 어린이집은 만 2세 학급부터 만 5세 학급까지 모두 설치되어 만 3세부터 만 6세까지의 유아를 모두 확보할 수 있는 기관으로, 국공립 1개소, 법인·단체등 1개소, 민간 2개소, 직장어린이집 4개소였다. 각 어린이집에서는 입소 당시의 보육연령(학급 편성 연령)이 아닌 조사 당시의 실제 만 연령을 기준으로 연령별 남아 4명, 여아 4명, 총 8명을 임의로 선정하는 것을 기본으로 하였다. 이에 성별 126명씩, 연령별 64명씩, 어린이집별 32명씩, 총 256명의 유아를 본 연구의 대상으로 확보하는 것을 계획하였다.
최종 결정된 30개 문항의 K-COR-II을 이용하여 20명의 교사가 쌍을 이루어 총 10명의 유아를 대상으로 평정하였다. 관찰자 간 신뢰도 측정을 위해 주교사가 2인 이상 배치된 학급만을 선정하였으며, K-COR-II를 이용하여 2개월 이상의 관찰을 실시한 후 평정을 하도록 하였다. 그 결과 평균적으로 7.
이중 문항곤란도로도 불리는 문항난이도는 문항의 어렵고 쉬운 정도를 나타내는 것으로, 개별 문항의 정답자의 비율을 백분율로 나타낸 것이다. 그러나 K-COR-II의 각 항목은 정답 여부를 판단할 수 있는 척도에 해당하지 않으므로, 본 연구에서는 각 항목의 적절성을 검토하기 위해 문항변별도를 먼저 살펴보았다.
다음으로 과학교육, 언어교육 및 사회·정서교육 전공 교수 각 1인, 총 3인에게 원 도구인 COR-II와 1차로 번안, 제작된 K-COR-II 시안의 검토를 통해 본 척도의 타당화 가능성과 척도의 구성, 각 항목의 적절성을 확인하였다.
K-COR-II의 제작 과정을 살펴보면, High/Scope 재단으로부터 개정판 COR을 한국 척도로 타당화하고자 본 연구의 목적과 계획을 설명하여 연구목적으로 타당화가 가능함을 승인받았다. 다음으로 영문으로 제작된 개정판 COR은 본 연구자에 의해 한글로 번안되었으며, 번안된 한글판은 영문으로 역번역한 뒤 High/Scope 재단의 COR 전문가 1인으로부터 내용상의 오류를 검토 받았다. 다음으로 과학교육, 언어교육 및 사회·정서교육 전공 교수 각 1인, 총 3인에게 원 도구인 COR-II와 1차로 번안, 제작된 K-COR-II 시안의 검토를 통해 본 척도의 타당화 가능성과 척도의 구성, 각 항목의 적절성을 확인하였다.
따라서 6개 영역, 30개 항목으로 구성된 K-COR-II을 활용하여 평가된 결과를 이용하여 가장 먼저 항목 간 상관을 먼저 살펴보았다. 그 결과 모든 상관은 정적으로 나타나 항목 간의 방향성은 크게 문제가 없는 것으로 나타났다.
다음으로 과학교육, 언어교육 및 사회·정서교육 전공 교수 각 1인, 총 3인에게 원 도구인 COR-II와 1차로 번안, 제작된 K-COR-II 시안의 검토를 통해 본 척도의 타당화 가능성과 척도의 구성, 각 항목의 적절성을 확인하였다. 또한 10명의 현장 교사에게 본 척도를 활용하여 예비관찰 및 평가를 실시하여, 개별 항목의 적절성과 현장에서의 활용 가능성을 검토하였다.
본 검사는 사회성, 자조행동, 대근육 운동, 소근육 운동, 표현 언어, 언어이해, 글자와 숫자 등의 7개 영역에 걸쳐 총 270문항으로 구성된 발달항목과, 부가적으로 문제행동을 보고하도록 제작된 30개의 문제항목으로 구성되어 있으며, 주 양육자는 해당 항목에 대해 ‘예’ 또는 ‘아니오’로 응답하도록 제작되어 있다.
본 연구에서는 K-CDI의 표준화 과정에서 공인타당도 검증 방법과 동일하게 영역별 통과항목 수를 활용하였으며, 마지막 영역인 글자와 숫자 영역의 경우 K-COR-II의 수·과학 영역과의 공인타당도를 보다 면밀하게 살펴보기 위해 글자 영역과 숫자 영역으로 구분하여 두 척도의 하위 영역 간 상관관계를 분석하였다 (김정미·신희선, 2006).
본 연구의 경우 에서 보는 바와 같이 각 항목이 해당하는 영역에 상관없이 전반적으로 상관이 높은 것으로 나타난 바, 사각 회전을 적용해서 주축요인추출을 실시하였다.
K-COR-II의 1차 시안은 안면 타당도 검증을 위해 22명의 학계 및 현장 전문가를 대상으로 개별 항목에 대해 해당 영역을 측정하는데 중요한 내용에 해당하는지, 그리고 적절하게 측정이 가능한 문항인지를 검토받았다. 이를 위해 항목별로 전문가들이 얼마나 중요하다고 생각하는지, 측정하기에 적절한지를 본 연구자가 개발한 설문지를 이용하여 Likert식 5점 척도(매우 그렇다=5점, 전혀 아니다=1)를 자기보고식으로 조사하였다.
그러나 전체 항목을 탐색적 요인분석한 결과 단일차원으로 밝혀진 점은, K-COR-II가 6개 영역으로 구성된 것에 반해, 요인구조 측면에서 영역 간의 차별성이 떨어지는 것으로 판별타당성이 떨어짐을 시사한다. 이에 [그림 1]에서 보는 바와 같이, 6개 영역을 잠재변인으로, 각 영역에 해당하는 항목을 측정변인으로 측정모형을 검증하였다. 그 결과 잠재변인 간 상관이 낮게는 .
이와 같은 절차로 완성된 K-COR-II의 2차 시안은 관찰자 간 신뢰도를 위한 현장 조사를 거쳤으며, 일정 수준의 신뢰도를 확보한 후 본조사를 실시하였다. 수집된 조사 자료는 타당도, 신뢰도 및 문항양호도 검증을 통해 최종 K-COR-II이 확정되었다.
타당도 검증의 마지막 절차로 기준타당도의 일종인 공인타당도를 검증하였다. 기준으로 사용된 도구는 K-CDI로서, 사회성, 자조행동, 대근육 운동, 소근육 운동, 표현언어, 언어이해, 글자와 숫자 영역의 7개 영역으로 구성되어 있다.
개정판 COR의 경우 각 항목을 구성하는 5개 수준은 각 수준에 해당하는 설명과 함께 예시에 해당하는 2개 이상의 일화가 제시되어 있으며, 평가를 시행하는 교사는 최소 2개월 이상 평가 대상 유아를 관찰하고 개정판 COR를 숙지하여 각 유아가 해당하는 것으로 판단되는 수준을 지필식 검사지에 기입하는 방식으로 실시하도록 되어 있다. 특히 개정판 COR의 경우 타당한 평가를 위해 각 항목의 수준을 결정할 때에는 결정한 수준을 뒷받침할 수 있는 일화 기록을 최소한 2개는 기록하도록 되어 있으며, 관찰이 어려운 항목은 해당 항목을 관찰하기 위한 관련 활동을 일과 중에 실시하여 평가하는 방식을 취하였다.
이 기간 동안 관찰 대상 유아의 담임교사는 연구에 대해 소개받은 후 본 척도에 대해 숙지함과 동시에 대상 유아를 최소 2개월 이상 관찰하도록 하였다. 해당 교사는 관찰 기간 동안 지속적으로 관찰과 기록은 가능하되, K-COR-II를 이용한 유아 평가는 관찰 기간이 지난 후로 제한하였으며, K-COR-II의 응답을 완료하는 시기에 K-CDI를 작성하도록 하였다.
대상 데이터
이에 성별 126명씩, 연령별 64명씩, 어린이집별 32명씩, 총 256명의 유아를 본 연구의 대상으로 확보하는 것을 계획하였다. 그러나 실제 조사 수행 과정에서 해당 연령의 유아 수가 부족한 어린이집이 발생하여 최종적으로 본 연구의 대상이 된 유아의 수는 255명이었다. 조사된 연구대상의 분포를 유아의 성과 연령에 따라 살펴보면 다음의 <표 2>과 같다.
타당도 검증의 마지막 절차로 기준타당도의 일종인 공인타당도를 검증하였다. 기준으로 사용된 도구는 K-CDI로서, 사회성, 자조행동, 대근육 운동, 소근육 운동, 표현언어, 언어이해, 글자와 숫자 영역의 7개 영역으로 구성되어 있다. 본 연구에서는 K-CDI의 표준화 과정에서 공인타당도 검증 방법과 동일하게 영역별 통과항목 수를 활용하였으며, 마지막 영역인 글자와 숫자 영역의 경우 K-COR-II의 수·과학 영역과의 공인타당도를 보다 면밀하게 살펴보기 위해 글자 영역과 숫자 영역으로 구분하여 두 척도의 하위 영역 간 상관관계를 분석하였다 (김정미·신희선, 2006).
본 연구를 위한 관찰은 2013년 1월부터 2월까지 어린이집에 재원 중인 만 3세부터 만 6세까지의 아동 255명을 대상으로 실시하였다. 본 연구의 대상을 어린이집 이용 아동으로 제한한 이유는 원 도구인 개정판 COR이 만 2½세부터 만 6세까지 대상으로 할 수 있는데, 우리나라의 학급 편성 기준이 당해 연도 1월 1일을 기준으로 하는 만 나이이므로, 학급1)을 구성하는 원아의 생일이 빠른 경우, 2학기에는 만 1세 학급에도 만 2½세가 된 아동이 있을 수 있으며, 만 2세 학급에는 오히려 학기 중반을 넘어갈수록 만 3세에 해당하는 유아로 학급이 구성될 수 있기 때문이다.
본 조사는 2012년 12월부터 2013년 2월까지 진행되었다. 이 기간 동안 관찰 대상 유아의 담임교사는 연구에 대해 소개받은 후 본 척도에 대해 숙지함과 동시에 대상 유아를 최소 2개월 이상 관찰하도록 하였다.
이에 본 조사를 위해 서울, 인천, 대전, 경기 및 충북에 소재한 8개 어린이집을 선정하였다. 해당 어린이집은 만 2세 학급부터 만 5세 학급까지 모두 설치되어 만 3세부터 만 6세까지의 유아를 모두 확보할 수 있는 기관으로, 국공립 1개소, 법인·단체등 1개소, 민간 2개소, 직장어린이집 4개소였다.
각 어린이집에서는 입소 당시의 보육연령(학급 편성 연령)이 아닌 조사 당시의 실제 만 연령을 기준으로 연령별 남아 4명, 여아 4명, 총 8명을 임의로 선정하는 것을 기본으로 하였다. 이에 성별 126명씩, 연령별 64명씩, 어린이집별 32명씩, 총 256명의 유아를 본 연구의 대상으로 확보하는 것을 계획하였다. 그러나 실제 조사 수행 과정에서 해당 연령의 유아 수가 부족한 어린이집이 발생하여 최종적으로 본 연구의 대상이 된 유아의 수는 255명이었다.
구체적인 이유로는, 본 도구를 이용한 평가 과정에서 일상적인 관찰만으로 평가하기 어려운 항목의 경우 해당 항목에 대한 관련 활동을 일과 중에 실시하도록 되어 있는데, 만 2세 반에 해당하는 영아들은 교사가 개별적으로 활동을 먼저 제시하는 맥락에서 긴장하거나 어색해하는 등 실제 수행하는 유능감이 매우 일관되지 않는 것으로 보고되었기 때문이었다. 이에 영아반에 해당 도구를 이용한 평가가 어렵다고 판단되어, 본 도구의 대상 연령을 만 3세에서 만 6세로 수정하였다.
최종 결정된 30개 문항의 K-COR-II을 이용하여 20명의 교사가 쌍을 이루어 총 10명의 유아를 대상으로 평정하였다. 관찰자 간 신뢰도 측정을 위해 주교사가 2인 이상 배치된 학급만을 선정하였으며, K-COR-II를 이용하여 2개월 이상의 관찰을 실시한 후 평정을 하도록 하였다.
데이터처리
K-COR-II의 안면타당도 검증을 위해 평균 및 표준편차를 사용하였으며, 내적 구조를 파악하기 위하여 사각회전을 적용하여 주축요인추출을 통해 탐색적 요인분석을 실시하여 구인 타당도를 검증하였다. 또한 구인타당도에 해당하는 판별타당도와 집중타당도 검증을 위해 구조방정식을 이용하여 확인적 요인분석을 실시하였으며, 이 과정에서 산출된 요인부하량과 오차분산을 이용하여 AVE와 개념신뢰도 지수를 산출하였다.
K-COR-II의 구인타당도는 판별타당도와 집중타당도 측면에서 살펴보았다. 가장 먼저 K-COR-II의 요인구조를 알아보기 위해 탐색적 요인분석을 통해 판별타당도를 실시하였다. 탐색적 요인분석을 실시할 때 회전방법은 크게 직각 회전과 사각 회전으로 구분되는데, 직각 회전의 경우 요인 간의 상관관계가 없을 것으로 가정될 때, 사각 회전은 자료 내 요인 간 상관 또한 매우 높을 것으로 추정될 때 사용하는 것이 바람직하다(Fabrigar, 1999).
그 결과 에 제시된 바와 같이, 모든 항목에서 상위 집단이 하위 집단 보다 높은 평균 점수를 나타냈으며, 이러한 평균 차이가 통계적으로 유의미하였다.
두 번째 신뢰도 검증을 위한 방법으로 영역별 항목간 내적합치도인 Cronbach α를 산출하였다.
K-COR-II의 안면타당도 검증을 위해 평균 및 표준편차를 사용하였으며, 내적 구조를 파악하기 위하여 사각회전을 적용하여 주축요인추출을 통해 탐색적 요인분석을 실시하여 구인 타당도를 검증하였다. 또한 구인타당도에 해당하는 판별타당도와 집중타당도 검증을 위해 구조방정식을 이용하여 확인적 요인분석을 실시하였으며, 이 과정에서 산출된 요인부하량과 오차분산을 이용하여 AVE와 개념신뢰도 지수를 산출하였다. 마지막으로 K-COR-II의 잠재적인 요인의 수와 각 요인을 측정하는 적절한 문항을 파악한 후 공인타당도 검증을 위해 K-CDI와의 Pearson 적률상관계수를 산출하였다.
수집된 자료의 분석은 문항 반응 분포를 알아보기 위해 모든 문항과 영역별로 점수에 대한 평균 및 표준편차를 산출하였다. 또한 주요 기술적인 통계 이외에 연구문제별 분석은 SPSS 19.0과 AMOS 19.0을 이용하여 다음과 같이 실시하였다.
또한 구인타당도에 해당하는 판별타당도와 집중타당도 검증을 위해 구조방정식을 이용하여 확인적 요인분석을 실시하였으며, 이 과정에서 산출된 요인부하량과 오차분산을 이용하여 AVE와 개념신뢰도 지수를 산출하였다. 마지막으로 K-COR-II의 잠재적인 요인의 수와 각 요인을 측정하는 적절한 문항을 파악한 후 공인타당도 검증을 위해 K-CDI와의 Pearson 적률상관계수를 산출하였다.
수집된 자료의 분석은 문항 반응 분포를 알아보기 위해 모든 문항과 영역별로 점수에 대한 평균 및 표준편차를 산출하였다. 또한 주요 기술적인 통계 이외에 연구문제별 분석은 SPSS 19.
이에 K-COR-II 총점을 기준으로 상위 25%인 집단과 하위 25%인 집단을 구분하여 각 문항별로 상 ․ 하 집단 간에 유의한 평균 차이가 있는지를 알아보기 위해 독립표본 t 검증을 실시하였다.
한편 K-COR-II의 각 문항은 낮은 수준의 발달에서 높은 수준의 발달로 구성되어 있으므로, 문항변별도를 알아보기 위해 상하집단으로 구분한 후 독립표본 t검증을 실시하였다.
이론/모형
본 연구에서 번안하여 K-COR-II로 타당화할 도구는 하이스코프 교육연구재단이 지난 2003년에 개발, 보급한 Preschool Child Observation Record(High/Scope Educational Research Foundation, 2003)이다. 이는 1992년에 개발된 초판 COR(High/Scope Educational Research Foundation, 1992)의 개정판으로, 초판 COR의 경우 주도성, 사회적 관계, 창의적 표현, 음악과 동작, 언어와 문해, 논리와 수의 6가지 영역에 걸쳐 총 30개의 항목으로 구성되어 있는 반면, 개정판 COR은 주도성, 사회적 관계, 창의적 표현, 음악과 동작, 언어와 문해, 수·과학으로 마지막 영역명이 수정되었으며, 항목 또한 32개 항목으로 추가 구성되어 있다.
본 연구에서 타당화하고자 하는 K-COR-II에 대한 공인타당도를 구하기 위하여 ‘K-CDI 아동발달검사(이하 K-CDI)’를 함께 실시하였다.
성능/효과
30개 항목 중 과반의 쌍에서 평정 결과가 불일치한 항목은 주도성 영역의 ‘구체물을 가지고 문제 해결하기(1-2)’, 사회적 관계 영역의 ‘사회적인 문제 해결하기(2-3)’, 창의적 표현 영역의 ‘만들기와 구성하기(3-1)’, 언어와 문해 영역의 ‘단어 사용하기(5-2)’, 수·과학 영역의 ‘위치와 방향 파악하기(6-5)’와 ‘사물과 특성 언급하기(6-5)’로, 이들 6개 문항의 측정상 신뢰도가 상대적으로 떨어질 수 있음을 알 수 있었다.
K-COR-II의 제작 과정을 살펴보면, High/Scope 재단으로부터 개정판 COR을 한국 척도로 타당화하고자 본 연구의 목적과 계획을 설명하여 연구목적으로 타당화가 가능함을 승인받았다. 다음으로 영문으로 제작된 개정판 COR은 본 연구자에 의해 한글로 번안되었으며, 번안된 한글판은 영문으로 역번역한 뒤 High/Scope 재단의 COR 전문가 1인으로부터 내용상의 오류를 검토 받았다.
본 연구에서는 K-CDI의 표준화 과정에서 공인타당도 검증 방법과 동일하게 영역별 통과항목 수를 활용하였으며, 마지막 영역인 글자와 숫자 영역의 경우 K-COR-II의 수·과학 영역과의 공인타당도를 보다 면밀하게 살펴보기 위해 글자 영역과 숫자 영역으로 구분하여 두 척도의 하위 영역 간 상관관계를 분석하였다 (김정미·신희선, 2006). 그 결과 각 영역 간 상관은 통계적으로 유의미한 수준으로 나타나 K-COR-II에서 유능한 것으로 판단된 유아가 K-CDI를 이용한 평가에서도 일관되게 평가된것으로 밝혀졌다. 그러나 이러한 유의미한 상관은 수·과학 영역을 제외하면, 서로 상응할 것으로 예측되는 영역 간에 큰 차이는 없는 것으로 나타났다.
따라서 6개 영역, 30개 항목으로 구성된 K-COR-II을 활용하여 평가된 결과를 이용하여 가장 먼저 항목 간 상관을 먼저 살펴보았다. 그 결과 모든 상관은 정적으로 나타나 항목 간의 방향성은 크게 문제가 없는 것으로 나타났다. 특히 30개 항목 간 상관계수 모두가 p <.
이에 [그림 1]에서 보는 바와 같이, 6개 영역을 잠재변인으로, 각 영역에 해당하는 항목을 측정변인으로 측정모형을 검증하였다. 그 결과 잠재변인 간 상관이 낮게는 .871에서 .970까지 대단히 높게 나타나, 서로 독립된 것으로 가정되었던 각 영역이 차이가 없는 것으로 나타나 판별타당도는 매우 떨어지는 것으로 나타났다.
그 결과 주도성 영역은 .85, 사회적 관계 영역은 .81, 창의적 표현 영역은 .85, 언어와 문해 영역은 .90, 수·과학 영역은 .93으로 나타나, 본 척도가 대체로 동질적인 문항으로 구성되어 있음이 검증되었다.
본 연구는 루브릭 형태로 개발된 미국 하이스코프 재단의 개정판 COR을 국내 유아를 대상으로 사용할 수 있도록 타당화하는 것으로, 어린이집을 이용하는 우리나라의 만 3세부터 만 6세까지의 유아 255명을 대상으로 담임교사의 번안된 K-COR-II를 사용하여 관찰 및 평정을 실시하였다. 그 결과 판별타당도를 제외한 모든 타당도에서 만족스러운 수준으로 나타났으며, K-COR-II를 구성하는 항목의 신뢰도 및 문항변별도 결과 또한 적절한 것으로 밝혀져, 타당화된 K-COR-II가 보육현장에서 활용가능한 신뢰롭고 타당한 도구로 판단되었다. 타당화 과정에서 나타난 결과를 구체적으로 논의하고, 후속 연구에 대한 제언을 하면 다음과 같다.
이는 5개 수준으로 루브릭으로 구성된 COR 항목을 4~5개 연령에 걸쳐 사용하여야 하는 도구 특성상, 유아의 개인차와는 상관없이 어린 유아는 낮은 수준에 나이 많은 유아는 높은 수준에 평가되었기 때문으로 보인다. 따라서 낮은 판별타당도의 특성을 가진 본 연구 결과는 K-COR-II이 단순히 개별 유아의 발달 수준을 평가하기 위한 도구로 사용이 제한되기보다는, 루브릭의 특성을 활용한 도구로 사용될 때 더 유용할 수 있음을 시사한다.
스크리 도표 결과 요인 2부터 뚜렷하게 완만한 형태를 띠기 시작하여, 이후 고유치가 평준화되는 특성을 보여주고 있다. 따라서 본 척도의 경우는 스크리 도표 결과상 2개보다는 1개가 더 적절한 것으로 판단되었다.
먼저, 본 연구를 통해 타당화된 K-COR-II는 기존 평가 도구 대부분이 발달영역별로 구성된 것과는 달리 주도성, 음악과 동작, 창의적 표현 영역 등으로 구성되어 있어, 보육과정의 구성영역 및 환경구성을 위한 흥미 영역과 일치한다. 이에 타당화에 앞서 누리 과정 운영에 있어서 학급 운영에 대한 올바른 의사결정을 하고, 수업 계획과 결정을 합리적이고 객관적으로 내리기 위해 요구되는 유아평가를 위해 보육교사가 용이하게 활용할 수 있는 적절한 도구로 기대되었다.
7 이상이면 집중타당성이 있는 것으로 간주할 수 있다. 본 연구 결과 K-COR-II 6개 영역의 개념신뢰도는 가장 낮은 경우 .763으로 전체적으로 만족스러운 수준인 것으로 나타났다.
5를 약간 밑도는 수준으로 산출되었다. 음악과 동작 영역의 경우, 요인부하량 확인을 통한 집중타당도 검증 시 두 항목의 수렴 정도가 만족스럽지 않게 밝혀진 영역으로, AVE를 이용한 검증에서도 수용은 가능하나 바람직한 수준은 아닌 것으로 나타났다.
그 결과 <표 9>에 제시된 바와 같이, 모든 항목에서 상위 집단이 하위 집단 보다 높은 평균 점수를 나타냈으며, 이러한 평균 차이가 통계적으로 유의미하였다. 이로써 K-COR-II 항목들이 유아의 발달 수준이 높은 집단과 낮은 집단을 잘 변별해주고 있음을 보여주었다.
이에 각 문항의 특성을 검토한 결과, ‘다양한 방법으로 움직이기(4-1)’는 대근육을 이용한 기본운동 능력에 대한 유일한 문항이며, ‘노래 부르기(4-5)’ 또한 해당 영역에 개념적으로 가장 중요한 항목으로 판단되었으며, 대체할 수 있는 항목 또한 없는 것으로 판단되었다.
이에 고유값을 기준으로 추출하는 대신 추출 요인 수를 1개로 고정하여 재분석한 결과, 1 요인 모형의 고유값은 16.953, 설명 변량은 56.510%로 2 요인 모형의 요인 1보다 약간 낮은 수준이었으나, 큰 차이를 보이지는 않았다. 따라서 1 요인 모형이 더 적절한 것으로 판단되었다.
이상에서 본 바와 같이, K-COR-II의 집중타당도는 비교적 만족스럽다고 할 수 있다. 즉, 각 항목이 구성개념인 각 영역의 특성을 비교적 일관성 있게 잘 측정한 것으로 나타나, 전반적인 집중타당성에는 문제가 없는 것으로 판단되었다.
50점 이상으로 평가되어 대부분의 전문가들은 구성 항목들의 중요성을 매우 긍정적으로 평가하고 있음을 알 수 있다. 한편 측정의 적절성 측면은 4.50점 이상으로 평가된 항목은 7개에 불과하였고, 전반적인 적절성의 평균 또한 4.35점으로 4.73점이었던 중요성에 비해 상대적으로 낮았다. 특히 사회적 관계 영역의 ‘감정을 이해하고 표현하기’는 중요성 측면에서는 4.
후속연구
두 번째로, 금번 타당화된 K-COR-II을 활용함으로써, 유아를 대상으로 보육현장에서의 주도성 영역에 대한 관심 제고가 요구된다고 하겠다. K-COR-II의 하위 영역은 누리 과정의 영역과 유사한 사회적 관계, 창의적 표현, 음악과 동작, 언어와 문해, 논리와 과학 영역 이외에 주도성 영역이 포함되어 있다.
그럼에도 불구하고, 유아의 주도성은 성인주도 적인 교수-학습이 아닌 유아를 존중하고 유아의 능력을 믿는 교사의 철학이나 태도 또는 접근방식으로 받아들여지기 쉬우며, 실제적으로 보육 맥락에서 유아의 수행을 기초로 주도성을 평가하려는 시도는 거의 없는 실정이다(신은미 손복영, 2011). 따라서 금번 K-COR-Ⅱ의 타당화 작업을 통해 유아기의 주도성에 대한 접근이 좀 더 실천적인 맥락에서 안내될 수 있을 것으로 기대된다.
실제로 원 개정판 COR의 경우 검사 도구 세트에 교육과정 계획 및 실행을 위한 교사용 지침서(Teacher planning guide)가 포함되어 있는 점은 이러한 본 연구의 시사점과 맥을 같이한다고 볼 수 있다. 따라서 유아들을 대상으로 적절한 평가를 통해 개별 영유아의 특성에 대한 이해를 증진시킴과 동시에, 평가 내용을 보육과정 운영에 반영하기 적절한 도구로 활용하는데 K-COR-II가 큰 역할을 할 수 있을 것으로 기대된다.
이러한 방식의 평가는 교육과정을 운영하면서 교사가 관찰에 근거하여 발달을 평가하도록 하는 도구에서 주로 사용하는 방법이나(제주도교육청·교육과학기술부, 2008), 영아의 경우 자유놀이 중심의 일과가 강조되고 있는바, 교사가 개별적인 과제를 특정 유아에게 제시, 진행하는 평가 맥락은 영아에게 유능감이 전적으로 드러나기에 적절하지 않은 상황일 수 있다. 이와 관련하여 최근 하이스코프재단에서는 생후 6주부터 만 3세까지를 대상으로 하는 영아용 COR을 개발하여 보급하고 있는바, 새로운 도구에 대한 후속 연구가 요구된다고 하겠다.
질의응답
핵심어
질문
논문에서 추출한 답변
어린이집에서의 보육과정 운영에 있어 평가의 구체적인 내용은 무엇인가?
이에 새로 고시된 누리 과정에서도 영유아의 전반적인 발달 수준을 파악하기 위하여 어린이집에서의 보육과정 운영에 있어서 평가가 필수적임을 주지시키고 있다. 구체적으로 살펴보면, ‘3-5세 연령별 누리과정’ 고시문에 제시된 유아평가 지침은 ‘누리과정 목표와 내용에 근거한 유아의 특성과 변화 정도 평가, 유아의 지식, 기능, 태도를 포함한 평가, 유아의 일상생활과 누리과정 활동 전반에 걸친 평가, 관찰, 활동 결과물 분석, 부모면담 등 다양한 방법을 사용한 종합적 평가 및 결과 기록, 유아에 대한 이해와 누리과정 운영 개선 및 부모 면담 자료로 유아평가 결과 활용’이라는 다섯 가지의 원리를 제시하고 있다. 이는 취학 전 유아를 대상으로 하는 평가의 경우 한 가지 방식만을 활용해 측정하기보다는 다양한 정보원이 사용 가능한 비형식적이고 다차원적인 접근에 근거하여 영유아가 겪는 주관적인 경험과 맥락적인 성격을 포착할 수 있어야 함을 강조하는 것이다.
우리나라의 보육사업은 어떻게 체계화되기 시작했는가?
우리나라의 보육사업은 영유아보육법이 1991년에 제정된 이후 그 제도와 정책이 본격적으로 체계화되기 시작하였다. 이후 점차 증가하는 보육수요에 따라 1998년 영유아보육법을 일부 개정하여 어린이집의 설치를 허가제에서 신고제로 전환하고 설치 기준을 완화함으로써 민간어린이집이 급격하게 증가하게 되었다.
표준보육과정은 어떤 것을 의미하는가?
이에 따른 큰 변화들 중 하나로 국가 수준의 보육과정에 해당하는 표준보육과정의 개발과 보급을 들 수 있다. 표준보육과정은 어린이집을 이용하는 영유아를 대상으로 어떠한 목표를 가지고 어떤 태도, 지식 및 기술을 경험하도록 할 것인가에 대한 국가 수준의 문서로, 영유아의 발달적 특성과 이들을 위한 시대적 문화적 가치 및 태도에 대한 포괄적인 합의가 이루어 졌음을 의미한다(한국보육진흥원, 2010). 국가 수준의 보육과정이 고시되었다는 것은 보육현장에서 필수적으로 표준보육과정을 적용해야 한다는 것으로서, 표준보육과정의 개발과 보급을 통해 체계적인 보육과정 운영은 보육사업의 중요한 부분으로 주목받게 되었다.
Follari, L. M. (2007). National Association for the Education of Young Children: Defining best practices. In L. M. Follari (Ed.), Foundation and best practices in early childhood education (pp. 104-124). Upper Saddle River, NJ: Prentice Hall.
Goodrich, H. (1996). Understanding rubrics. Educational Leadership, 54(4), 14-17.
Goodrich-Andrade, H. (2000). Using rubrics to promote thinking and learning. Educational Leadership, 57(5), 13-18.
Goodrich-Andrade, H. (2001). The effects of instructional rubrics on learning to write. Current Issues in Education [On-line] , 4(4). Retrieved February 24, 2011, from http://cie.asu.edu/volume4/number4/index.html
Herman, J. L., Aschbacher, P. R., & Winters, L. (1992). A practical guide to alternative assessment. Alexandria, VA: Association for Supervision and Curriculum Development.
High/Scope Educational Research Foundation. (1992). Preschool Child Observation Record (COR) kit. Ypsilanti, MI: High/Scope Press.
High/Scope Educational Research Foundation. (2003). Preschool Child Observation Record (COR) kit, second edition. Ypsilanti, MI: High/Scope Press.
High/Scope Educational Research Foundation. (2005). Child Development Observation (COR) information for decision makers. Ypsilanti, MI: High/Scope Press.
Ireton, H. (1992). Child Development Inventory Manual. Minneapolis, MN: Behavior Science Systems.
Marzano, R. J., Pickering, D. J., & McTighe, J. (1993). Assessing student outcomes: Performance assessment using the Dimensions of Learning model. Alexandria, VA: Association for Supervision and Curriculum Development.
McAfee, O., & Leong, D. J. (2009). 발달과 학습에 대한 유아평가 [Assessing and guiding young children's development and learning, 4th ed.]. (김경철, 이진희, 최미숙, 황윤세 역). 서울: 학지사(원전 2008년 출판).
National Association for the Education of Young Children. (2003). Early childhood curriculum, assessment, and program evaluation: Building an effective, accountable system in programs for children birth through age 8. Retrieved September 10, 2010, from http://www.naeyc.org/files/naeyc/file/positions/ CAPEexpand.pdf
Wortham, S. C. (2010). 유아교육과 평가 [Assessment in early childhood education, 5th ed.]. (김경철, 이진희, 최미숙, 황윤세 역). 서울: 정민사(원전 2008년 출판).
※ AI-Helper는 부적절한 답변을 할 수 있습니다.