본 연구의 목적은 교육복지우선지원사업 성과지표 개발 연구의 연장선으로, 학교 현장에의 적용을 위해 내용타당도를 확보하는 것이다. 본 연구에 사용된 교육복지우선지원사업 성과지표(안)은 6개 대영역, 33개 하위영역, 233개 문항으로 구성되었다. 교육복지 분야 박사급 전문가 5인을 대상으로 2회의 전문가 회의를 실시하였고, 현장에서 5년 이상 근무한 교육복지사 99명을 대상으로 델파이조사를 실시하였다. 문항 선정 기준($CVR{\geq}.29$, $CVI{\geq}.80$, 수렴도<.50, 합의도${\geq}.05$, 안정도${\leq}.80$, $M{\geq}3.00$, SD<.80, 신뢰도${\geq}.6$)을 적용하여, 6개 대영역, 23개 하위영역, 93개 문항에 대해 타당성을 확보하였고, 이 중 신뢰도가 낮은 3문항을 제외하여 최종 90문항으로 확정하였다. 교육복지우선지원사업 성과지표가 현장에서 보다 유용하게 활용되기 위한 제언과 후속 연구를 제시하였다.
본 연구의 목적은 교육복지우선지원사업 성과지표 개발 연구의 연장선으로, 학교 현장에의 적용을 위해 내용타당도를 확보하는 것이다. 본 연구에 사용된 교육복지우선지원사업 성과지표(안)은 6개 대영역, 33개 하위영역, 233개 문항으로 구성되었다. 교육복지 분야 박사급 전문가 5인을 대상으로 2회의 전문가 회의를 실시하였고, 현장에서 5년 이상 근무한 교육복지사 99명을 대상으로 델파이조사를 실시하였다. 문항 선정 기준($CVR{\geq}.29$, $CVI{\geq}.80$, 수렴도<.50, 합의도${\geq}.05$, 안정도${\leq}.80$, $M{\geq}3.00$, SD<.80, 신뢰도${\geq}.6$)을 적용하여, 6개 대영역, 23개 하위영역, 93개 문항에 대해 타당성을 확보하였고, 이 중 신뢰도가 낮은 3문항을 제외하여 최종 90문항으로 확정하였다. 교육복지우선지원사업 성과지표가 현장에서 보다 유용하게 활용되기 위한 제언과 후속 연구를 제시하였다.
The purpose of this study is to extend the research on the development of the performance indicators for the Education Welfare Priority Support Project and to secure the content validity for the application to the school site. The performance index of the Education Welfare Priority Support Project u...
The purpose of this study is to extend the research on the development of the performance indicators for the Education Welfare Priority Support Project and to secure the content validity for the application to the school site. The performance index of the Education Welfare Priority Support Project used in this study was originally consisted of 6 area, 33 sub-area, and 233 items. Two expert meetings were held for five doctoral professionals in the field of educational welfare. Delphi surveys were conducted for a group of 99 educational welfare workers who worked at the site for more than five years. The item selection criteria ($CVR{\geq}.29$, $CVI{\geq}.80$, convergence <.50, agreement ${\geq}.05$, stability ${\leq}.80$, $M{\geq}3.00$, SD <.80, reliability ${\geq}.6$) were applied. The 6 area, 23 sub-areas, and 93 items were verified and finally 90 items were selected from removing 3 items with low level of reliability. Providing suggestions and follow-up studies for the better use of the performance indicators for the Education Welfare Priority Support Project in the field.
The purpose of this study is to extend the research on the development of the performance indicators for the Education Welfare Priority Support Project and to secure the content validity for the application to the school site. The performance index of the Education Welfare Priority Support Project used in this study was originally consisted of 6 area, 33 sub-area, and 233 items. Two expert meetings were held for five doctoral professionals in the field of educational welfare. Delphi surveys were conducted for a group of 99 educational welfare workers who worked at the site for more than five years. The item selection criteria ($CVR{\geq}.29$, $CVI{\geq}.80$, convergence <.50, agreement ${\geq}.05$, stability ${\leq}.80$, $M{\geq}3.00$, SD <.80, reliability ${\geq}.6$) were applied. The 6 area, 23 sub-areas, and 93 items were verified and finally 90 items were selected from removing 3 items with low level of reliability. Providing suggestions and follow-up studies for the better use of the performance indicators for the Education Welfare Priority Support Project in the field.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
교복우사업을 담당하는 장학사, 교육복지조정자, 사업학교의 장 등을 대상으로 계층분석방법(Analytic Hierarchy Process, AHP)을 활용하여 시·도별로 교복우사업의 성과 영역에 대한 가중치를 부여하여 상대적 중요도 및 우선순위를 제공하는 것이다.
또한 문화 활동 및 체험의 기회가 부족한 학생들에게 다양한 문화·체험 활동을 제공함으로써 특기를 신장하고 잠재력을 계발하며, 정서·행동 발달상의 문제를 극복할 수 있는 심리·심성 계발프로그램을 제공하고 전문적인 진단과 치료 프로그램을 제공함으로써 정신 건강 증진 및 안정적인 정서 발달 유도를 목표로 한다. 궁극적으로 가정, 학교, 지역사회 차원의 지원망 구축을 통한 교육, 문화, 복지 수준 제고 및 교육 격차를 해소하고자 하였다. 이러한 정책적 목표의 달성 정도를 실증적으로 확인하기 위해, 김광혁 외[1] 연구에서는 2008년부터 2017년까지 교복우사업 성과지표와 관련하여 한국교육개발원 및 개인 연구자의 연구물 등을 토대로 성과지표 영역을 설정하였다.
실제, 사회복지 분야에서 성과는 복지 서비스를 통한 이용자 개인의 긍정적 변화 유도로 보고 있다[21-22]. 따라서 본 연구에서도 교복우사업을 통한 학생의 삶의 질 향상을 목적으로 학생의 긍정적 변화를 확인할 수 있는 지표를 중심으로 구성하였다. 종합하면, 1차 전문가 회의를 통해 6개 대영역, 33개 하위영역, 163개 문항으로, 2차 회의에서 6개 대영역, 28개 하위영역 123개 문항으로 최종 구성되었다.
일반적으로 성과지표 타당성 연구는 구성타당도 검증 절차까지 수행하여야 하지만, 교복우사업의 대상이 취약계층 아동 및 청소년이라는 특성을 감안하면, 학교 현장에 적용할 수 있는 수준의 내용타당성을 검증하는 것만으로도 충분하다고 볼 수 있다. 따라서 본 연구의 목적은 교복우사업 현장 적용성 확보를 위한 성과지표의 내용 타당도를 확보하는 것이다.
또한 문화 활동 및 체험의 기회가 부족한 학생들에게 다양한 문화·체험 활동을 제공함으로써 특기를 신장하고 잠재력을 계발하며, 정서·행동 발달상의 문제를 극복할 수 있는 심리·심성 계발프로그램을 제공하고 전문적인 진단과 치료 프로그램을 제공함으로써 정신 건강 증진 및 안정적인 정서 발달 유도를 목표로 한다.
본 연구는 2018년에 중앙교육복지연구센터와 김광혁 외 연구팀이 개발한 교복우사업 성과지표 개발(안)을 학교 현장에 적용하기 위해 타당도를 확보하고자 하였으며, 이를 위해 전문가 회의 및 델파이 기법을 사용하였다.
본 연구는 교복우사업의 성과지표 개발을 위한 연구의 일환으로, 학교 현장에서의 적용도 향상을 위해 교복우사업 관련 전문가 집단으로부터 문항의 타당성에 대한 의견을 수렴하였다. 이를 위해 교육복지 분야 박사급 5인과 현장 전문가인 교육복지사 99명을 전문가 집단으로 구성하였다.
본 연구에서는 교복우사업 성과지표의 측정 대상이 사업대상 아동 및 청소년이라는 민감한 제약사항을 고려하여 전문가 집단을 통한 타당성을 검증을 실시하였다. 그러나 본 지표가 보다 유용하게 활용되기 위해서는 사업대상학생으로부터 자료를 수집하여 타당화하는 작업이 필요하다.
본 연구에서는 교복우사업의 현장 적용이 가능한 성과지표를 구성하기 위해 현장전문가를 중심으로 내용타당성 확보하는데 초점을 맞추었다. 일반적으로 성과지표 타당성 연구는 구성타당도 검증 절차까지 수행하여야 하지만, 교복우사업의 대상이 취약계층 아동 및 청소년이라는 특성을 감안하면, 학교 현장에 적용할 수 있는 수준의 내용타당성을 검증하는 것만으로도 충분하다고 볼 수 있다.
제안 방법
1차 내용타당도 검증 결과를 바탕으로 현장 전문가에게 설문 조사를 실시하였다. 교육복지사들은 학교 현장에서 학생의 전인적인 변화와 삶의 질 향상을 추구하는 교복우사업의 성과를 실증적으로 측정해 볼 수 있다는 전문가이기 때문에 대상자로 선정되었다.
1차 내용타당도 검증에서는 교육복지 및 교복우사업 분야 박사급 전문가 5명이 참여하는 전문가 회의를 실시하여 성과지표의 하위영역 및 문항을 재구성하였다. 2차 검증에서는 전국적으로 5년 이상의 근무경력을 가진 교육복지사를 대상으로 현장전문가 델파이 조사를 실시하였다.
17개 시·도교육청의 교복우사업 담당자의 협조를 받아 조사 설문지가 배포되었으며, 총 99명의 응답 결과를 최종 분석에 활용하였다. 1차 전문가 회의, 2차 현장전문가 델파이 조사 결과를 분석하여 최종 교복우사업 성과지표를 확정하였다.
1차 내용타당도 검증에서는 교육복지 및 교복우사업 분야 박사급 전문가 5명이 참여하는 전문가 회의를 실시하여 성과지표의 하위영역 및 문항을 재구성하였다. 2차 검증에서는 전국적으로 5년 이상의 근무경력을 가진 교육복지사를 대상으로 현장전문가 델파이 조사를 실시하였다. 17개 시·도교육청의 교복우사업 담당자의 협조를 받아 조사 설문지가 배포되었으며, 총 99명의 응답 결과를 최종 분석에 활용하였다.
2차 내용타당도 검증을 위한 현장 전문가 집단은 학교 현장에서 5년 이상 근무한 교육복지사로, 교복우사업 및 대상학생에 대한 이해도가 높은 사업전담인력으로 구성하였다. 전문가 회의를 통해 도출된 1차 내용타당도 검증 결과를 폐쇄형 질문지로 구성하여 델파이 조사를 실시하였다.
결국, 수렴도2)는 0에 가까울수록, 합의도3)는 1에 가까울수록 문항이 타당하다고 볼 수 있다. 넷째, 현장 전문가들의 의견 일치성을 확인하기 위해, 안정도(stability)를 산출하였다. 안정도는 표준편차를 산술평균으로 나눈 변이계수(Coefficient of Variation)이다.
둘째, 내용타당도 지수(I-CVI)를 구하기 위해 ‘타당하다’고 답한 응답자 수를 전체 응답자 수로 나누었다[14].
또한, 현장 실무자 인터뷰 및 의견 조사를 통해 의사소통, 자기표현 등을 고려한 언어영역을 추가하였다. 따라서 성과지표 영역은 Table 2와 같이, 인지영역, 언어영역, 사회영역, 정서영역, 신체영역, 관계영역 총 6개 대영역으로 구성하였다[1].
마지막으로 내용타당도 검증이 완료된 문항에 대한 신뢰도 검증을 실시하였다. 인지의 ‘수업내용 이해도’, ‘교육적 기대’, ‘진로성숙도’는 각 1문항으로 구성되어, 인지 영역으로 묶어서 신뢰도를 산출하였다.
이를 위해 교육복지 분야 박사급 5인과 현장 전문가인 교육복지사 99명을 전문가 집단으로 구성하였다. 박사급 전문가 회의를 걸쳐 1차 안면타당도 검증을 실시하였으며, 2차 내용타당도는 교육복지사를 대상으로 델파이 조사를 실시하였다. 주요 내용은 다음과 같다.
델파이 조사는 측정하고자 하는 바에 적합한 문항인지 판단하기 위해, 3점~5점 서열척도로 문항별 적합도를 조사하는 방법이다[13-14]. 본 연구에서는 4점 척도(1점: 매우 타당하지 않다, 4점: 매우 타당하다)로 설문지를 구성하였다. 설문지는 17개 시·도교육청을 통해 공문으로 배포되었으며 2018년 11월 7일부터 16일까지 전자우편으로 취합하였다.
80 이상인 문항만을 선택하는 것으로 나타났다[13,16]. 본 연구에서는 CVI 기준을 .80 이상으로, 보다 높은 기준이 적용된 문항을 최종적으로 선정하였다. 셋째, 전문가 집단의 의견 수렴 및 합의 정도를 분석하여 문항 타당도를 확인하였다[17].
이러한 정책적 목표의 달성 정도를 실증적으로 확인하기 위해, 김광혁 외[1] 연구에서는 2008년부터 2017년까지 교복우사업 성과지표와 관련하여 한국교육개발원 및 개인 연구자의 연구물 등을 토대로 성과지표 영역을 설정하였다. 이와 더불어 교복우사업 현장 실무자 인터뷰 및 현장 전문가 조사를 통해 성과지표 영역을 확정하였다. 성과지표 영역은 특정 영역에 치우치거나 특정 영역이 사각지대에 방치되지 않도록 학생의 통합적인 발달을 반영하는 방향으로 구성하였다[1].
교육복지 및 교복우사업 분야 박사급 전문가 집단은 교육복지 관련 연구 및 사업을 수행하는 4명의 박사와 1명의 교수로 구성되었으며, 교육, 교육행정, 아동복지, 복지정책 등이 전공 영역이다. 전문가 회의는 총 2회(2018년 10월 12일, 11월 2일) 실시되었으며, 교복우사업의 성과 측정 문항의 필요성 및 적절성을 판단하는 안면타당도를 검증하였다.
2차 내용타당도 검증을 위한 현장 전문가 집단은 학교 현장에서 5년 이상 근무한 교육복지사로, 교복우사업 및 대상학생에 대한 이해도가 높은 사업전담인력으로 구성하였다. 전문가 회의를 통해 도출된 1차 내용타당도 검증 결과를 폐쇄형 질문지로 구성하여 델파이 조사를 실시하였다. 델파이 조사는 측정하고자 하는 바에 적합한 문항인지 판단하기 위해, 3점~5점 서열척도로 문항별 적합도를 조사하는 방법이다[13-14].
총 2회에 걸쳐 진행된 전문가 회의 중 1차에서 중복 문항은 삭제 및 통합하였고, 하위영역을 보다 구체적으로 측정하기 위해 선행연구를 고찰하여 일부 문항을 변경하였다. 예를 들면, 정서에서 ‘독립심’, ‘자기통제력’, 관계에서 ‘또래 관계’, ‘지역사회 유대감’등의 하위영역이다.
현장 전문가 내용타당도 검증을 위해 CVR .29이상, CVI .80이상, 수렴도 .5이하, 합의도 .5이상, 안정도 .8이하, 평균 3.0이상, 표준편차 .8미만의 기준을 적용하여 최종 문항을 선택하였다. 현장 전문가 내용타당도 결과는 Table 5와 같다.
대상 데이터
설문지는 17개 시·도교육청을 통해 공문으로 배포되었으며 2018년 11월 7일부터 16일까지 전자우편으로 취합하였다. 107개의 설문지가 취합되었고, 응답이 누락된 1부와 5년 미만 경력자의 응답 7부를 제외하여, 최종 99개 설문지를 분석 자료로 활용하였다.
17개 시·도교육청의 교복우사업 담당자의 협조를 받아 조사 설문지가 배포되었으며, 총 99명의 응답 결과를 최종 분석에 활용하였다.
Lawshe[15]는 참여한 전문가 수에 따라 CVR 최소값을 제시하였으며, 최소값 이상이 되었을 때 문항이 타당하다고 판단한다. 본 연구의 전문가 집단은 99명이므로 .29 이상인 문항을 선정하였다. 둘째, 내용타당도 지수(I-CVI)를 구하기 위해 ‘타당하다’고 답한 응답자 수를 전체 응답자 수로 나누었다[14].
설문지는 17개 시·도교육청을 통해 공문으로 배포되었으며 2018년 11월 7일부터 16일까지 전자우편으로 취합하였다.
본 연구는 교복우사업의 성과지표 개발을 위한 연구의 일환으로, 학교 현장에서의 적용도 향상을 위해 교복우사업 관련 전문가 집단으로부터 문항의 타당성에 대한 의견을 수렴하였다. 이를 위해 교육복지 분야 박사급 5인과 현장 전문가인 교육복지사 99명을 전문가 집단으로 구성하였다. 박사급 전문가 회의를 걸쳐 1차 안면타당도 검증을 실시하였으며, 2차 내용타당도는 교육복지사를 대상으로 델파이 조사를 실시하였다.
교육복지사들은 학교 현장에서 학생의 전인적인 변화와 삶의 질 향상을 추구하는 교복우사업의 성과를 실증적으로 측정해 볼 수 있다는 전문가이기 때문에 대상자로 선정되었다. 조사대상자 중 107명 중 99명의 자료만 활용하였다. 17개 시·도별 현장 전문가의 연령대는 30대가 34.
데이터처리
8인 경우에는 추가 조사가 필요하다고 판단하였다[18]. 다섯째, 평균 및표준편차를 활용하여 문항을 선정하였다. 연구자들마다평균값과 표준편차의 기준에는 차이 있지만 일반적으로선행연구[17,19]에서는 평균 3~3.
본 연구는 교복우사업 성과지표 타당도 검증을 위해 통계 프로그램 SPSS 24.0을 이용하여 빈도, 평균, 표준편차, 중위수, 사분위수 등을 분석하였으며, 추가적으로 신뢰도 분석을 실시하였다.
설문 결과는 내용타당도 비율(Content Validity Ratio, CVR), 내용타당도 지수(Item Level-Content Validity Index, I-CVI), 전문가 의견 수렴도 및 합의도, 안정도, 평균 및 표준편차, 신뢰도를 통해 분석하였다.
성능/효과
둘째, 교복우사업 성과지표는 학교 현장의 활용도를 고려하여 교복우사업 전담인력에게 타당성 검증을 받았다. 현장 전문가 집단을 통해 수집된 자료를 바탕으로 문항 선정 기준(CVR≥.
80)을 모두 만족시키는 6개 대영역, 23개 하위영역, 93개 문항의 타당성을 확보하였다. 또한, 또한 교복우사업 성과측정도구로써의 신뢰도 검증결과 최종적으로, 6개 대영역, 23개 하위영역, 90개 문항으로 확정되었다.
마지막으로 관계는 6개 하위영역에서 ‘지역유대감’이 제외되어, 5개 하위영역으로 줄어들었고, 최종 27문항의 타당성이 확보되었다.
신체는 ‘체질량 지수’, ‘수면시간’이 제외되고 2개 하위영역이 채택되었으며, 총 11문항의 타당성이 확보되었다.
따라서 본 연구에서도 교복우사업을 통한 학생의 삶의 질 향상을 목적으로 학생의 긍정적 변화를 확인할 수 있는 지표를 중심으로 구성하였다. 종합하면, 1차 전문가 회의를 통해 6개 대영역, 33개 하위영역, 163개 문항으로, 2차 회의에서 6개 대영역, 28개 하위영역 123개 문항으로 최종 구성되었다.
마지막으로 관계는 6개 하위영역에서 ‘지역유대감’이 제외되어, 5개 하위영역으로 줄어들었고, 최종 27문항의 타당성이 확보되었다. 종합하면, 인지, 언어, 사회, 정서, 신체, 관계 6개 대영역, 23개 하위영역, 총 93개 문항의 타당성을 확보하게 되었다.
첫째, 2018년 중앙교육복지연구지원센터와 김광혁 외[1] 연구진이 개발한 교복우사업 성과지표를 토대로 1차안면내용타당도 검증 결과, 6개 대영역, 28개 하위영역, 123개 문항이 도출되었다. 전문가 회의에서는 유사한 문항 혹은 역채점이 필요한 문항에 대해 수정·보완하였고,문제행동 및 방임 등 부정적인 내용의 문항은 제외하였다.
또한 정서에서 ‘자기통제력’ 중 신뢰도 값이 낮은 1문항을 제외하였다. 최종적으로, 타당도 및 신뢰도가 확보된 문항은 인지, 언어, 사회, 정서, 신체, 관계 6개 대영역, 23개 하위영역, 90개 문항이다. 최종 선정된 교복우사업 성과지표의 신뢰도 분석 결과는 Table 6과 같다.
현장 전문가 집단을 통해 수집된 자료를 바탕으로 문항 선정 기준(CVR≥.29, CVI≥.80, 수렴도<.50, 합의도 ≥.05, 안정도≤.80, M≥3.00, SD<.80)을 모두 만족시키는 6개 대영역, 23개 하위영역, 93개 문항의 타당성을 확보하였다.
후속연구
또한 시·도별 특성에 따른 교복우사업의 성과에 대한 상대적 중요도 분석을 통해 가중치가 부여된 성과지표가 마련된다면 활용도가 더욱 향상될 것이다.
본 연구에서 내용타당도가 검증된 교복우사업 성과지표는 기준점을 확보한 후, 영역별 변화를 살펴보기 위해 종단 연구의 형태로 활용하는 것이 바람직하다. 교복우사업의 목적이 개개인의 여건에 맞는 교육복지 지원을 제공하는 것이므로 사업 성과의 획일적인 목표점을 제시하기 보다는 최초 측정 시점으로부터 대상 학생의 전인적인 성장 및 발달 변화를 주기적으로 살펴보는 것이 중요하다.
교복우사업을 담당하는 장학사, 교육복지조정자, 사업학교의 장 등을 대상으로 계층분석방법(Analytic Hierarchy Process, AHP)을 활용하여 시·도별로 교복우사업의 성과 영역에 대한 가중치를 부여하여 상대적 중요도 및 우선순위를 제공하는 것이다. 이를 통해 인지, 언어, 사회, 정서, 신체, 관계 6개 대영역 중 시· 도별 교복우사업 추진 방향성과 일치하는 영역에 가중치를 두어 사업의 성과를 분석한다면 의미 있는 시사점을 얻을 수 있을 것이다.
이상의 교복우사업 성과 및 효과성 검증 지표에 관한 연구에서는 교복우사업 현장의 의견을 수렴한 성과지표를 구성하기 보다는 선행연구 및 전문가 중심으로 성과지표를 구성하였다는 연구의 제한점이 있다. 이러한 제한점은 바람직한 모습을 제시하는데 에는 기여하였지만 현실을 반영하지 못했다는 한계를 함축하고 있다.
내용타당도 검증이 완료된 교복우사업 성과지표가 실제 성과의 내적 요인을 면밀히 밝히는 적합한 구조로 이루어져 있는지 구성타당도를 검증할 필요가 있다. 향후 교복우사업 성과 측정 파일럿 조사를 통해 요인분석이 이루어질 것으로 기대한다. 또한 시·도별 특성에 따른 교복우사업의 성과에 대한 상대적 중요도 분석을 통해 가중치가 부여된 성과지표가 마련된다면 활용도가 더욱 향상될 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
내용타당도 검증을 위한 인력구성은?
2차 내용타당도 검증을 위한 현장 전문가 집단은 학교 현장에서 5년 이상 근무한 교육복지사로, 교복우사업 및 대상학생에 대한 이해도가 높은 사업전담인력으로 구성하였다. 전문가 회의를 통해 도출된 1차 내용타당도 검증 결과를 폐쇄형 질문지로 구성하여 델파이 조사를 실시하였다.
타당도를 확보하기 위한 방법은?
본 연구는 2018년에 중앙교육복지연구센터와 김광혁 외 연구팀이 개발한 교복우사업 성과지표 개발(안)을 학교 현장에 적용하기 위해 타당도를 확보하고자 하였으며, 이를 위해 전문가 회의 및 델파이 기법을 사용하였다.
현장 전문가는 누구이고 선정 이유는?
1차 내용타당도 검증 결과를 바탕으로 현장 전문가에게 설문 조사를 실시하였다. 교육복지사들은 학교 현장에서 학생의 전인적인 변화와 삶의 질 향상을 추구하는 교복우사업의 성과를 실증적으로 측정해 볼 수 있다는 전문가이기 때문에 대상자로 선정되었다. 조사대상자 중 107명 중 99명의 자료만 활용하였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.