[논문]드림스타트 사업 평가지표의 신뢰도와 변별력 측정

송미령; 김정화

doi:10.5762/kais.2019.20.2.210

드림스타트 사업 평가지표의 신뢰도와 변별력 측정
An Analysis of Reliability and Discrimination Power on Evaluation Criteria of Dream Start Services 원문보기

한국산학기술학회논문지 = Journal of the Korea Academia-Industrial cooperation Society, v.20 no.2, 2019년, pp.210 - 217

초록
AI-Helper

본 논문은 드림스타트 사업평가에 사용된 평가지표가 '평가분야 및 영역별 신뢰도가 있는지'와 '평가지표별 변별력이 있는지'를 분석하고자 하였다. 이를 살펴보기 위하여 2018년 드림스타트 사업운영 평가를 받은 126개 시군구의 평가 자료를 바탕으로 실증적인 분석을 하였다. 연구결과는 첫째, 평가영역별 신뢰도를 살펴본 결과, 기본구성, 통합사례관리, 서비스 운영의 평가지표에 대한 신뢰도가 .6 이상으로 하위 평가지표들이 상위 평가분야와 같은 개념으로 볼 수 있는 최소기준을 충족하였다. 그러나 자원 개발 및 연계 분야는 신뢰도가 낮게 파악되었다. 평가영역별로 보면, 통합사례관리 분야에서 사례관리 과정에 대한 하위 평가지표의 신뢰도는 높았으나 기본구성 분야에서 사업운영 체계, 전담조직 및 인력을 확인하는 평가지표간의 신뢰도가 낮았고, 사례회의, 서비스 운영을 확인할 수 있는 하위 지표 간의 신뢰도가 낮게 나타났다. 둘째, 평가지표별 변별력을 측정한 결과, 28개 지표 중 18개 지표는 변별력이 높은 것으로 분석되었다. 반면 10개 지표는 변별력이 낮은 것으로 나타났다.

Abstract ▼ AI-Helper

This research examines whether the evaluation index used Dream Start services operation evaluation has 'reliability in evaluation field and area' and 'whether there is discrimination according to evaluation index'. To do this, we conducted an empirical analysis based on the evaluation data of 126 municipal and provincial governments that received the 2018 Dream Start services operation evaluation. First, as a result of examining whether there is trust in each evaluation area, it was found that the reliability of the basic construction, integrated case management, and service operation field is higher than .6 and the lower evaluation indexes are the same Standards were met. However, the field of resource exploit and connectivity was not so reliable as the concept of sub-domains. Second, 'Are there discriminatory power according to the evaluation indexes?' The results showed that 18 of the 28 indicators were highly discriminative. On the other hand, 10 indicators showed low discrimination power.

주제어

표/그림 (4)

표 Table 1. Dream Start Evaluation Index Form
표 Table 2. Dream Start evaluation Index Scores
표 Table 3. Dream Start Evaluation Index Reliability
표 Table 4. Correlation between Score and Total Score by Evaluation Index

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

드림스타트 사업에 대한 정기적인 평가가 제도화 된 이 시점에서 드림스타트 평가지표에 대한 연구는 시기적으로도 적절하다. 본 연구를 통해 드림스타트 평가지표에 대한 신뢰도와 문항별 변별력을 측정하여 향후 드림스타트 평가지표 개선 시 기초자료로 활용하고자 한다. 객관적이고 공정한 지표를 통한 사업의 평가는 궁극적으로 드림스타트 사업의 효과성 제고와 운영주체의 전문성 향상에 긍정적 영향을 미칠 것이다.
본 연구에서는 드림스타트 사업 평가지표 신뢰성과 변별성을 확인하기 위해, 평가지표 신뢰도 검증, 총점과 개별평가항목 간의 상관관계를 살펴보았다. 평가지표를 활용하여 평가결과를 도출하였을 때 일관성 있는 결과가 도출되었는지 검증하기 위해서는 평가지표의 신뢰성이 확보되어야 한다.
국가차원의 공공 아동복지 사업인 드림스타트 사업의 효율성을 높이기 위해 2009년도부터 실시된 드림스타트 사업의 평가가 공정한 평가인지 그리고 안정적인 평가도구인지에 대한 연구가 아직까지 이루어지지 않았다. 이에 본 연구에서는 2018년 드림스타트 사업평가를 실시한 126개의 평가 자료를 바탕으로 드림스타트 평가지표가 신뢰도와 변별력이 있는지를 실증적으로 분석하고자 하였다. 드림스타트 평가지표가 평가분야, 평가영역별 신뢰도가 있는지 평가지표별 변별력이 있는지 검증한 결과는 다음과 같다.

제안 방법

그리고 평가지표의 변별력을 확인하기 위해서 평가지표 점수와 총점의 상관관계를 분석하는 방법을 활용하였다[12]. 선행연구에서도 개별 문항과의 상관관계가 최소 .
드림스타트 사업에 대한 평가는 2011년부터 시·군·구의 지역적 특성을 고려하여 대도시자치구, 대도시형 기초단체, 중소도시, 농산어촌 등 4개의 지역유형별로 구분하여 이루어졌다.
따라서 대도시기초단체와 농산어촌지역의 현황을 포함하지 못한 한계가 있다. 또한 본 연구에서는 드림스타트 사업평가 결과를 통해 신뢰도와 변별력을 확인하였지만, 드림스타트 사업운영 평가체계는 현장평가, 사례평가, 실적평가로 구성되고 있다. 특히 현장평가는동일한 평가자가 같은 기준으로 평가를 실시하는 것이 아니라 지역별로 구성된 현장평가단이 진행하고 있어 평가단간의 편차가 있을 것으로 사료된다.
마지막으로 본 연구의 한계와 후속연구에 대한 제언을 하면 다음과 같다. 본 연구는 드림스타트 전체 기관의 점수결과가 아닌 2018년에 격년제 평가를 받은 대도시자치구와 중소도시에 해당하는 지역의 평가결과만을 토대로 하였다. 따라서 대도시기초단체와 농산어촌지역의 현황을 포함하지 못한 한계가 있다.
신뢰도는 평가 분야를 이루는 평가지표가 유사한 개념을 판단하는지 확인하는 결과이다. 본 연구에서는 기본구성, 통합사례관리, 서비스 운영, 자원개발 및 연계의 평가분야로 구분하여 신뢰도를 살펴보았다. 그러나 통합사례관리와 서비스 운영 평가는 평가방식에서 동일한 사례를 보고 평가하기 때문에 통합사례관리와 서비스 운영 평가분야는 함께 신뢰도 산출하였다.
본 연구에서도 평가지표 신뢰도를 검증하였고 cronbach'salpha값이 0.6이상인 평가지표를 살펴보았다.
드림스타트 사업 평가분야는 6개 분야, 11개 영역, 28개 항목으로 구성되어 있다. 신뢰도는 2문항 이상이어야 분석이 가능하므로 평가분야의 하위 영역이 2개 이상인 평가 분야에 대한 신뢰도를 살펴보았다. 신뢰도는 평가 분야를 이루는 평가지표가 유사한 개념을 판단하는지 확인하는 결과이다.
그러나 통합사례관리와 서비스 운영 평가는 평가방식에서 동일한 사례를 보고 평가하기 때문에 통합사례관리와 서비스 운영 평가분야는 함께 신뢰도 산출하였다. 평가분야의 하위 평가영역에 대한 신뢰도는 시설환경 관리, 사업운영 체계, 전담 조직 및 인력의 기본구성 분야, 사례관리과정, 사례회의, 슈퍼비전의 통합사례관리 분야, 지역인프라 활용 및 관리, 자원봉사자 및 후원기증 관리의 자원개발 및 연계 분야로 구분하여 신뢰도를 알아보았다. 신뢰도는 Table 3에서 제시하는 것과 같다.

대상 데이터

본 연구는 드림스타트 사업지원단의 2018년 드림스타트 사업운영 평가 결과 자료를 분석하여 사용하였다. 2018년 드림스타트 사업 평가 대상은 전국 드림스타트 사업 지역 229개 중 126개 지역이며, 드림스타트 사업 지역유형 중 대도시자치구와 중소도시에 해당하는 지역이 2018년 평가를 받았다. 드림스타트 사업 운영 평가는 2년간의 사업 실적에 대해 평가가 실시된다.
드림스타트 사업 운영 평가는 2년간의 사업 실적에 대해 평가가 실시된다. 2018년도드림스타트 사업 평가 지역 126개 대상으로 평가지표를 적용하여 수집된 평가 자료에 대해 분석한 자료를 활용하였다.
본 연구는 드림스타트 사업지원단의 2018년 드림스타트 사업운영 평가 결과 자료를 분석하여 사용하였다. 2018년 드림스타트 사업 평가 대상은 전국 드림스타트 사업 지역 229개 중 126개 지역이며, 드림스타트 사업 지역유형 중 대도시자치구와 중소도시에 해당하는 지역이 2018년 평가를 받았다.

데이터처리

수집된 자료는 SPSS 24.0 통계 프로그램을 이용하여 기술통계분석과 평가영역별 신뢰도(Cronbah’s alpha) 분석을 하였고, 평가결과와 문항별 평가지표의 변별력을 측정하기 위해 상관관계 분석을 하였다.

성능/효과

두 번째, 평가영역별 신뢰도를 살펴본 결과, 기본구성,통합사례관리, 서비스 운영의 평가분야는 신뢰도가 .6이상으로 하위 평가지표들이 상위 평가분야와 같은 개념으로 볼 수 있는 최소기준을 충족하였다. 그러나 자원 개발 및 연계 분야는 하위영역들과 같은 개념으로 볼 수 없을 정도로 신뢰도가 낮게 파악되었다.
드림스타트 사업은 양적 확장과 함께 사업 평가에 대한 변화를 통해 질적 성장을 도모하였다. 드림스타트 사업 평가는 지역의 특성 고려, 전 지역 확대에 따른 효율적 운영, 변화하는 정책 환경의 반영, 평가자 및 피 평가기관 등 현장의 의견 수렴 등을 고려하여 지속적으로 개선되었다. 이러한 개선의 노력을 통해 각 시·군·구 드림스타트 사업의 평가는 평가결과의 환류 및 사업운영 주체의 전문성 증진과 같이 아동복지 실천현장에서 긍정적인 성과를 보였다.
드림스타트 사업의 평가 지표 중 기본구성 평가분야의 지표는 평가점수의 평균점과 상이한 차이를 보이고있으며 신뢰도분석에서도 신뢰도가 낮게 나타났다. 또한 자원개발 및 연계 분야에서도 평가점수와는 상이한 차이를 보였고 신뢰도 역시 낮았다.
반면, 시설환경 관리(r=.274^**), 기관장의 지원(r=.340^***), 사업 대상자 관리(r=.234^**), 대상자 관련 기록의 비밀 보장(r=.102), 공무원의 안정성(r=.390^***), 아동통합사례관리사의 배치(r=119), 아동통합사례관리사의 전문성(r=.202^*), 직원 근무여건 및 복지(r=.031), 지역인프라 관리(r=.173^*), 만족도(r=.111)의 평가항목은 총점과의 상관관계가 낮은 것으로 나타났다.
본 연구를 통해 현재 드림스타트 사업에서 중점적으로 수행이 되고 있는 핵심 분야인 통합사례관리와 서비스운영 분야가 신뢰도와 변별력을 갖춘 지표로 확인되었으며 이는 매우 긍정적이라 할 수 있다. 따라서 드림스타트 사업의 평가는 통합사례관리와 서비스 운영과 관련된 지표를 중심으로 재편될 필요가 있다.
세 번째, 평가지표별 변별력을 측정한 결과, 맞춤-통합 서비스 운영, 개입 및 점검, 사례관리 계획, 접수 및 사정, 아동복지기관협의체 구성 및 운영, 운영위원회 구성 및 운영의 지표는 변별력이 높았다. 따라서 변별력이 높은 평가분야는 통합사례관리와 서비스 운영과 관련된 평가지표로 드림스타트 사업에서 중점적으로 수행되고 있는 핵심 분야이다.
우선 먼저, 평가지표의 평균(79.08)점과 점수 차이가 큰 지표는 지역인프라 관리, 대상자 관련 기록의 비밀보장, 시설환경 관리의 적절성, 사례회의 운영, 아동통합서비스 전문요원의 전문성, 자원봉사자 관리, 후원기증관리, 공무원 및 아동통합서비스 전문요원의 교육 참여율로 이 지표의 점수는 90점 이상을 상회하고 있었다. 반대로 가장 낮은 40점대의 지표는 기관장의 사업추진 특별지원이며 다음으로 맞춤-통합서비스 운영이다.
이러한 개선의 노력을 통해 각 시·군·구 드림스타트 사업의 평가는 평가결과의 환류 및 사업운영 주체의 전문성 증진과 같이 아동복지 실천현장에서 긍정적인 성과를 보였다.
이에 본 연구에서도 드림스타트 사업 평가지표 변별력을 확인하기 위해 평가지표 점수와 총점간의 상관관계를 살펴보았고, 상관계수가 ±0.4 미만은 변별력이 낮은 것으로 보았다.
드림스타트 사업 평가분야는 6개 분야, 11개 영역, 28개 항목으로 이루어졌으며, 이들 개별 지표들의 배점을 합산하여 총점을 산출하게 되어 있다. 평가지표의 변별력을 확인하기 위해 총점과 평가지표 간의 상관관계를 살펴본 연구에서 상관관계 값이 0.4 미만인 평가지표는 변별력이 없는 것으로 보았다.[7, 13].
이에 본 연구에서도 각 항목별 평가점수와 총점 간의 상관관계를 분석하였고 그 결과는 Table 4와 같다. 평가항목별 평점과 총점과의 관계를 살펴보면 대부분의 항목에서 유의미한 상관이 나타났다. 21개 지표는 상관관계가 .

후속연구

그리고 지역인프라 관리 평가 지표는 지역 자원 목록구성 및 지역 자원 목록이 구분되어 있는 여부만 확인하기 때문에 최소한의 기준만 확인 하는 지표이므로 상대적 중요도가 낮게 보이는 지표라고 볼 수 있다. 다만, 이용자 만족도 지표에서 대상자의 만족도가 유사하다는 것은 대부분의 대상자가 드림스타트 사업에 만족도를 보였다는 것으로 향후 만족도 조사를 세분화 하여 대상자의 만족도를 조사할 필요가 있을 것으로 보인다.
사업의 효과성을 증진하기 위한 취지에서 시작한 드림스타트 사업평가가 본래의 목적을 달성하기 위해서는 신뢰할 수 있고 공정한 지표체계를 갖추는 것이 반드시필요하다. 따라서 본 연구의 결과를 토대로 드림스타트 향후 사업의 효과성을 제고하고 전문성을 향상하기 위한 방안으로 평가 제도를 발전시키기 위해서 좀 더 세밀한 지표 개발이 이루어져야 할 것으로 보인다.
평가분야의 하위 평가영역별로 보면, 사례관리 과정(서비스운영 포함)의 신뢰도는 높았으나 시설 환경 및 사업 운영체계, 전담 조직 및 인력, 사례회의 운영, 지역인프라 관리 및 연계와 자원봉사자 및 후원 관리의 신뢰도는 낮았다. 이러한 연구 결과로부터 평가영역별 신뢰도를 높일 수 있는 평가지표로 보완되어야 할 것으로 생각된다.
특히 현장평가는동일한 평가자가 같은 기준으로 평가를 실시하는 것이 아니라 지역별로 구성된 현장평가단이 진행하고 있어 평가단간의 편차가 있을 것으로 사료된다. 이러한 점을 고려하여 향후 연구는 드림스타트 전 지역을 대상으로 평가지표의 신뢰도와 변별력을 연구하는 것 뿐 아니라 평가체계에 따른 차이가 실질적으로 반영될 수 있는 연구가 뒤따라야 한다. 평가지표와 평가 방법에 대한 연구를 통해 신뢰로운 평가체계를 구축하는 것이 우리나라 취약계층 아동을 위한 사례관리 사업인 드림스타트 사업의 효율성을 도모하는 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	빈곤이 아동에게 끼치는 영향은?	빈곤은 아동의 삶의 질에 부정적인 영향을 초래한다[1]. 특히 아동의 빈곤은 빈곤 대물림의 원인이 되므로 빈곤으로부터 아동을 보호하기 위한 공공정책이 반드시필요하다[2].
	우리나라의 드림스타트 사업은 언제, 어떻게 확장이 시작되었는가?	우리나라의 드림스타트 사업은 2006년 아동보호·보건·복지·통합서비스 시범사업을 시작으로 사업지역을 확대하고 사업 영역을 확장해오고 있다. 그리고 2010년부터 드림스타트 사업의 효과를 제고하고자 하는 취지로 시·군·구 드림스타트를 대상으로 그 전년도에 시행한 2009년도 사업운영 실적을 점검하였고, 이러한 사업평가를 매년 지속적으로 실시하고 있다.
	드림스타트 사업의 특징은?	우리나라는 아동복지법 제 37조에 의거하여, 0세∼12세 취약계층 아동 및 그 가족을 대상으로 하는 공적 서비스인 드림스타트 사업을 추진하고 있다[3]. 이 사업은 조기개입 프로그램으로서 영유아기부터 집중투자하여 모든 아동이 공평한 양육여건과 출발기회를 보장받을 수 있도록 하는 국가차원의 능동적인 아동복지사업이다. 이 사업을 통해 빈곤에 취약한 저소득층 아동의 전인적 성장과 발달을 위해 건강, 영양, 교육, 문화, 복지를 위한 서비스를 지원 하고 있다.

참고문헌 (13)

I. J. Chung, K. C. Nam & Y. J. Chun, "Development of services operation model by Dream Start regional type" Seoul: Ministry of Health & Welfare, 2009.
J. W. Kim, J. J. An, M. R. Song, Y. R. Cho & H. S. Kim, "2013 Dreamstart effectiveness report", Korea Childcare Promotion Institute & Ministry of Health & Welfare, 2013.
M. S. Kim, "The Well-being of Children in Poverty and Income Support Policy", Health and Welfare Forum, 206, pp. 35-47, Korea Institute for Health and Social Affairs, 2013.
Y. K. Lee, J. S. Kim, "A Study on the Recognition of Social Welfare Facilities Evaluation Index", Korean public management review, 25(1), pp. 33-56, 2011.
C. S. Lee, "An analysis of the Discriminating Power of Medical Journal Evaluation Criteria", Journal of the Korean Biblia Society for Library and Information Science, 14(1), pp. 199-218. 2003.
Health and Welfare Ministry, "Dream Start Guide", Seoul: Ministry of Health & Welfare, 2018.
M. Y. Song, H. J. Park, "An Analysis of Reliability and Discrimination Power on Evaluation Criteria of Community Child Center", Journal of Social Science, 21(2), pp. 109-136, 2010. DOI: https://doi.org/10.16881/jss.2010.04.21.2.109
Ministry of Government Legislation, Child Welfare Act, 2018.
O. K. Yang. "Study on Development of the Family Relationship Scale". Korean Journal of Family Social Work, 8, pp.119-147, 2001.
Y. S. Kim, E. Y. Lee, K. E. Ko & E. H. Min, "Reliability and Validity of the Korean Version of the Client Satisfaction Inventory", Korean Journal of Social Welfare, 59(4), pp. 83-109, 2007. DOI: https://doi.org/10.20970/kasw.2007.59.4.004

원문보기 상세보기
Van de Ven A.H. & Ferry, D.L. "Measuring and Assessing Organizations", New York: Wiley. 1980.
S. W. Lee, S. M. Choi, "Where Does the Evaluation of Social Welfare Institutions Stand and Where It Should Go?", Social Welfare policy, 15, pp. 133-154, 2002.
S. M. Woo, " SPSS for Windows 10.0/11.0 to hold with Mouse", Seoul: Human & Welfare, 2003.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증