선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 따라서 본 연구는 5개년 계획인 종합계획의 정책과정을 평가하기 위한 평가모형을 설계하고, 실제로 종합계획을 수립·시행중인 도서관 정책 관계자를 대상으로 실증적인 평가를 실시한 후, 각 정책단계의 요인이 정책성과에 미치는 영향관계 등을 검증하여 종합계획 시행의 문제점 및 개선방향을 분석하는 것을 연구의 목적으로 삼는다.
- 먼저, 본 연구는 국가적으로 추진되는 중장기 국가 도서관정책에 대한 평가라는 측면에서 종합계획을 분석·평가하고자 시도되었다.
- 본 연구는 도서관발전종합계획(2009∼2013)이라는 국가 중장기계획에 대한 평가의 개념을 수립된 과정 또는 집행 중에 있는 정책의 가치를 따져보는 형성적 평가(formative evaluation)인 과정평가에 중점을 두고(Scriven 1972), 종합계획의 정책형성 과정, 정책집행 과정 및 정책성과의 분석을 통해 궁극적으로 종합계획의 어떤 부분이 제대로 시행되고 있는 지 개선이 필요한 정책과정은 무엇인지 등을 파악하고자 평가모형을 설계하였다.
- 본 연구는 도서관발전종합계획(2009～2013) 을 평가할 정책평가모형을 설계하여 실제 종합계획을 수립·시행중인 도서관정책 관계자를 대상으로 한 평가를 실시한 후, 3단계 정책 과정에서 정책형성단계, 정책집행단계의 요인이 정책성과단계의 요인들에게 어떤 영향을 미치는 지에 대해 실증적으로 분석하였다.
- 본 연구에서는 요인들간의 직접효과와 간접효과들을 동시에 분석하기 위하여 과 같은 경로모형을 설정하였다.
- 중장기 국가 도서관정책의 정책평가와 관련한 선행연구가 충분하지 않다는 점을 감안할 때, 보다 객관적이고 타당한 종합계획에 대한 평가모형의 개발을 위해서는 전문가 집단을 통한 의견수렴 연구방법인 델파이 조사는 매우 필요하다고 본다. 선행연구 및 모형분석 등을 통해 설계가 완료된 1차 정책모형에 관해 도서관정책 전문가들의 의견을 유도하고 종합하여 집단적 견해로 정리해가는 일련의 절차를 통해 평가모형의 완결성과 타당성을 제고하고자 함이다.
제안 방법
- 1차 델파이 조사 결과를 분석한 후 평가기준의 추가, 평가항목의 삭제·변경·추가, 일부 평가항목의 평가척도 추가 등 설문지를 수정·보완하여 2차 델파이 조사 설문지를 작성하였다.
- 1차 델파이 조사 설문지는 문헌연구 및 선행 평가모형 분석을 통해 도출되었으며, 크게 2가지 부분으로 구성하였다. 첫째, 선행연구 및 평가모형 분석으로부터 제시된 영역, 기준, 항목이 도서관발전종합계획을 평가하기 위한 평가 영역, 평가기준과 평가항목으로서 적절한지를 리커트식 5점 척도에 따라서 평가하도록 하였다.
- 정책평가 및 도서관정책·평가에 대한 문헌 연구, 선행 정책평가모형의 사례분석 등을 거쳐서 종합계획의 정책과정 평가를 위한 평가모형을 설계하였다. 1차 평가모형에서 평가체계의 구성은 크게 정책단계, 평가영역, 평가기준, 평가항목의 네 가지 구성요소로 설정하였다.
- 1차, 2차 델파이 조사 전부 5점 척도를 사용하였으며 매회 평균이 4.0 이상이며 표준편차가 1.0 이하인 항목은 유지하기로 하였으며 이때 서술식 의견도 함께 고려하여 삭제, 추가, 변경할 항목을 최종 결정하였다.
- 델파이 조사는 개발된 1차 평가모형의 구성 요인 및 항목 비교표를 기초로 델파이 패널들이 각각의 정책단계, 평가영역, 평가기준, 평가항목의 적절성을 평가하도록 하였으며, 내용적 타당성을 검증하는데 주안점을 두었다. 2차에 걸친 델파이 조사를 통해 델파이 패널이 제시한 합의결과에 따라, 최종적으로 본 연구를 위한 도서관발전종합계획(2009～2013)의 형성적 평가를 위한 평가모형을 개발하였다.
- 개발된 1차 평가모형의 타당성 및 신뢰성 제고 등 수정을 위해 도서관정책 전문가 집단 15명을 대상으로 델파이 조사를 부가적으로 실시하여 1차 평가모형을 보완하였다. 중장기 국가 도서관정책의 정책평가와 관련한 선행연구가 충분하지 않다는 점을 감안할 때, 보다 객관적이고 타당한 종합계획에 대한 평가모형의 개발을 위해서는 전문가 집단을 통한 의견수렴 연구방법인 델파이 조사는 매우 필요하다고 본다.
- 네 가지 구성요소에 따라 구체적인 종합계획 평가모형을 설계하였는데, 먼저 정책단계는 문헌연구 및 사례분석 등에 기반하여 정책형성 과정, 정책집행 과정, 정책성과 과정의 세 단계로 구분하였다. 둘째, 각 정책단계에서는 단계별 성격을 고려하여 평가영역을 설정하였는데, 정책형성 과정에서는 정책환경, 정책목표, 정책참여를, 정책집행 과정에서는 지원체제, 점검 및 평가체제, 정책연계 및 네트워크를, 정책성과 과정에서는 목표달성도, 정책인지도를 각 평가 영역으로 설정하였다.
- 평가기준으로는 정책형성 과정은 적합성, 명료성, 일관성, 실현가능성, 민주성을, 정책집행 과정에서는 실현가능성, 타당성, 적합성, 효과성을, 그리고 정책성과 과정에서는 효과성, 대응성을 각각 적용하였다. 넷째, 각 정책단계의 평가영역에 따라 선정된 평가기준에 의해 각 평가영역별로 2～6개로 구성된 총 40개의 평가항목을 설정하였다.
- 델파이 조사 분석 방법은 첫째, 평가영역, 평가기준 및 평가항목의 적절성 평가(각 문항별 평균 및 표준편차, 평가영역별 측정항목 전체 평균 및 표준편차), 둘째, 평가영역, 평가기준 및 평가항목들이 계층적으로 적절한 그룹에 할당되었는지에 대한 서술식 의견 분석, 셋째, 평가영역, 평가기준 및 평가항목에 대해 추가, 삭제 또는 변경할 부분에 대한 서술식 의견 분석 등 크게 3가지로 나누었다. 델파이 조사 설문지의 각 문항에 대해 평균, 표준편차와 같은 기술 통계량을 분석하였으며, 서술식 의견에 대해서는 제시한 의견을 정리하고 의견의 사유 및 동일의견 제시 인원수도 함께 분석하였다.
- 델파이 조사는 개발된 1차 평가모형의 구성 요인 및 항목 비교표를 기초로 델파이 패널들이 각각의 정책단계, 평가영역, 평가기준, 평가항목의 적절성을 평가하도록 하였으며, 내용적 타당성을 검증하는데 주안점을 두었다. 2차에 걸친 델파이 조사를 통해 델파이 패널이 제시한 합의결과에 따라, 최종적으로 본 연구를 위한 도서관발전종합계획(2009～2013)의 형성적 평가를 위한 평가모형을 개발하였다.
- 네 가지 구성요소에 따라 구체적인 종합계획 평가모형을 설계하였는데, 먼저 정책단계는 문헌연구 및 사례분석 등에 기반하여 정책형성 과정, 정책집행 과정, 정책성과 과정의 세 단계로 구분하였다. 둘째, 각 정책단계에서는 단계별 성격을 고려하여 평가영역을 설정하였는데, 정책형성 과정에서는 정책환경, 정책목표, 정책참여를, 정책집행 과정에서는 지원체제, 점검 및 평가체제, 정책연계 및 네트워크를, 정책성과 과정에서는 목표달성도, 정책인지도를 각 평가 영역으로 설정하였다. 셋째, 종합계획 평가에 적용할 평가기준을 설정하였다.
- 첫째, 선행연구 및 평가모형 분석으로부터 제시된 영역, 기준, 항목이 도서관발전종합계획을 평가하기 위한 평가 영역, 평가기준과 평가항목으로서 적절한지를 리커트식 5점 척도에 따라서 평가하도록 하였다. 둘째, 정책단계별로 구성된 평가영역, 평가 기준과 평가항목들이 계층적으로 적절한 그룹에 할당되었는지를 평가하도록 하였다. 또한 기존의 영역, 기준, 항목에 대해 새롭게 추가시키거나 삭제 또는 변경할 부분이 있으면 자유롭게 기술하도록 하였다.
- 먼저, 본 연구는 국가적으로 추진되는 중장기 국가 도서관정책에 대한 평가라는 측면에서 종합계획을 분석·평가하고자 시도되었다. 둘째, 종합계획은 완료된 정책이 아닌 아직 시행 중인 정책이기 때문에 사후평가 형태의 총괄적 평가라기보다는 시행중인 과정평가의 측면에서 3단계 정책단계별 과정의 평가에 중점을 두고 형성적 평가를 위한 평가모형을 개발하였다. 셋째, 정책단계 즉 정책형성단계, 정책집행단계, 정책성과단계 등은 서로 배타적인 것이 아니라 상호 유기적인 연결관계 속에서 이루어진다는 측면에서 평가영역과 기준을 설정하고 평가가 이루어지도록 평가모형을 설정하였다.
- 둘째, 정책단계별로 구성된 평가영역, 평가 기준과 평가항목들이 계층적으로 적절한 그룹에 할당되었는지를 평가하도록 하였다. 또한 기존의 영역, 기준, 항목에 대해 새롭게 추가시키거나 삭제 또는 변경할 부분이 있으면 자유롭게 기술하도록 하였다.
- 본 연구에서 제시한 연구 모형의 구성 변인은 6가지의 독립변인과 2가지의 종속변인으로 구성된다. 각 변인의 구성 변인들을 독립개념과 종속개념, 독립변인과 종속변인으로 구분하여 살펴보면, <그림 2>와 같다.
- 본 연구에서는 사회과학 분야의 연구에서 가장 일반적으로 많이 활용되는 요인분석을 사용하여 타당성을 분석하였다. 요인 추출법은 요인의 수를 최소한으로 산출하고 최초 변인들이 지닌 변량을 극대화하고자 할 때 사용하는 주성분 분석을 실시하였고, 요인회전에 의한 직교회전 방법인 베리맥스 회전법을 사용하여 해석의 용의성을 높였다.
- 요인 추출법은 요인의 수를 최소한으로 산출하고 최초 변인들이 지닌 변량을 극대화하고자 할 때 사용하는 주성분 분석을 실시하였고, 요인회전에 의한 직교회전 방법인 베리맥스 회전법을 사용하여 해석의 용의성을 높였다. 분석과정 중 각 문항의 공통성분표 추출값(초기 적재값)이 0.4 이하로 낮거나 다른 요인에 적재치가 중첩으로 분포되어 있는 문항들을 제거하고, 각 요인의 고유값(eignvalue, 1 이상) 분석을 통해 최종적으로 요인수를 결정하였다. 요인의 공통성분표 추출값(초기 적재값)은 각 변수와 요인간의 상관관계 정도를 파악할 수 있다.
- 설문조사를 통한 도서관발전종합계획의 정책형성, 정책집행 및 정책성과 단계에 대한 평가결과를 구성요인별 평균값, 표준편차 및 백분위 점수로 환산한 경우로 나누어 분석하였다. 각 단계 구성요인들의 환산점수는 각 요인을 구성하고 있는 개별 측정문항의 평가 점수들을 평균하여 구하였다.
- 설문지 배포 및 수거는 2010년 3월 15일부터 4월 2일까지 전자우편과 직접방문, 웹 설문조사를 통해 이루어졌다. 설문지 배포 및 수거방법은 각 정책관계자의 형편상 별도의 방법으로 진행되었는데, 중앙행정기관과 시·도 및 시도 교육청 관계자의 경우는 일대일 면접이나 전자우편, 일선도서관 정책실무자의 경우 웹 설문조사를 통해 각각 시행되었다.
- 설문지 배포 및 수거방법은 각 정책관계자의 형편상 별도의 방법으로 진행되었는데, 중앙행정기관과 시·도 및 시도 교육청 관계자의 경우는 일대일 면접이나 전자우편, 일선도서관 정책실무자의 경우 웹 설문조사를 통해 각각 시행되었다.
- 둘째, 종합계획은 완료된 정책이 아닌 아직 시행 중인 정책이기 때문에 사후평가 형태의 총괄적 평가라기보다는 시행중인 과정평가의 측면에서 3단계 정책단계별 과정의 평가에 중점을 두고 형성적 평가를 위한 평가모형을 개발하였다. 셋째, 정책단계 즉 정책형성단계, 정책집행단계, 정책성과단계 등은 서로 배타적인 것이 아니라 상호 유기적인 연결관계 속에서 이루어진다는 측면에서 평가영역과 기준을 설정하고 평가가 이루어지도록 평가모형을 설정하였다.
- 둘째, 각 정책단계에서는 단계별 성격을 고려하여 평가영역을 설정하였는데, 정책형성 과정에서는 정책환경, 정책목표, 정책참여를, 정책집행 과정에서는 지원체제, 점검 및 평가체제, 정책연계 및 네트워크를, 정책성과 과정에서는 목표달성도, 정책인지도를 각 평가 영역으로 설정하였다. 셋째, 종합계획 평가에 적용할 평가기준을 설정하였다. 평가기준으로는 정책형성 과정은 적합성, 명료성, 일관성, 실현가능성, 민주성을, 정책집행 과정에서는 실현가능성, 타당성, 적합성, 효과성을, 그리고 정책성과 과정에서는 효과성, 대응성을 각각 적용하였다.
- 앞의 평가모형 설계과정에서 살펴본 대로, 선행 평가모형 분석 등을 통해 정책형성단계 요인으로는 ‘정책환경의 적합성 정도’, ‘정책목표의 명료성 정도’, ‘정책참여의 민주성 정도’ 세 가지 정책영역의 요인을 독립변인으로 설정하였다.
- 본 연구에서는 사회과학 분야의 연구에서 가장 일반적으로 많이 활용되는 요인분석을 사용하여 타당성을 분석하였다. 요인 추출법은 요인의 수를 최소한으로 산출하고 최초 변인들이 지닌 변량을 극대화하고자 할 때 사용하는 주성분 분석을 실시하였고, 요인회전에 의한 직교회전 방법인 베리맥스 회전법을 사용하여 해석의 용의성을 높였다. 분석과정 중 각 문항의 공통성분표 추출값(초기 적재값)이 0.
- 이 중에서 지원체제 평가영역의 경우 복수의 평가기준이 설정되어 있는 관계로 실현가능성, 타당성의 평가기준 중에서 비중이 높은 ‘타당성 정도’를 지원체제 영역을 대표하는 독립변인으로 채택하였다.
- 정책집행단계의 요인은 ‘지원체제의 타당성 정도’, ‘점검 및 평가체제의 적합성 정도’, ‘정책연계 및 네트워크의 효과성 정도’ 세 가지 정책영역의 요인을 독립변인으로 설정하였다.
- 정책평가 및 도서관정책·평가에 대한 문헌 연구, 선행 정책평가모형의 사례분석 등을 거쳐서 종합계획의 정책과정 평가를 위한 평가모형을 설계하였다.
- 종속변인 또한 앞의 평가모형 설계과정에서 살펴본 대로, 선행 평가모형 분석 등을 통해 ‘목표달성도’와 ‘정책인지도’ 두 가지 정책영역의 요인을 설정하였다.
- 1차 델파이 조사 설문지는 문헌연구 및 선행 평가모형 분석을 통해 도출되었으며, 크게 2가지 부분으로 구성하였다. 첫째, 선행연구 및 평가모형 분석으로부터 제시된 영역, 기준, 항목이 도서관발전종합계획을 평가하기 위한 평가 영역, 평가기준과 평가항목으로서 적절한지를 리커트식 5점 척도에 따라서 평가하도록 하였다. 둘째, 정책단계별로 구성된 평가영역, 평가 기준과 평가항목들이 계층적으로 적절한 그룹에 할당되었는지를 평가하도록 하였다.
- 셋째, 종합계획 평가에 적용할 평가기준을 설정하였다. 평가기준으로는 정책형성 과정은 적합성, 명료성, 일관성, 실현가능성, 민주성을, 정책집행 과정에서는 실현가능성, 타당성, 적합성, 효과성을, 그리고 정책성과 과정에서는 효과성, 대응성을 각각 적용하였다. 넷째, 각 정책단계의 평가영역에 따라 선정된 평가기준에 의해 각 평가영역별로 2～6개로 구성된 총 40개의 평가항목을 설정하였다.
- 평가모형에서 제시된 변인 및 측정요소인 정책형성단계, 정책집행단계의 요인들과 정책성과간의 연관관계를 중심으로 아래와 같이 세부 변인을 설정하고 연구가설을 설정하였으며, 이를 검증하기 위한 측정방법을 설계하여 각 요인별 영향관계를 검증하였다.
대상 데이터
- 구체적으로는 중앙행정기관 도서관 정책 관계자, 시·도 및 시·도 교육청의 도서관정책 관계자, 일선 단위도서관 정책실무자 등 우리나라 도서관정책 관계자 총 689명을 설문대상자로 선정하여 종합계획 평가를 위한 설문조사를 진행하였다.
- 본 델파이 조사를 위한 패널은 도서관정책 및 중장기계획 관련 연구를 수행한 경험이 있는 대학교 교수 집단을 비롯한 도서관정책 분야 전문연구자 그룹, 종합계획 수립·시행을 직접 담당하고 있는 중앙·지방 정부 도서관정책 담당자 그룹, 그리고 일선도서관을 직접 운영하여 종합계획 정책과제를 시행중인 일선 도서관 실무자 그룹 등 크게 3개 그룹으로 구성하였다.
- 본 연구는 도서관발전종합계획(2009～2013) 의 수립 및 시행에 직·간접적으로 영향을 미치거나 영향을 받는 즉, 도서관정책을 수립·집행하거나 정책의 직접적인 수행대상으로, 종합계획에 대한 이해도가 높은 정책 관계자를 모집단으로 선정하였다.
데이터처리
- 설문조사를 통한 도서관발전종합계획의 정책형성, 정책집행 및 정책성과 단계에 대한 평가결과를 구성요인별 평균값, 표준편차 및 백분위 점수로 환산한 경우로 나누어 분석하였다. 각 단계 구성요인들의 환산점수는 각 요인을 구성하고 있는 개별 측정문항의 평가 점수들을 평균하여 구하였다. 종합계획에 대한 평가결과를 분석한 결과, 정책성과단계의 ‘목표달성도’ 요인이 평균값 3.
- 델파이 조사 분석 방법은 첫째, 평가영역, 평가기준 및 평가항목의 적절성 평가(각 문항별 평균 및 표준편차, 평가영역별 측정항목 전체 평균 및 표준편차), 둘째, 평가영역, 평가기준 및 평가항목들이 계층적으로 적절한 그룹에 할당되었는지에 대한 서술식 의견 분석, 셋째, 평가영역, 평가기준 및 평가항목에 대해 추가, 삭제 또는 변경할 부분에 대한 서술식 의견 분석 등 크게 3가지로 나누었다. 델파이 조사 설문지의 각 문항에 대해 평균, 표준편차와 같은 기술 통계량을 분석하였으며, 서술식 의견에 대해서는 제시한 의견을 정리하고 의견의 사유 및 동일의견 제시 인원수도 함께 분석하였다.
- 독립변인인 정책집행단계의 각 요인들이 결과적으로 종속변인인 정책성과단계의 요인들에게 유의미한 영향을 주는 지 검증하기 위해 회귀분석을 실시하였다. 각 조작적 가설의 회귀분석 결과는 <표 12>, <표 13>, <표 14>와 같다.
- 독립변인인 정책형성단계 각 요인들이 결과적으로 종속변인인 정책성과단계 요인들에게 유의미한 영향을 주는지 검증하기 위해 회귀분석을 실시하였다. 각 조작적 가설에 대한 회귀분석 결과는 <표 9>, <표 10>, <표 11>과 같다.
- 독립변인인 정책형성단계 및 정책집행단계의 전체 요인들이 결과적으로 종속변인인 정책성과단계 요인들에게 유의미한 영향을 주는지 검증하기 위해 회귀분석을 실시하였다. 각 조작적 가설별 회귀분석 결과는 <표 15>, <표 16>,<표 17>과 같다.
- 첫 번째 가설인 도서관발전종합계획(2009∼2013)의 정책성과에 영향을 미치는 정책형성단계의 요인들과 정책집행단계의 요인들간의 유의미한 관계를 검증하기 위해 스피어만 상관계수를 이용한 상관관계 분석을 실시하였다.
- 탐색적 요인분석을 통하여 선택한 요인들간의 인과관계를 분석하기 위하여 구조방정식 모형(SEM; Structural Equation Model)을 설정하고 경로모형 분석(path analysis)을 실시하였다. 본 연구에서는 요인들간의 직접효과와 간접효과들을 동시에 분석하기 위하여 <그림 3>과 같은 경로모형을 설정하였다.
이론/모형
- 동일한 상황에서 동일한 측정도구(설문문항)를 활용하여 동일한 개념에 대해 반복하여 측정하였을 때의 일관성, 즉 설문의 신뢰성을 분석하기 위하여 크론바하 알파 계수를 이용하였다. 신뢰성 분석 결과 측정항목의 신뢰도 계수는 모든 측정 변인이 최소 0.
- 이 연구에서는 조직의 전략적인 중장기 계획을 구현하고 의사소통하는 성과를 측정하기 위한 도구로써 ‘고객, 재정, 내부 프로세스, 교육’의 네 가지 관점으로 구성된 균형점수표 방식을 사용하였다.
성능/효과
- 1차 델파이 조사 분석결과를 종합해 보면 전반적으로 평가항목의 삭제 및 평가항목의 구체적인 내용을 수정하거나 추가하는 경우가 많았는데, 그 이유는 평가모형의 평가영역이나 평가기준의 구성, 할당 등 전체적인 틀은 대체로 적절한 것으로 판단하였고 각각의 평가항목은 수정·보완이 필요하다고 분석한 것으로 보여진다.
- 2차 델파이 조사 분석결과는 과 같은데 이를 종합해 보면, 종합계획을 평가하기 위한 8개 평가영역 모두가 1차 분석결과와 같이 4.0 이상의 평균값과 1.0 미만의 표준편차를 보였고, 측정항목의 경우 2개의 평가항목을 삭제하고 2개의 평가항목을 1개로 수정·통합한 것 이외에는 별다른 큰 변동이 없는 것으로 나타났다.
- 가장 높은 평가결과를 기록한 ‘목표달성도’ 요인과 낮은 평가결과를 기록한 ‘정책인지도’ 요인의 평균값의 차이가 0.84 밖에 나지 않을 정도로 미미한 차이를 보여, 전체 평가영역이 전반적으로 비슷한 수준의 평가결과를 나타내었다.
- 그 중에서 정책집행단계의 ‘지원체제’ 요인이 정책성과의 ‘목표달성도’, 정책성과의 ‘정책인지도’, 정책성과 요인 전체에 공통적으로 가장 큰 영향을 미치는 것으로 나타났고, ‘점검 및 평가체제’ 요인, ‘정책연계 및 네트워크’ 요인 순으로 영향이 있는 것으로 밝혀졌다.
- 그 중에서 정책집행단계의 ‘지원체제’ 요인이 정책성과의 ‘목표달성도’, 정책성과의 ‘정책인지도’, 정책성과 요인 전체에 공통적으로 가장 큰 영향을 미치는 것으로 나타났고, ‘점검 및 평가체제’ 요인, ‘정책참여’ 요인, ‘정책연계 및 네트워크’ 요인 순으로 영향이 있는 것으로 밝혀졌다.
- 그 중에서 정책형성 단계의 ‘정책참여’ 요인이 정책성과의 ‘목표달성도’, 정책성과의 ‘정책인지도’, 정책성과 요인 전체에 공통적으로 가장 큰 영향을 미치는 것으로 나타났고, ‘정책목표’ 요인, ‘정책환경’ 요인 순으로 영향이 큰 것으로 밝혀졌다.
- 4 이상의 수치를 보이고 있다. 그러므로 본 평가모형의 정책형성단계, 정책집행단계 및 정책성과단계를 구성하고 있는 요인의 타당성은 적절하게 검증되었다(각 정책단계 평가항목의 타당도를 분석한 결과는 부록 1, 부록 2, 부록 3 참고).
- 넷째, 독립변인인 정책형성단계 및 정책집행 단계 요인 전체가 종속변인인 정책성과단계 요인들에게 유의미한 영향을 주는 지 검증한 결과, 모든 영향관계의 가설이 채택되었다. 그 중에서 정책집행단계의 ‘지원체제’ 요인이 정책성과의 ‘목표달성도’, 정책성과의 ‘정책인지도’, 정책성과 요인 전체에 공통적으로 가장 큰 영향을 미치는 것으로 나타났고, ‘점검 및 평가체제’ 요인, ‘정책참여’ 요인, ‘정책연계 및 네트워크’ 요인 순으로 영향이 있는 것으로 밝혀졌다.
- 다섯째, 전체적인 연구모형의 관점에서 전체 변인이 동시에 고려되었을 때 어떤 영향관계를 가지고 있는지를 분석하기 위해 경로모형 분석(구조방정식 모델 분석)을 실시한 결과 정책형성단계 요인들은 정책성과단계 요인들에게 직접적인 영향과 함께 정책집행단계 요인들을 통해 간접적으로 유의한 영향을 미치고 있음을 알 수 있었다. 또한 정책형성단계의 요인들이 직접적으로는 정책집행단계의 요인들보다 정책성과 단계의 요인들에게 상대적으로 적은 영향을 미치지만, 정책집행단계의 요인들을 통한 간접효과까지 합친다면 정책집행단계의 요인들보다 1.
- 둘째, 독립변인인 정책형성단계 각 요인이 종속변인인 정책성과단계의 요인들에게 유의미한 영향을 주는지 검증한 결과, 모든 영향관계의 가설이 채택되었다. 그 중에서 정책형성 단계의 ‘정책참여’ 요인이 정책성과의 ‘목표달성도’, 정책성과의 ‘정책인지도’, 정책성과 요인 전체에 공통적으로 가장 큰 영향을 미치는 것으로 나타났고, ‘정책목표’ 요인, ‘정책환경’ 요인 순으로 영향이 큰 것으로 밝혀졌다.
- 둘째, 종합계획을 성공적으로 추진해 나가기 위해서는 정책과제를 실현 가능하도록 추진하기 위한 법·제도, 예산, 인력, 홍보체계 등 지원체제의 적극적인 개선을 도모하는 것이 매우 중요함을 보여주고 있다.
- 또한 2차 델파이 조사 후, 1차 델파이 조사 후 설계된 2차 평가모형의 구성요인들은 평가영역은 변함없이 8가지, 평가기준은 동일하게 11가지, 평가항목은 3개를 변경하고, 2개를 삭제, 2개를 1개로 수정·통합하여 총 38개로 변화되었다.
- 다섯째, 전체적인 연구모형의 관점에서 전체 변인이 동시에 고려되었을 때 어떤 영향관계를 가지고 있는지를 분석하기 위해 경로모형 분석(구조방정식 모델 분석)을 실시한 결과 정책형성단계 요인들은 정책성과단계 요인들에게 직접적인 영향과 함께 정책집행단계 요인들을 통해 간접적으로 유의한 영향을 미치고 있음을 알 수 있었다. 또한 정책형성단계의 요인들이 직접적으로는 정책집행단계의 요인들보다 정책성과 단계의 요인들에게 상대적으로 적은 영향을 미치지만, 정책집행단계의 요인들을 통한 간접효과까지 합친다면 정책집행단계의 요인들보다 1.2배 정도 더 큰 영향을 미치는 것으로 밝혀졌다.
- 또한 평가모형 설계를 위한 델파이 조사 중에 실시한 평가 영역별 중요도 평가에서 전체 8개 평가영역 중 ‘지원체제’ 요인을 1번째, ‘점검 및 평가체제’ 요인을 4번째, ‘정책연계 및 네트워크’ 요인을 8번째로 중요하다고 부여한 분석결과와 비교해 볼 때, 델파이 패널이 ‘지원체제’ 요인을 가장 중요하게 꼽았던 중요도 평가 순위와 동일하게 각 요인이 정책성과에 끼치는 영향력의 차이에 있어서도 ‘지원체제’ 요인이 가장 큰 영향을 미치고 있음을 알 수 있다.
- 또한 평가모형 설계를 위한 델파이 조사 중에 실시한 평가영역별 중요도 평가(‘ 델파이 패널의 평가영역별 중요도 평가 결과(종합)’ 참조)에서 전체 8개 평가영역 중 ‘정책환경’ 요인을 6번째, ‘정책목표’ 요인을 2번째, ‘정책참여’ 요인을 5번째로 중요하다고 부여한 분석결과와 비교해 볼 때, 델파이 패널이 꼽은 중요도에 비해 정책참여 요인은 정책성과에 더 큰 영향을 미치고 있는 것으로 밝혀졌다.
- 설문지 배포 및 수거방법은 각 정책관계자의 형편상 별도의 방법으로 진행되었는데, 중앙행정기관과 시·도 및 시도 교육청 관계자의 경우는 일대일 면접이나 전자우편, 일선도서관 정책실무자의 경우 웹 설문조사를 통해 각각 시행되었다. 배포된 총 689부의 설문지 중 총 496부가 회수되어 전체적으로 71.9%의 회수율을 보였으며, 회수된 설문지는 모두 유효했다.
- 분석 결과 ‘지원체제’(16.53점)를 가장 중요하게 생각하고 있었으며, ‘정책 목표’(15.93점), ‘목표달성도’(13.27점), ‘점검 및 평가체제’(12.33점), ‘정책참여’(12.13점), ‘정책 환경’(10.07점), ‘정책인지도’(9.93점), ‘정책연계 및 네트워크’(9.80점)의 순으로 나타났다.
- 분석 결과 <정책형성단계의 ‘정책환경’ 요인 - 정책형성단계의 ‘정책목표’ 요인>, <정책형성단계의 ‘정책환경’ 요인 - 정책집행단계의 ‘점검 및 평가체제’ 요인> 및 <정책형성단계의 ‘정책 참여’ 요인 - 정책집행단계의 ‘점검 및 평가체제’ 요인>의 관계를 제외한 다른 변인간의 관계는 유의수준 0.05에서 유의한 양의 상관성을 가지고 있다는 결과를 나타내고 있다.
- 셋째, 독립변인인 정책집행단계의 각 요인이 종속변인인 정책성과단계의 요인들에게 유의미한 영향을 주는지 검증한 결과, 모든 영향관계의 가설이 채택되었다. 그 중에서 정책집행단계의 ‘지원체제’ 요인이 정책성과의 ‘목표달성도’, 정책성과의 ‘정책인지도’, 정책성과 요인 전체에 공통적으로 가장 큰 영향을 미치는 것으로 나타났고, ‘점검 및 평가체제’ 요인, ‘정책연계 및 네트워크’ 요인 순으로 영향이 있는 것으로 밝혀졌다.
- 수정·보완된 내용은 전술한 델파이 조사 분석결과에서 상세히 기술하였으며, 최종적으로 평가영역 8가지, 평가기준 11가지, 평가항목 38개가 도출되었다.
- 동일한 상황에서 동일한 측정도구(설문문항)를 활용하여 동일한 개념에 대해 반복하여 측정하였을 때의 일관성, 즉 설문의 신뢰성을 분석하기 위하여 크론바하 알파 계수를 이용하였다. 신뢰성 분석 결과 측정항목의 신뢰도 계수는 모든 측정 변인이 최소 0.85 이상의 계수를 얻어, 문항 사이의 적절한 일관성이 있는 것으로 볼 수 있었다(측정항목의 신뢰도 분석결과는 부록 4 참고).
- 영향력의 차이를 살펴보면, 정책성과단계의 목표달성도에는 ‘지원체제’ 요인이 상대적으로 가장 큰 영향(β=0.295)을 주며, ‘점검 및 평가체제’ 요인(β=0.191), ‘정책 참여’ 요인(β=0.181) ‘정책연계 및 네트워크’ 요인(β=0.143)은 경미한 영향을 주는 것으로 분석되었다.
- 이상에서 정책성과단계의 목표달성도, 정책 성과단계의 정책인지도, 정책성과단계 요인 전체에 영향을 미치는 정책집행단계 요인들을 살펴본 결과, 유의수준 0.05에서 공통적으로 정책 집행단계의 ‘지원체제’ 요인이 가장 큰 영향을 미치는 것으로 나타났고, ‘점검 및 평가체제’ 요인, ‘정책연계 및 네트워크’ 요인 순으로 영향이 있는 것으로 밝혀졌다.
- 이상에서 정책성과단계의 목표달성도, 정책성과단계의 정책인지도, 정책성과단계 요인 전체에 영향을 미치는 정책형성단계 및 정책집행단계 요인 전체를 살펴본 결과, 유의수준 0.05에서 공통적으로 정책집행단계의 ‘지원체제’ 요인이 가장 큰 영향을 미치는 것으로 나타났고, ‘점검 및 평가체제’ 요인, ‘정책참여’ 요인, ‘정책연계 및 네트워크’ 요인 순으로 영향이 있는 것으로 밝혀졌다.
- 이상에서 정책성과단계의 목표달성도, 정책성과의 정책인지도, 정책성과단계 요인 전체에 영향을 미치는 정책형성단계 요인들을 살펴본 결과, 유의수준 0.05에서 공통적으로 정책형성 단계의 ‘정책참여’ 요인이 가장 큰 영향을 미치는 것으로 나타났고, ‘정책목표’ 요인, ‘정책환경’ 요인 순으로 영향이 있는 것으로 밝혀졌다.
- 그리고 일부 평가항목의 구체적인 내용을 수정하거나 추가하였다. 이상의 내용을 종합해 볼 때 2차 델파이 조사 후 도출된 분석결과에 의해 종합계획의 정책과정을 평가하는 모형의 측정항목 구성에 있어서 전반적으로 델파이 패널간의 의견 합치가 이루어졌다고 할 수 있다.
- 정책성과단계 요인 전체에 미치는 영향력의 차이를 살펴보면 ‘지원체제’ 요인이 상대적으로 가장 큰 영향(β=0.515)을 주며, ‘점검 및 평가체제’ 요인(β=0.207)과 ‘정책연계 및 네트워크’ 요인(β=0.141)은 미미한 영향을 주는 것으로 분석되었다.
- 정책성과단계의 정책인지도에는 ‘지원체제’ 요인이 가장 큰 영향(β=0.552)을 주며, ‘점검 및 평가체제’ 요인(β=0.092)과 ‘정책연계 및 네트워크’ 요인(β=0.079)은 상대적으로 미미한 영향을 끼치는 것으로 나타났다.
- 요인들간의 전체효과는 간접효과와 직접효과를 합친 값이다. 정책형성단계 요인들은 정책집행단계 요인들에게 직접적으로 0.586 만큼 영향을 미치고, 정책성과 단계 요인들에는 직접적으로 0.399, 간접적으로 0.400, 직접효과와 간접효과를 합쳐 전체적으로는 0.799 만큼 영향을 미치는 것으로 나타났다. 따라서 정책형성단계의 요인들이 직접적으로는 정책집행단계의 요인들보다 정책성과단계의 요인들에게 상대적으로 적은 영향을 미치지만, 정책집행단계의 요인들을 통한 간접효과까지 합친다면 정책집행단계의 요인들보다 1.
- 정책형성단계의 ‘정책환경’ 요인과 ‘정책목표’ 요인은 유의수준(0.05) 범위에서 모든 정책성과단계 요인들에게 영향을 주지 못하고, 정책성과단계의 정책인지도에는 정책 집행단계의 3가지 요인들만 영향을 미치는 것으로 파악되었다.
- 종합계획에 대한 평가결과를 분석한 결과, 정책성과단계의 ‘목표달성도’ 요인이 평균값 3.66, 표준편차 1.02, 환산점수 73.20으로 8개 정책영역 중 가장 높은 평가결과를 보여주었고, 정책성과단계의 ‘정책인지도’ 요인이 평균값 2.82로 가장 낮은 평가결과를 기록하였다.
- 종합계획에서는 우리나라 도서관의 진흥을 위한, ‘선진일류국가를 선도하는 도서관’이라는 비전을 설정하고, 비전 달성을 위해 3대 정책목표 및 8대 추진전략 등을 제시하고 있다.
- 종합계획의 정책과정 평가를 위한 평가모형의 평가영역, 평가기준 및 평가항목은 선행 문헌연구 및 평가모형의 분석결과로부터 1차 델파이 조사, 2차 델파이 조사에 이르기까지 적지 않은 변화가 있었다. 수정·보완된 내용은 전술한 델파이 조사 분석결과에서 상세히 기술하였으며, 최종적으로 평가영역 8가지, 평가기준 11가지, 평가항목 38개가 도출되었다.
- 첫째, 종합계획의 정책성과에 영향을 미치는 정책형성·정책집행단계의 요인들간의 유의미한 관계를 검증하기 위해 상관관계 분석을 실시한 결과, <정책형성단계의 ‘정책환경’ 요인 - 정책형성단계의 ‘정책목표’ 요인> 등 3가지 관계를 제외한 모든 변인간의 상관관계가 유의수준 0.05에서 유의한 양의 상관성을 가지고 있는 것으로 분석되었다.
후속연구
- 델파이 패널이 제시한 평가영역별 중요도 평가 결과는 향후 설문조사를 통한 도서관발전종합계획(2009∼2013)의 평가에서 평가자들이 실제 평가한 전체 정책단계의 평가영역별 평가결과와 비교해 볼 수 있을 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.