본 연구는 다층모형(multilevel model)을 상수원관리지역 주민지원사업 정책평가에 활용하는데 있어 유효성 및 효과를 이해하는데 연구의 목적이 있다. 정책의 대상이 위계적인(hierarchical) 특성을 지니고 있는 경우 다층모형을 이용하여 정책평가를 하는 것이 정책의 효과를 평가하고 검증하는데 있어 적절하다. 또한 이 모형은 기존 평가결과의 재평가 등에 응용될 수 있다. 상수원관리지역의 주민지원사업을 대상으로 주민만족도와 경제적 도움정도를 정책효과변수로 하여 다층모형을 적용 하였다. 그 결과 정책효과변수에 기존 평가결과 및 중요한 사업으로 여겨지던 소득증대사업 등이 직접적인 영향을 미치지 못함을 통계적으로 확인할 수 있었다. 본 연구는 다음과 같은 세 가지의 정책적 함의를 지닌다. 첫째, 정책 및 사업평가에 있어 정책의 효과를 엄밀히 파악하기 위하여 위계적 구조를 고려할 수 있는 다층모형을 이용하여야 한다. 둘째, 기관평가의 순위 도출에 있어 다층모형을 이용하여 지표에 의한 성과지표와 보완적으로 이용해야 한다. 셋째, 위계적 구조의 하나로서 공간적 위계를 고려하여 정책평가를 시행하여야 한다.
본 연구는 다층모형(multilevel model)을 상수원관리지역 주민지원사업 정책평가에 활용하는데 있어 유효성 및 효과를 이해하는데 연구의 목적이 있다. 정책의 대상이 위계적인(hierarchical) 특성을 지니고 있는 경우 다층모형을 이용하여 정책평가를 하는 것이 정책의 효과를 평가하고 검증하는데 있어 적절하다. 또한 이 모형은 기존 평가결과의 재평가 등에 응용될 수 있다. 상수원관리지역의 주민지원사업을 대상으로 주민만족도와 경제적 도움정도를 정책효과변수로 하여 다층모형을 적용 하였다. 그 결과 정책효과변수에 기존 평가결과 및 중요한 사업으로 여겨지던 소득증대사업 등이 직접적인 영향을 미치지 못함을 통계적으로 확인할 수 있었다. 본 연구는 다음과 같은 세 가지의 정책적 함의를 지닌다. 첫째, 정책 및 사업평가에 있어 정책의 효과를 엄밀히 파악하기 위하여 위계적 구조를 고려할 수 있는 다층모형을 이용하여야 한다. 둘째, 기관평가의 순위 도출에 있어 다층모형을 이용하여 지표에 의한 성과지표와 보완적으로 이용해야 한다. 셋째, 위계적 구조의 하나로서 공간적 위계를 고려하여 정책평가를 시행하여야 한다.
The purposes of research is to understand the need of and the effectiveness of multilevel model to evaluate community support program in watershed areas. If the properties of policy target have hierarchical characteristics, the multilevel analysis is an adequate method to evaluate and test the effec...
The purposes of research is to understand the need of and the effectiveness of multilevel model to evaluate community support program in watershed areas. If the properties of policy target have hierarchical characteristics, the multilevel analysis is an adequate method to evaluate and test the effectiveness of policy. Also, the technique of multilevel modeling is extended to testing the relevance between performance appraisal and policy effectiveness. The case study of watershed region's community support program was estimated using satisfaction and economic aid level of policy target. This research has three results. First, the multilevel analysis should be used in nested data structure to estimate the effect of policy intervention. Second, the indexes of multilevel modeling should be used complementally to that of the traditional index approach. Third, the spatial hierarchical structure should be considered as the hierarchical structure in policy evaluation.
The purposes of research is to understand the need of and the effectiveness of multilevel model to evaluate community support program in watershed areas. If the properties of policy target have hierarchical characteristics, the multilevel analysis is an adequate method to evaluate and test the effectiveness of policy. Also, the technique of multilevel modeling is extended to testing the relevance between performance appraisal and policy effectiveness. The case study of watershed region's community support program was estimated using satisfaction and economic aid level of policy target. This research has three results. First, the multilevel analysis should be used in nested data structure to estimate the effect of policy intervention. Second, the indexes of multilevel modeling should be used complementally to that of the traditional index approach. Third, the spatial hierarchical structure should be considered as the hierarchical structure in policy evaluation.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
주민지원사업 평가 총점은 각 수계관리위원회 별로 이루어지는 평가결과로서 평가결과 지표점수가 주민지원사업 정책효과를 잘 대변하는지 알아보기 위하여 설정하였다. 1인당 소득증대 지원액수는 주민지원사업의 가장 중요한 사업으로 알려져 있는 소득증대사업이 주민지원사업 정책효과에 과연 영향을 미치고 있는지 여부를 알아보기 위해 삽입하였다. 또한 카드제나 현물지원 등을 통하여 현물보조 혹은 소득보조의 형태로 지원되고 있는 직접지원사업 여부를 더미변수로 구성하였다.
본 연구는 다층적 구조를 지닌 평가자료의 속성을 이용하여 정책의 효과를 검증할 수 있는 정책평가기법의 개발에 첫 번째 목적이 있다. 또한 개발된 기법을 상수원관리지역의 주민지원사업에 적용하여 주민지원사업의 정책효과를 평가하고 기존에 평가된 결과를 정책효과를 중심으로 재평가 하는데 두 번째 목적이 있다. 우선 다층모형을 이용한 정책평가모형을 이론적으로 도출한 후, 사례분석에 이용할 주민지원사업 평가모형을 검토할 것이다.
이러한 정책 평가는 위계적 구조(hierarchical structure)를 가지게 된다는 특징이 있으며 집락적인(nested) 자료의 구조를 고려하여 정책의 효과를 평가할 수 있는 다층적 통계모형(multilevel model)의 적용이 요구된다. 본 연구는 다층적 구조를 지닌 평가자료의 속성을 이용하여 정책의 효과를 검증할 수 있는 정책평가기법의 개발에 첫 번째 목적이 있다. 또한 개발된 기법을 상수원관리지역의 주민지원사업에 적용하여 주민지원사업의 정책효과를 평가하고 기존에 평가된 결과를 정책효과를 중심으로 재평가 하는데 두 번째 목적이 있다.
본 연구는 앞서 논의된 다층모형을 이용한 정책평가기법을 활용하여 상수원관리지역 주민지원사업 사례에 적용하여 모형의 활용성을 검증해 보았다. 주민지원사업은 정책 대상이 구조화된 경우로서 다층모형을 이용하여 정책을 평가할 수 있는 사례로서 적합하다.
가설 설정
첫 번째 문제였던 분석의 단위에서 나타나는 문제를 해결하기 위해서 변수 간 관계를 제한적으로 이용한다면, 관련 변수 간 존재하는 내적상호작용을 무시하게 될 수 있다. 즉, 집단 간 차이가 나는 개인들의 특성을 모두 동일하다는 가정 하에 분석을 시행하게 되는 오류를 범할 수 있다는 것이다. 셋째, 공상관요인(confounding factor)의 문제이다.
제안 방법
우선 다층모형을 이용한 정책평가모형을 이론적으로 도출한 후, 사례분석에 이용할 주민지원사업 평가모형을 검토할 것이다. 그리고 주민지원사업의 정책효과 평가를 위하여 분석모형을 설정하고 실제 평가를 시행할 것이다.
1인당 소득증대 지원액수는 주민지원사업의 가장 중요한 사업으로 알려져 있는 소득증대사업이 주민지원사업 정책효과에 과연 영향을 미치고 있는지 여부를 알아보기 위해 삽입하였다. 또한 카드제나 현물지원 등을 통하여 현물보조 혹은 소득보조의 형태로 지원되고 있는 직접지원사업 여부를 더미변수로 구성하였다. 직접지원사업은 각 시·군별로 지원여부 및 금액이 상이하고 또한 행정적 지원이 아닌 보상의 성격에 가까운 사업이다.
이는 주민의 만족도에 직접적 영향을 미칠 수 있다. 상수원관리지역의 면적은 면적과 인구에 따라 배분되는 주민지원사업비의 규모를 통제하기 위하여 변수로 설정하였다. 즉 주민지원사업 지원규모가 적은 경우 사업의 규모 역시 소규모로 진행될 수 밖에 없으며 이는 면적과 인구규모가 커 대규모로 지원되는 지역과 동등하게 비교할 수 없다.
또한 개발된 기법을 상수원관리지역의 주민지원사업에 적용하여 주민지원사업의 정책효과를 평가하고 기존에 평가된 결과를 정책효과를 중심으로 재평가 하는데 두 번째 목적이 있다. 우선 다층모형을 이용한 정책평가모형을 이론적으로 도출한 후, 사례분석에 이용할 주민지원사업 평가모형을 검토할 것이다. 그리고 주민지원사업의 정책효과 평가를 위하여 분석모형을 설정하고 실제 평가를 시행할 것이다.
현재 주민지원사업의 방향성에 동의를 하지만 사업방식에 문제가 있다고 여겨 만족도가 낮을 수도 있으며, 반대로 사업방식과 효과가 있다고 생각하여 만족도가 높을 수도 있다. 이외에 나이, 성별, 규제정도 등을 통제변수로 활용하였다.
대상 데이터
본 연구는 다층모형을 이용한 정책효과평가 방법을 제시하고 상수원관리지역의 주민지원사업을 그 대상으로 하여 사례분석을 하였다. 2007년 주민지원사업을 대상으로 하여 사례분석을 한 결과 주민만족도를 정책효과 변수로 한 연구모형(Model 3)에서는 경제적 도움정도와 정책호응정도가 주민만족도에 큰 영향을 미치는 것으로 나타났으며, 소득증대사업은 실효성이 크지 않은 것으로 또한 기존 평가는 주민지원사업의 효과를 제대로 반영하고 있지 못한 것으로 나타났다.
본 연구의 분석대상은 한강, 낙동강, 금강수계의 각 시·군별 주민지원사업을 그 대상으로 하였으며 영산강·섬진강은 제외하였다.
다층모형의 기법을 적용하기 위하여 식 (11)과 같은 3가지의 다층모형을 구성하였다. 분석의 시간적 범위는 2007년이며, 이용된 자료는 각 수계관리위원회에서 시행된 주민지원사업 주민만족도 조사결과 및 주민지원사업 평가결과, 그리고 지방재정통계자료를 활용하였다.
데이터처리
추가적으로 집단수준에서 Zj를 통제함으로써 종속변수의 집단 평균이 크게 달라지는지에 대하여 τ00의 카이제곱 검증을 통하여 알 수 있다.
성능/효과
1. 정책 및 사업평가에 있어 다층모형을 이용하여 개인과 집단 수준을 모두 고려한 다면적 평가가 이루어져야 한다. 정책효과 변수에 미치는 개인적인 속성변수 뿐만 아니라 지역, 기관 등 2차 수준에서의 미치는 속성변수를 고려할 수 있기 때문에 정책 및 사업 대상자에 미치는 효과를 엄밀하게 파악할 수 있다는 장점이 있다.
1인당 소득증대 지원금액이 100만원 늘어날 때 사업을 인지하는 경우, 주민만족도는 0.52% 감소하는 것으로 나타났다(-0.0052=-0.000026×1000/5).
이는 주민지원사업의 평가가 주민지원사업의 목적을 제대로 반영하고 있지 못하다는 것을 보여준다. 1인당 소득증대사업의 금액이 100만원 증가하면, 경제적 도움정도가 주민만족도에 미치는 증가정도가 0.28% 상승하는 것으로 나타났다.
3. 공간계획적인 측면에서 다층모형을 이용한 정책 및 사업평가는 정책효과의 공간적 범위와 연계성을 지닌다. 사례지역과 같이 특정한 공간적 범위를 대상으로 하는 정책 혹은 사업의 경우 그 효과가 개인과 지역에 따라 위계적으로 다르게 형성될 수 있으며 영향을 미치는 변수 역시 다양하게 고려될 수 있다.
4. 주민지원사업평가에 있어 일반적으로 지원금액이 큰 관리청 또는 수계관리지역(환경청)이 더 좋은 주민만족도를 가질 것으로 생각되어 왔으나 본 연구의 결과에 의하면 1인당 소득증대 지원금액이 늘어날 때, 개인수준에서의 주민만족도는 오히려 감소하는 것으로 나타났다. 이는 실제 사업비 증가보다는 관리청의 정책노력이 더 중요하다는 것으로 정책적 함의를 가진다.
카이제곱 검증 결과 유의한 결과가 나타나지 않아 본 연구에서 설정한 변수가 충분히 설명할 수 있는 모형으로 판단되었다. Model 2의 결과 개인 수준에서 설정된 변수로 인하여 약 38%정도 미지의 분산 수준을 설명할 수 있게 되었다.
Model 3의 모형은 시·군 단위에서 설명되던 분산의 약 73%를 설명하는 것으로 나타났으며 정책 호응정도를 제외하고는 개인 수준 변수의 기울기에 영향을 미치는 다른 변수가 없는 것으로 나타났다.
경제적 도움이 되는 정도는 주민지원사업의 만족도와 높은 연관성을 보여주었다. 경제적으로 도움이 된다고 생각하는 정도가 20% 증가할수록 주민만족도는 약 10% 증가하는 것으로 나타났다. 정책호응정도는 20% 증가할 때 주민만족도는 약 3.
나이에 있어서는 평균적으로 56세를 나타내고 있어 지역에서의 고연령층을 보여주고 있다. 관리정에 대한 조사에서는 평균적으로 낮은 재정자립도를 보여주며 직접지원사업에 있어서는 해당지자체중 반 정도가 하고 있는 것으로 나타났다.
기초모형(Model 1)의 결과 집단 내 상관계수(intraclass correlation)는 시·군 단위에서의 차이가 주민만족도의 분산을 약 2.4% 설명하는 것으로 나타났다.
모든 시·군의 주민만족도가 동일할 것이라는 귀무가설에 대해 1% 유의수준에서 기각할 수 있어 주민만족도가 시·군에 따라 다른 변산을 보이고 있다는 증거를 확보할 수 있다. 기초모형을 수정한 모형의 결과 재정자립도, 주민지원사업 평가 총점, 1인당 소득증대 지원금액, 직접지원사업 지원여부, 상수원관리지역 면적 등의 시군 수준의 변수에 의해 설명되는 정도가 33%임을 알 수 있었다. 카이제곱 검증 결과 유의한 결과가 나타나지 않아 본 연구에서 설정한 변수가 충분히 설명할 수 있는 모형으로 판단되었다.
정책의 순수한 효과를 평가하기 위하여 정책대상 개별 수준(level 1)에서의 속성과 영향을 줄 수 있는 다른 정책 환경적 요인을 제거한 후 정책에 의하여 나타난 효과를 파악하기 위하여 정책대상 집단(level 2)에서의 집단 간 비교를 통하여 정책효과성을 평가할 수 있다. 따라서 ANOVA 모형에서의 결과와 다층모형에서 추정된 결과의 비교를 통해서 집단의 효과성을 평가할 수 있다. 앞선 식 (10)을 상기하면, β0j는 추정하는 과정에서 예측 가능한 요인들의 영향을 모두 포함하게 되며, 모집단 평균의 추정치라는 의미를 지닌다.
사업을 인지하고 있는 집단과 그렇지 않은 집단의 만족도 차이에 있어서는 시·군 단위에서의 주민지원사업 평가 총점과 1인당 소득증대 지원금액, 상수원관리지역의 면적이 유의하게 영향을 주는 것으로 나타났다.
경제적으로 도움이 된다고 생각하는 정도가 20% 증가할수록 주민만족도는 약 10% 증가하는 것으로 나타났다. 정책호응정도는 20% 증가할 때 주민만족도는 약 3.4% 증가하였다. 주민지원사업 평가 총점은 경제적 도움정도가 주민만족도에 미치는 증가정도를 줄이는 것으로 나타났다.
주민만족도로 측정된 주민지원사업의 정책효과는 시·군 단위에서의 상수원관리지역 면적이 늘어남에 따라 감소하는 것으로 나타났다.
4% 증가하였다. 주민지원사업 평가 총점은 경제적 도움정도가 주민만족도에 미치는 증가정도를 줄이는 것으로 나타났다. 이는 주민지원사업의 평가가 주민지원사업의 목적을 제대로 반영하고 있지 못하다는 것을 보여준다.
기초모형을 수정한 모형의 결과 재정자립도, 주민지원사업 평가 총점, 1인당 소득증대 지원금액, 직접지원사업 지원여부, 상수원관리지역 면적 등의 시군 수준의 변수에 의해 설명되는 정도가 33%임을 알 수 있었다. 카이제곱 검증 결과 유의한 결과가 나타나지 않아 본 연구에서 설정한 변수가 충분히 설명할 수 있는 모형으로 판단되었다. Model 2의 결과 개인 수준에서 설정된 변수로 인하여 약 38%정도 미지의 분산 수준을 설명할 수 있게 되었다.
후속연구
2. 기관평가에 있어 다층모형을 이용하여 순위를 도출하고 기존 성과지표에 의한 평가와 비교하는 방법을 상호보완적으로 이용해야 한다. 기관평가에서는 지표를 통한 순위 도출을 통하여 향후 사업의 방향에 대한 결정과 인센티브 제공 등의 근거를 마련한다.
두 번째 문제는 회귀계수의 변산과 관련된 문제이다. 첫 번째 문제였던 분석의 단위에서 나타나는 문제를 해결하기 위해서 변수 간 관계를 제한적으로 이용한다면, 관련 변수 간 존재하는 내적상호작용을 무시하게 될 수 있다. 즉, 집단 간 차이가 나는 개인들의 특성을 모두 동일하다는 가정 하에 분석을 시행하게 되는 오류를 범할 수 있다는 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
상수원관리지역은 무엇인가?
상수원관리지역은 광역적 규제지역으로서 강 이용과 보전에 있어 권리와 책무를 동시에 지니고 있는 특수한 지역이다. 수도법을 통하여 규제되고 있던 상수원관리지역은 1999년 『한강수계상수원수질개선 및 주민지원 등에 관한 법률』을 시작으로 낙동강, 금강, 영산강·섬진강 수계의 법률이 제정되어 상수원관리지역의 세분과 유역의 통합적 관리를 시행하게 되었다.
상수원관리지역은 무엇을 통하여 규제되고 있는가?
상수원관리지역은 광역적 규제지역으로서 강 이용과 보전에 있어 권리와 책무를 동시에 지니고 있는 특수한 지역이다. 수도법을 통하여 규제되고 있던 상수원관리지역은 1999년 『한강수계상수원수질개선 및 주민지원 등에 관한 법률』을 시작으로 낙동강, 금강, 영산강·섬진강 수계의 법률이 제정되어 상수원관리지역의 세분과 유역의 통합적 관리를 시행하게 되었다.
유역관리사업으로는 어떠한 사업이 시행되고 있는가?
각 수계별 법이 제정됨과 동시에 물이용 부담금과 각 유역별 기금이 신설되었고 이를 통하여 다양한 유역관리사업이 시행되고 있다. 수질의 지속적 개선과 관련된 사업으로 환경기초시설 설치 및 운영비용에 대한 지원사업, 토지매수사업 등이 진행되고 있으며 상하류 공영정신 구축을 위하여 제한받는 권리에 대한 행정적 지원으로서 주민지원사업이 시행되고 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.