농촌중심지활성화(선도지구) 사업에 대한 성과평가 방안으로서의 논리모델 적용 가능성 탐색: 영월군 지역역량강화 분야를 중심으로 A Study to Apply the Logic Model for Evaluating Outcomes of Revitalization Projects of Rural Centers: Focusing on Regional Capacity Strengthening in Yeongwol-gun원문보기
This study aims to apply the logic model in order to evaluate outcomes of revitalization projects of rural centers as a part of the regional capacity strengthening in Yeongwol-gun. According to the study results, first of all, it was unclear to answer for questions what, how and why to lead the proj...
This study aims to apply the logic model in order to evaluate outcomes of revitalization projects of rural centers as a part of the regional capacity strengthening in Yeongwol-gun. According to the study results, first of all, it was unclear to answer for questions what, how and why to lead the project, when examining logical associations among program inputs, activities, outputs and outcomes. As an alternative method, the logic model has been applied, and this in turn led to clarify the goals, inputs, contents, outputs, outcomes as well as overall outcome goals and purpose of the current projects. Second of all, the initial, intermediate and long term outcome goals of the current project were indistinctly specified, and moreover, their evaluation methods were also unclear. By applying the logic model to the current regional capacity strengthening project, it was able to figure the distinction between program outputs and outcomes, and specify initial, intermediate and long term target goals as well as their evaluation tools. It is therefore to conclude that the logic model has a possibility to apply to a project evaluation, especially in the sense that this method considers efficiency, effectiveness and accountability of each project.
This study aims to apply the logic model in order to evaluate outcomes of revitalization projects of rural centers as a part of the regional capacity strengthening in Yeongwol-gun. According to the study results, first of all, it was unclear to answer for questions what, how and why to lead the project, when examining logical associations among program inputs, activities, outputs and outcomes. As an alternative method, the logic model has been applied, and this in turn led to clarify the goals, inputs, contents, outputs, outcomes as well as overall outcome goals and purpose of the current projects. Second of all, the initial, intermediate and long term outcome goals of the current project were indistinctly specified, and moreover, their evaluation methods were also unclear. By applying the logic model to the current regional capacity strengthening project, it was able to figure the distinction between program outputs and outcomes, and specify initial, intermediate and long term target goals as well as their evaluation tools. It is therefore to conclude that the logic model has a possibility to apply to a project evaluation, especially in the sense that this method considers efficiency, effectiveness and accountability of each project.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이와 같이 지역역량강화사업은 지역의 개인, 집단, 조직, 지역사회의 특정한 목적 달성을 위하여 자원과 기술을 투입하여 계획된 활동을 하는 것으로 여기에는 행정, 서비스 제공, 지역사회 활동을 포함한다. 따라서 본 연구에서는 성과평가 체계로서의 논리모델에 대해 살펴보고, 이를 토대로 지역역량강화 사업에 대한 성과평가체계 적용 방안을 모색하고자 한다.
본 연구는 영월군 PM단과의 회의 (2017년 08월 23일)에서 A업체가 제출한 지역역량강화 프로그램에 논리모델 적용 전과 후로 비교하여 목적, 목표, 투입, 활동, 산출, 성과 등에서 어떠한 차이가 있는지를 살펴보고자 한다. 이는 지역역량강화 프로그램의 성과평가 체계를 구축하기 위한 하나의 방안으로서 논리모델 적용 가능성을 탐색하기 위해서이다.
이와 같은 논의를 토대로, 본 연구자가 PM을 맡고 있는 영월군의 지역역량강화 분야 사업수행업체가 제출한 ｢영월군 농촌중심지활성화 지역역량강화 용역: 2017년 사업추진계획 및 6월간 업무보고｣에서 특성이 다른 2개의 프로그램을 발췌하고, 이를 논리모델 적용 전과 후를 비교하여 살펴보고자 한다.
가설 설정
이에 A업체의 프로그램을 논리모델에 적용한 결과, 다음 몇 가지 측면에서 명료해진 것을 알 수 있었다. ① 각 회기별 활동에 대한 과정평가가 가능하다. ② 프로그램이 성과로 이어질 수 있도록 전체 회기가 종결될 때까지 일관성과 방향성이 유지되었다.
제안 방법
Table 6”은 A업체가 제출한 ‘문화⋅복지’ 프로그램을 논리모델에 적용하여 재기술한 것이다. 그 결과, 이 프로그램은 3개년 동안 진행되는 장기과정이므로 단기, 중기, 장기 목표를 설정하고 각 단계별로 활동들을 위계화하여 구체적으로 제시되었다. 이때 투입되는 자원들 (인적 자원, 물적 자원, 조직, 관련규정 등), 참여인원, 관련 활동들, 산출 등이 어떤 연관성을 갖고 진행되고자 하는지 등이 그림으로 제시됨으로써 전체 틀을 이해하기 쉬운 장점이 있다.
둘째, 영월군 농촌중심지활성화 일환으로 추진되는 A업체의 지역역량강화 프로그램에 논리모델 적용 전과 후, 단기⋅ 중기⋅장기 성과목표는 어떠한지를 살펴보았다.
본 연구에서 제시된 프로그램은 영월군 PM단과의 회의 (2017년 08월 23일)에서 A업체가 프로그램을 실시하기 위해 작성한 실제 프로그램이다. 이를 논리모델에 적용하여 프로그램을 다시 기술한 후, 목적, 투입, 활동, 산출, 성과 등을 비교한다.
“Table 4”는 A업체가 제출한 ‘농산물 유통 농업인 육성’ 프로그램을 논리모델에 적용하여 재기술한 것이다. 이 프로그램은 3개년 동안 진행되는 장기과정이므로 단기, 중기, 장기 목표를 설정하고 각 단계별로 활동들을 위계화하여 구체적으로 제시하였다. 이때 투입되는 자원들 (인적 자원, 물적 자원, 조직, 관련규정 등), 참여인원, 관련 활동들, 산출 등이 어떤 연관성을 갖고 진행되고자 하는지를 이해하기 쉽게 이를 표로 제시하였다.
본 연구에서 제시된 프로그램은 영월군 PM단과의 회의 (2017년 08월 23일)에서 A업체가 프로그램을 실시하기 위해 작성한 실제 프로그램이다. 이를 논리모델에 적용하여 프로그램을 다시 기술한 후, 목적, 투입, 활동, 산출, 성과 등을 비교한다. 본 연구에서 A업체의 프로그램과 비교할 논리모델 적용 프로그램과 교육계획 (안)은 다음과 같다.
첫째, 농촌중심지활성화 일환으로 추진되는 A업체의 지역 역량강화 프로그램에 논리모델 적용 전과 후, 투입, 활동, 산출, 성과 등 제 요소 간의 논리적 연관성은 어떠한지를 살펴보았다. 그 결과, A업체의 프로그램은 구체적으로 기술하고 이를 토대로 시행되어야 할 단계임에도, 대부분 제목 정도만 언급하고 있어서 무엇을, 어떻게, 왜 추진하고자 하는지에 대한 내용파악이 어려웠다.
대상 데이터
본 연구의 대상은 사업수행업체의 2017년 6월 ｢영월군 농촌중심지활성화 지역역량강화 용역–2017년 사업추진계획 및 6월간 업무보고｣를 중심으로 하였다.
다른 하나는, 농산물유통 농업인 육성 프로그램으로, 3개년 동안 기초, 심화, 전문 과정 등 교육 수준과 내용이 다르게 진행된다. 참여대상은 작목반, 마을리더, 귀농귀촌자, 협동조합원을 중심으로 3개년동안 동일인이 참여한다.
성능/효과
이에 A업체의 지역역량강화 프로그램을 논리모델에 적용하여 기술한 결과, 다음 몇 가지 측면에서 명료해짐을 볼 수 있었다. ① 지역주민의 역량강화를 위한 단계별 연차사업인 기초과정, 심화과정, 전문과정에서 투입, 활동, 산출, 단기성과, 중기성과, 장기성과 등 일련의 흐름 파악이 용이해졌다. ② 지역주민이 프로그램에 참여함으로써 단기성과로는 개인의 지식⋅기술⋅태도의 변화를, 중기성과로는 행동의 변화를, 장기성과로는 지역사회의 발전을 견인하는 전략을 한눈에 볼 수 있는 틀을 갖추게 되었다.
① 각 회기별 활동에 대한 과정평가가 가능하다. ② 프로그램이 성과로 이어질 수 있도록 전체 회기가 종결될 때까지 일관성과 방향성이 유지되었다. ③ 프로그램의 목적에 합당하는 목표를 알려 주며, 목표 간의 균형, 활동과 목표 간의 관계를 간과하지 않도록 사업을 점검하는 역할이 가능하였다.
② 프로그램이 성과로 이어질 수 있도록 전체 회기가 종결될 때까지 일관성과 방향성이 유지되었다. ③ 프로그램의 목적에 합당하는 목표를 알려 주며, 목표 간의 균형, 활동과 목표 간의 관계를 간과하지 않도록 사업을 점검하는 역할이 가능하였다. ④ 지역역량강화 프로그램을 기획하고 진행함에 있어 목표달성의 최적 대안 선택이 가능하였다.
④ 지역역량강화 사업의 기획, 실행뿐만 아니라 종료 및 사후평가를 위한 관리 및 평가의 준거로서의 활용이 가능할 것으로 판단되었다. ⑤ 자원 제공자의 지원 판단 근거 및 사업수행기관에 대한 신뢰성과 투명성 제고가 가능할 것으로 보였다.
이와 같은 본 연구의 결과를 요약하면, 지역역량강화 프로그램에 논리모델을 적용함으로써 지역역량강화 사업이 추구하는 목적과 목표가 보다 분명해졌으며, 프로그램의 방향성을 제시하는 것으로 나타났다. 또한 프로그램의 목적, 목표, 활동내용, 성과 등 일련의 흐름 파악이 용이하므로 프로그램의 설계와 관리 매뉴얼로서도 가능할 것으로 판단되었다. 향후에는 보다 다양한 사례연구를 바탕으로 일반적이고 표준화된 논리모델을 완성하기 위한 추후 연구가 필요하다.
이를 논리모델에 적용하여 교육 계획 (안)을 기술한 결과, 왜 이 프로그램이 필요한지, 그 지역은 어떤 문제가 있는지, 목적과 목표는 무엇인지, 예상하는 성과는 무엇이고, 평가는 어떻게 할 것인지 등이 구체화되었다. 또한 회기별로 목적, 투입, 활동, 산출, 성과가 제시됨으로써 프로그램 진행과정이 한 눈에 파악 가능하였다.
둘째, 중기성과는 프로그램의 단기성과를 경험함으로써 얻게 되는 이익, 즉, 새로운 지식, 태도 그리고 기술로부터 나오는 행동의 변화이다. 셋째, 단기성과는 프로그램에 참여함으로써 참여자의 지식, 태도, 기술의 변화를 의미하며, 프로그램의 종결 직후에 확인될 수 있는 직접적이고, 즉시적인 성과이다.
A업체에서 제시한 프로그램 교육내용은 당해 단기사업이고, 참여 대상은 불특정 노년층이다. 이를 논리모델에 적용하여 교육 계획 (안)을 기술한 결과, 왜 이 프로그램이 필요한지, 그 지역은 어떤 문제가 있는지, 목적과 목표는 무엇인지, 예상하는 성과는 무엇이고, 평가는 어떻게 할 것인지 등이 구체화되었다. 또한 회기별로 목적, 투입, 활동, 산출, 성과가 제시됨으로써 프로그램 진행과정이 한 눈에 파악 가능하였다.
이와 같은 본 연구의 결과를 요약하면, 지역역량강화 프로그램에 논리모델을 적용함으로써 지역역량강화 사업이 추구하는 목적과 목표가 보다 분명해졌으며, 프로그램의 방향성을 제시하는 것으로 나타났다. 또한 프로그램의 목적, 목표, 활동내용, 성과 등 일련의 흐름 파악이 용이하므로 프로그램의 설계와 관리 매뉴얼로서도 가능할 것으로 판단되었다.
“Table 2”는 논리모델을 적용하여 프로그램을 기술하는데, 하나의 프로그램 (단계, 장기 포함)이 단기, 중기, 장기 목표를 실현하고자 투입되는 자원들 (인적 자원, 물적 자원, 조직, 관련규정 등), 참여인원, 관련 활동들, 산출 등이 어떤 연관성을 갖고 진행되고자 하는지를 밝히는 ‘프로그램 로드맵’이라고 할 수 있다. 첫째, 장기성과는 단기와 중기성과로부터 얻어진 결과물들을 기반으로 해서 참여자가 가지고 있는 욕구나 문제의 궁극적 해결이다. 둘째, 중기성과는 프로그램의 단기성과를 경험함으로써 얻게 되는 이익, 즉, 새로운 지식, 태도 그리고 기술로부터 나오는 행동의 변화이다.
후속연구
따라서 본 연구에서는 지역역량강화 사업수행업체의 책임성 검증에 대한 사회적 요구가 커지고 있는 시점에서, 프로그램의 설계와 관리 차원에서 몇 가지 지표로 축약하여 투입, 과정, 산출 간의 연결고리를 분명하게 하는 논리모델이 유용할 것으로 판단되어 본 연구에 적용하고 그 효과를 검증해 볼 필요가 있을 것이다.
또한 단기, 중기, 장기 목표에 따른 성과측정을 위한 도구를 활용하거나, 없는 경우에는 자체 개발하여 성과평가 체계 구축이 가능할 것으로 판단된다.
또한 프로그램의 목적, 목표, 활동내용, 성과 등 일련의 흐름 파악이 용이하므로 프로그램의 설계와 관리 매뉴얼로서도 가능할 것으로 판단되었다. 향후에는 보다 다양한 사례연구를 바탕으로 일반적이고 표준화된 논리모델을 완성하기 위한 추후 연구가 필요하다.
질의응답
핵심어
질문
논문에서 추출한 답변
선도지구의 목적은?
이에 MAFRA (2013)는 기존의 하드웨어 중심의 ‘읍(동)면소재지종합정비사업’에서 소프트웨어 중심의 ‘농촌중심지활성화사업’으로 개칭하고, 주민의 삶의 질 향상을 도모하고자 사업의 추진방향, 내용, 지원방식 등을 대폭 개선하였다. 특히 선도지구의 경우, 지역주민의 역량강화를 위해 중심지와 배후지역 주민이 함께 이용 가능한 생활편익시설, 문화⋅복지시설을 확충하고, 주민을 교육하고 컨설팅함으로써 궁극으로는 주민이 주도하는 농촌활성화 사업을 이루고자 함이다. 이러한 추진목적은 지역역량강화 사업 관련 예산의 증가와 함께 주요 사업으로 인식하는 계기가 되었다.
우리나라의 농산어촌지역의 특징은?
우리나라의 농산어촌지역은 청년층의 도시 이동 및 고령화로 인구가 지속 감소함으로써 마을 공동화 현상은 물론 지역 사회의 침체가 가중되고 있다. 이에 MAFRA (2013)는 기존의 하드웨어 중심의 ‘읍(동)면소재지종합정비사업’에서 소프트웨어 중심의 ‘농촌중심지활성화사업’으로 개칭하고, 주민의 삶의 질 향상을 도모하고자 사업의 추진방향, 내용, 지원방식 등을 대폭 개선하였다.
논리모델이 개발과정에서 프로그램 담당자와 프로그램에 참여하는 다른 사람들 간의 상호이해와 경험을 공유함으로써 생기는 장점은 무엇인가?
그 결과 프로그램의 발전에 기여하며, 개발과정에서 프로그램 담당자와 프로그램에 참여하는 다른 사람들 간의 상호이해와 경험을 공유할 수 있도록 한다. 이는 이해당사자들 간에 프로그램에 대한 공통된 이해를 갖게 하여 의사소통을 정확하고 용이하게 할 수 있도록 만든다. 논리모델은 프로그램의 산출이 단기, 중기, 장기성과에 어떻게 이어지는지를 논리적으로 명확히 보여줄 수 있어서 (Poister, 2004), 각각의 프로그램의 요소에서 적절한 성과 지표를 도출하는 데 도움을 준다.
참고문헌 (21)
Chai, J. H., 2010. Analysis on the Economic Accomplishment and Spill-Over Effect of Comprehensive Rural Village Development Project. Ph.D thesis of Chonnam National University (in Korean).
Her, J. Y., 2009. A Study on the Residents' Participation and Satisfaction Levels for the Integrated Rural Village Development Project - With Reference to the Gyeonbuk Rural Village Development Projects - M. A. Thesis of Yeongnam University (in Korean).
Hong, S. G., J. H. Park, J. S. Han, and S. J. Lee, 2012. ODA Evaluation Based on the OECD DAC Performance Evaluation Principles: Case Study of Korean-Vietnamese Vacational Training Institute. Journal of The Korea Association for Comparative Economics 19(1): 101-149 (in Korean).
Kim, B. K., and J. H. Yun, 2008. Designing and Evaluating the Program Logic Model: revitalizing business for rural development. Journal of Korean Society and Public Administration 19(2): 97-122 (in Korean).
Kim, K. R., Y. S. Choi, and S. K. Hong, 2006. Development of An Interim Evaluation System for Integrated Rural Village Cluster Development Project. Journal of Korean Society of Rural Planning 12(2): 75-86 (in Korean).
Kim, Y. O., M. K. Jeong, and K. S. Kim, 2016. The Analysis on Development and Effect of Co-farming Program for the Rural Elderly Farmers. Journal of Korean Society of Rural Planning 22(4): 115-129 (in Korean).
Lee, J. H., 2007. An Analysis of Comprehensive Rural Clustered Community Development Program about Types of Rural Community. Journal of Korea Planners Association 12(4): 45-56 (in Korean).
Lim, J. H., 2013. A study on developing guideline of ODA result analysis on Education: Focus on PDA performance indicator, KOICA (in Korean).
Martin, L. L., and P. M. Kettner, 2010. Measuring the Performance of Human Service Programs, 2nd edition. Thousand Oaks, CA: Sage Publications, 147.
McLaughin, J. A., and J. B. Gretchen, 2004. Using Logic Models. In Joseph, S., H. P. Wholey, and H. E. Kathryn, 2004. Handbook of Practical Program Evaluation (2nd.). Jossey-Bass. Newcomer (eds.).
Ministry of Agriculture, Food and Rural Affairs, 2013. Reference to carry forward Revitalization of Rural Development Project (in Korean).
Ministry of Agriculture, Food and Rural Affairs, and Korea Rural Community Cooperation. The white book of Comprehensive Rural Village Development Project (2004-2009) (in Korean).
Moon, J. Y., 2007. Commonality Analysis between Program Logic Model and Performance Management System in Government Programs - A Case Study of Kaesong Industrial Complex -. Korean journal of policy analysis and evaluation 17(4): 87-116 (in Korean).
Park, S. Y., 2010. Korean Educational Official Development Assistance: Currents and Challenges. Asian Journal of Education 11(1): 1-23 (in Korean).
Poster, J. J., 2004. "Performance Monitoring". In Wholey, I. S., H. P. Hatry, and K. E. Newcomer (eds), Handbook of practical program evaluation, San Francisco: John Wiley and Sons.
Reid, S. D., and L. Foetune, 2003. "Empirical foundations for practice guidelines in current social work knowledge". In A. Rosen, and E. Proctor (Eds). Developing practice guidelines for social work intervention (pp.59-82). NY: Columbia University Press.
Rho, W. J., 2010. The Social Reconstruction of Policy Design and the Use of Developmental Evaluation: Focused on the Saemaul Movement Policy. Journal of The Korea Association for Policy Studies 19(4): 1-40 (in Korean).
Rust, R. T., and R. L. Oliver, 1994. Service Quality: New Directions in Theory and Practice. CA: Sage Publications.
Song, M. R., 2004. Evaluation of rural village development programs and suggestions for participatory village development model. Korea Rural Economic Institute 10(2): 45-58 (in Korean).
Suh, J. M., 2014. Policy to strengthening community competence. Way of agriculture and farming (in Korean).
Wholey, J. S., 1983. Evaluation and effective public management. Boston, MA: Little, Brown, Co.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.