초록 ▼

4. 결론 및 정책대안
□ 법제도적 개선방안
○ ｢국제 개발협력기본법｣에 메타평가 관련 조항 제정
○ ｢정부업무평가기본법｣과｢국제개발협력기본법｣간 연계를 통한 법적 근거 마련
○ 통합평가시스템 안에 정기적 메타평가시스템 구축
○ 메타평가를 위한 가이드라인 구축
○ KOICA에 의한 연도별･부문별 메타평가 실시 시스템의 정교화
○ ｢국제개발협력기본법 시행령｣을 통해 메타평가 예산할당 조항 제정
○ 메타평가를 위한 TF를 평가소위원회에 구성
□ 제도운영적 개선방안
○

4. 결론 및 정책대안
□ 법제도적 개선방안
○ ｢국제 개발협력기본법｣에 메타평가 관련 조항 제정
○ ｢정부업무평가기본법｣과｢국제개발협력기본법｣간 연계를 통한 법적 근거 마련
○ 통합평가시스템 안에 정기적 메타평가시스템 구축
○ 메타평가를 위한 가이드라인 구축
○ KOICA에 의한 연도별･부문별 메타평가 실시 시스템의 정교화
○ ｢국제개발협력기본법 시행령｣을 통해 메타평가 예산할당 조항 제정
○ 메타평가를 위한 TF를 평가소위원회에 구성
□ 제도운영적 개선방안
○ ODA사업 메타평가주체 선정기준 및 방법 개발
○ ODA사업 메타평가지표 개발 및 적용
○ 양적･질적 평가를 통한 메타평가제도 구축
○ 성과관리시스템을 통한 결과(outcome) 중심의 메타평가시스템 구축
○ 영향(impact) 평가를 위한 메타평가 실시방안 모색
○ 수원국 정부 및 전문가 참여에 의한 평가･메타평가 수행방안 제시
○ 효율성 측정을 위한 VfM 평가 실시방안 모색
○ 메타평가를 통해 개별 ODA사업에 대한 종합평가 실시방안 제시
○ 중간평가를 통한 모니터링으로 개별 사업평가의 환류기능 강화
○ 수원국의 주인의식에 대한 모니터링제도 구축 필요
○ 평가상황 및 위험, 문제점 분석을 통한 평가 우선순위 선정
○ 성과정보에 대한 모니터링 시스템 개선을 통한 평가자료 확보
○ 개별 ODA사업 평가과정 표준화를 통한 메타평가 실시 기반 구축
○ 수원국 환경 및 상황에 적합한 평가방법 활용 및 평가지표 개발 필요
○ 평가보고서 기술수준 개선: 근거기반, 심층분석, 가시화
○ 여성 및 환경에 관한 평가 강화
□ 인식론적 개선방안
○ 메타평가 필요성에 대한 실무가 교육 실시
○ 메타평가 결과 피드백을 통한 개별 ODA사업 담당공무원의 인식개선 유도
○ 메타평가 결과 피드백을 통한 개별 ODA사업 수행 민간기관 인식개선 유도
○ 평가자의 평가역량 강화교육 실시
○ 수원국 이해관계자 의견수렴 실질화 필요성에 대해 교육 실시

Abstract ▼

As the Korean government has been interested in the ODA program, we need to develop the quality of self-evaluation systemthat has played important roles for the evaluation system. Additionally, scholars and practitioners have focused on the importance of ODA’s meta-analysis for maintaining the qua

As the Korean government has been interested in the ODA program, we need to develop the quality of self-evaluation systemthat has played important roles for the evaluation system. Additionally, scholars and practitioners have focused on the importance of ODA’s meta-analysis for maintaining the quality of elf-evaluation and developing the quality-control of ODA affairs in Korea. Thus, it is the time to think about the importance of an evaluation system for the ODA program.
For the purpose of studying the importance of self-evaluation in the processes of ODA projects in Korea, this study not only develops the items of meta-evaluation, but also conducts meta-evaluation for measuring the qualities of ODA evaluation. In addition, based on the results of meta-evaluation, this study suggests the framework for meta-evaluation in the field of ODA projects in Korea.
This study employs the current ODA’s evaluation data from the government’s and public enterprises’ annual reports, as well as focuses on case studies for comparing other countries’ evaluation systems in the field of ODA. After conducting the research, we found that there have been few studies to conduct ODA’s evaluation programs. Thus, this research examines other countries’ meta-evaluation systems and reports for the purpose of suggesting some implications to the employees and institutions working the development of ODA in Korea.
In conducting case studies in other countries, this study selected three countries, the United States, the United Kingdom, and Finland, which have been considered as advanced governments to employ ODA programs and evaluation systems. Knowing to the contents of meta-evaluation in these countries, this study focuses on the research frameworks and measuring items of meta-evaluation.
Examining the above research purposes, this study focuses on the four characteristics that have been considered as common results from these countries. That is, these countries have conducted meta-evaluation for studying ODA evaluation in using externalexperts’ evaluation systems. Second, we found that these countries have focused on the categorization of the evaluation results for a better evaluation in the future. Finally, the case study suggests that we need to make a systematic evaluation process, as well as to emphasize the importance of meta-evaluation design. Additionally, this study finds that the United States conducts quantitative and empirical research to find out the strengths and weakness of ODA evaluation processes in 340 reports. In using the empirical research, the country overcomes the weakness of qualitative research in the field of ODA program’s evaluation. However, the United Kingdom has employed a qualitative study to research the value for money. Finally, Finland has mainly emphasized qualitative approaches to evaluate the ODA programs, but this country has also used quantitative approaches as assistant programs.
Based on the results from the case study, this study developed items for measuring ODA programs’ meta-evaluation in Korea.
Based on the meta-evaluation items, which have been developed in this study, we conducted an evaluation using 27 ODA program reports in Korea. This study suggests that we need to improve some implications and advancements in the whole processes of evaluation.
Additionally, based on the developed items for this study, we conducted empirical research, which was based on experts’ perceptions of ODA programs. The results are almost similar to the outcomes, which have been reported by other ODA programs in Korea. Specifically, we found that the five items, including the validity of theevaluation framework, the validity of the evaluation means, the validity of the report’s description, the willingness to utilize the evaluation results, and the possibility of utilizing evaluation reports, positively impact ODA’s performance.
Based on the results that have been conducted by using a literature review, comparative case studies, analysis for ODA evaluation in Korea, and empirical research, this study suggest some implications.
In terms of legal-institutional dimensions, this study maintains that we need to make additional legal provisions that provide the programs for meta-evaluation and budgets to develop an appropriate meta-evaluation system. Second, we need to make annual themeta-evaluation systems as a sub-system of an integration evaluation system. Finally, this study suggests that there is a need to develop some guidelines for meta-evaluation system in the field of ODA programs.
Regarding the dimension of institution and operation, this study maintains some suggestions. First, for the development of ODA evaluation system, we need to clarify the criterion of evaluation experts and appraiser means. Second, this study suggests developing items of meta-evaluation, as well as constructing the evaluation management system based on result orientation. Third, this study emphasizes the integration of qualitative and quantitative approaches to measure efficiency in using the VfM alternative. Fourth, government employees and experts from the recipient countries participate in the processes of developing meta evaluation. Fifth, we suggest that there is a need to construct the elements of meta-evaluation systems, which include mid-term evaluation, criterion of evaluation, and monitoring systems. Finally, this study suggests systematic descriptions of reports, as well as provides some alternatives for participating women in the evaluation process.
Related to the perception processes, this study is interested in education systems for developing experts’ and practitioners’ competence. Second, in using the feedback from meta-evaluation results, practitioners from public and private sector organizations need to develop and change their perception for the importance of ODA programs’ evaluations. Finally, we need to strengthen appraisers’ expertise and competencies for the development of evaluation programs, as well as to gather experts’ and practitioners’ suggestions for the recipient countries’ development.

목차 Contents

• 표지 ... 1
• 참여연구진 ... 2
• 발간사 ... 3
• 목차 ... 4
• 표목차 ... 9
• 그림목차 ... 15
• 국문요약 ... 20
• 영문요약 ... 31
• 제1장 서 론 ... 37
• 제1절 연구의 필요성과 목적 ... 38
• 1. 연구의 필요성 ... 38
• 2. 연구의 목적 ... 41
• 제2절 연구의 범위와 방법 및 연구흐름도 ... 43
• 1. 연구의 범위 및 흐름도 ... 43
• 2. 연구의 방법 ... 47
• 제3절 연구의 기대효과 ... 50
• 제2장 이론적 논의 및 선행연구 검토 ... 53
• 제1절 ODA사업과 메타평가 ... 54
• 1. ODA사업 ... 54
• 2. 메타평가 ... 58
• 3. ODA사업 메타평가 ... 73
• 제2절 ODA사업 메타평가 연구 ... 83
• 1. 국내 ODA사업 메타평가 선행연구 ... 83
• 2. 해외 ODA사업 메타평가 선행연구 ... 86
• 제3절 소결론: 이론적 검토를 통한 분석틀 도출 ... 92
• 제3장 정부의 ODA사업 운영･평가 시스템 현황 ... 95
• 제1절 정부의 ODA사업 운영시스템 ... 96
• 1. 한국 ODA사업 총괄 조정기구 ... 96
• 2. 한국 ODA사업 주관 및 시행기관 ... 98
• 제2절 정부의 ODA사업 평가시스템 ... 101
• 1. 정부의 ODA사업 통합평가체계 ... 101
• 2. ODA사업 자체평가보고서 ... 103
• 3. 정부의 ODA사업 통합평가보고서 ... 105
• 제3절 소결론 ... 114
• 제4장 해외 ODA사업 메타평가사례분석 ... 117
• 제1절 해외 ODA사업 메타평가 분석틀 ... 118
• 제2절 미국의 ODA사업 메타평가 사례 ... 129
• 1. 메타평가의 설계 ... 129
• 2. 메타평가지표별 평가결과 ... 142
• 3. 미국 메타평가의 시사점 ... 162
• 제3절 영국의 ODA사업 메타평가 사례 ... 164
• 1. 메타평가의 설계 ... 165
• 2. 메타평가지표별 평가결과 ... 177
• 3. 영국 메타평가의 시사점 ... 191
• 제4절 핀란드의 ODA사업 메타평가 사례 ... 194
• 1. 메타평가의 설계 ... 194
• 2. 메타평가지표별 평가결과 ... 201
• 3. 핀란드의 메타평가 시사점 ... 207
• 제5절 소결론 ... 210
• 제5장 ODA사업 자체평가에 대한 메타평가 ... 213
• 제1절 국내 ODA사업 메타평가 설계 ... 214
• 1. 국내 ODA사업 메타평가의 방향 ... 214
• 2. 국내 ODA사업 메타평가의 목적 및 필요성 ... 217
• 3. 국내 ODA사업 메타평가 지표개발 ... 218
• 4. 국내 ODA사업 메타평가의 대상범위 ... 225
• 제2절 국내 ODA사업평가에 대한 메타평가결과 ... 229
• 1. 평가투입 ... 229
• 2. 평가과정 ... 287
• 3. 평가결과 ... 330
• 4. 평가활용 ... 380
• 제3절 소결론: 국내 ODA사업 평가의 문제점 ... 394
• 1. 평가투입 차원 ... 394
• 2. 평가과정 차원 ... 398
• 3. 평가결과 차원 ... 402
• 4. 평가활용 차원 ... 405
• 제6장 ODA사업 메타평가시스템 인식분석 ... 409
• 제1절 조사설계 ... 410
• 1. 연구설계 ... 410
• 2. 조사 및 분석방법 ... 414
• 3. 문항 신뢰도 분석결과 ... 418
• 제2절 ODA사업평가에 대한 인식 분석결과 ... 424
• 1. 평가투입차원에 대한 전문가 인식 ... 424
• 2. 평가과정차원에 대한 전문가 인식 ... 436
• 3. 평가결과차원에 대한 전문가 인식 ... 448
• 4. 평가활용차원에 대한 전문가 인식 ... 453
• 5. ODA사업성과에 대한 전문가 인식 ... 460
• 제3절 ODA사업평가가 성과에 미치는 영향분석 ... 466
• 1. ODA사업 평가투입차원이 성과에 미치는 영향 ... 466
• 2. ODA사업 평가과정차원이 성과에 미치는 영향 ... 469
• 3. ODA사업 평가결과차원이 성과에 미치는 영향 ... 472
• 4. ODA사업 평가활용차원이 성과에 미치는 영향 ... 475
• 제4절 소결론 ... 478
• 1. 평가투입차원에 대한 평가결과 ... 478
• 2. 평가과정차원에 대한 평가결과 ... 479
• 3. 평가결과차원에 대한 평가결과 ... 480
• 4. 평가활용차원에 대한 평가결과 ... 481
• 5. ODA사업성과에 대한 평가결과 ... 482
• 6. 회귀분석결과: 평가지표가 성과에 미치는 영향 ... 483
• 제7장 ODA사업 메타평가시스템 개선방안 ... 485
• 제1절 법제도적 개선방안 ... 488
• 1. ｢국제개발협력기본법｣에 메타평가 관련 조항 제정 ... 488
• 2. ｢정부업무평가기본법｣과 ｢국제개발협력기본법｣ 간 연계를 통한 법적 근거 마련 ... 490
• 3. 통합평가시스템 안에 정기 메타평가시스템 구축 ... 491
• 4. 메타평가를 위한 가이드라인 구축 ... 493
• 5. KOICA에 의한 연도별･부문별 메타평가 실시 시스템 정교화 ... 496
• 6. ｢국제개발협력기본법 시행령｣을 통해 메타평가 예산 할당 조항 제정 ... 497
• 7. 메타평가를 위한 TF를 평가소위원회에 구성 ... 499
• 제2절 제도운영적 개선방안 ... 500
• 1. ODA사업 메타평가 주체 선정기준 및 방법 개발 ... 500
• 2. ODA사업 메타평가지표 개발 및 적용 ... 502
• 3. 양적･질적 평가를 통한 메타평가제도 구축 ... 504
• 4. 성과관리시스템을 통한 결과(outcome) 중심의 메타평가 시스템 구축 ... 506
• 5. 영향(impact) 평가를 위한 메타평가 실시방안 모색 ... 508
• 6. 수원국 정부 및 전문가의 참여에 의한 평가･메타평가 수행방안 제시 ... 510
• 7. 효율성 측정을 위한 VfM 평가 실시방안 제시 ... 512
• 8. 메타평가를 통해 개별 ODA사업에 대한 종합평가 실시 방안 제시 ... 513
• 9. 중간평가를 통한 모니터링으로 개별 사업평가의 환류기능 강화 ... 515
• 10. 평가상황 및 위험/문제점 분석을 통한 평가 우선순위 선정 ... 516
• 11. 성과정보에 대한 모니터링 시스템 개선을 통한 평가자료 확보 ... 517
• 12. 개별 ODA사업 평가과정 표준화를 통한 메타평가 실시 기반 구축 ... 518
• 13. 수원국의 환경 및 상황에 적합한 평가방법 활용 및 평가지표 개발 필요 ... 520
• 14. 평가보고서 기술 수준 개선: 근거기반, 심층분석, 가시화 ... 521
• 15. 여성 및 환경에 관한 평가 강화 ... 522
• 제3절 인식론적 개선방안 ... 524
• 1. 메타평가 필요성에 관한 실무가(공무원, ODA사업 관련 이해관계자) 교육 실시 ... 524
• 2. 메타평가 결과 피드백을 통한 개별 ODA사업 담당 공무원의 인식개선 유도 ... 525
• 3. 메타평가 결과 피드백을 통한 개별 ODA사업 수행 민간기관 인식 개선 유도 ... 528
• 4. 평가자의 평가역량 강화를 위한 교육 실시 ... 528
• 5. 수원국 및 이해관계자 의견수렴 실질화 필요성 교육 실시 ... 529
• 참고문헌 ... 531
• 부 록 ... 543
• 끝페이지 ... 554