초록 ▼

7. 종합 및 결론
□ 질적 평가의 개념 인식 제고
○ 기존 국가연구개발의 경우 질적 평가의 관점에서 평가를 운영하고자 하나 질적평가 시 산출지표, 결과지표상 결과론적 관점에서의 질적 성과지표에 기반하여 평가를 추진하고 있음
- 이는 연구방법론에 있어 질적 연구방법론에 대한 인식이 부족함에 기인함
○ 연구개발의 질적 방법론에 의거 개선과제를 도출하기 위해서는 우선적으로 연구개발의 질의 개념을 인식하여야 함
- 연구성과는 연구목적에 의한 달성도의 개념으로 연구목적은 국가연구개발활동의 특성에 근거하여 목표치가

7. 종합 및 결론
□ 질적 평가의 개념 인식 제고
○ 기존 국가연구개발의 경우 질적 평가의 관점에서 평가를 운영하고자 하나 질적평가 시 산출지표, 결과지표상 결과론적 관점에서의 질적 성과지표에 기반하여 평가를 추진하고 있음
- 이는 연구방법론에 있어 질적 연구방법론에 대한 인식이 부족함에 기인함
○ 연구개발의 질적 방법론에 의거 개선과제를 도출하기 위해서는 우선적으로 연구개발의 질의 개념을 인식하여야 함
- 연구성과는 연구목적에 의한 달성도의 개념으로 연구목적은 국가연구개발활동의 특성에 근거하여 목표치가 설정되어야 하며 연구개발의 목표는 연구성과의 질적, 양적 총량적 본질적 달성치임

□ 연구개발의 질은 성과이고, 성과는 연구의 속성에 따라 상이함
○ 질적 평가체계 구축을 위해서는 질적 평가 관련 개념의 이해가 선결되어야 함
- 질적 평가는 평가에 있어 양적 측정이 아닌 질적인 측정에 기반 하여 연구개발의 성과를 측정하고자 하는 개념임
○ 이는 연구개발의 속성을 이해하면서 양적방법론이 아닌 질적 연구방법론에 기반한 평가체계로 국가에서는 기본적으로 정성평가와 질적인 정량평가를 포괄하고 있으나 핵심은 정성평가라고 할 수 있음
- 양적인 질적 평가는 정성평가의 보완제의 개념이 강하나 기본적으로 연구자 관점에서 맥락적 측면에서 전문가들이 평가하는 동료평가형태의 정성평가가 질적평가의 기본적 방향이라고 할 수 있음

□ 전문기관에 의한 평가에 대비하기 위한 질적인 사전 검토 의무화
○ 정성적 평가가 이뤄지기 위해서는 평가를 위한 전문관리기관의 질적평가자료 등에 대한 세부적인 사전자료 제공이 이뤄져야 함
- 특허나 논문 등도 질적 측면에서 사전에 검토하여 평가위원들에게 제시할 필요가 있음
- 산업기술 개발의 경우, 개발된 기술의 시장성이나 기술성(기술적 가치 등) 등을 전문관리기관이나 기술전문기관에 의뢰하거나 자체적으로 정성적 측면을 분석하는 기능과 역량을 길러서 질적 측면을 검토한 사전 자료를 평가자들에게제공해야 함
○ 미국의 ATP 프로그램 평가는 적극적인 평가시스템 구축과 평가를 위한 엄청난 노력과 투자로 주목을 받음
- ATP 프로그램 평가는 미국 경제학자들의 단체인 국가경제연구소와 지속적인 협력관계를 맺음으로써 많은 지원을 받고 있음

□ 현장 중심의 질적 평가정보의 수집과 제공
○ 정성평가에 있어서 평가정보의 수집은 해당 평가 뿐 아니라 향후 다음 단계의 평가를 위해서도 매우 중요한 자료가 됨
○ 과제가 수행되는 과정에서는 실시간으로 평가정보를 얻음으로써 정성적인 평가를 위한 자료를 확보할 수 있음
- 영국의 Alvey Programme에서는 평가정보를 실시간 평가(real-time evaluation)를 통해 정확하고 실제적인 자료와 전문가 및 다른 참가자의 현장 의견을 수집할 수 있고, 적절한 시점에 적절한 자료를 확보할 수 있도록 제공
○ 연구개발자원의 투입, 산출, 성과, 과정 등 연구개발사업 및 과제의 추진과정에서 성과평가를 위한 각종 자료를 실시간으로 생산·축적할 수 있도록 정보자료를 표준화하는 작업과 표준화된 정보의 실시간 수집을 위한 정보망 및 DB구축이 필요함

□ 연구 속성에 의한 유형별 질적 평가체계 구축
○ 상기 국가연구개발 유형별 질적 평가 체계 구축 방안에서 제시한 바와 같이 국가 연구개발사업의 주요유형(기초연구, 원천연구, 중장기 산업기술, 단기산업기술)의 특성에 따른 맞춤형 질적 평가체계 구축이 필요
- 특히 사업의 목적에 맞는 질적 성과평가 지표의 구축 및 운영을 통해 유형별 질적 평가체계를 구축하여야 함
○ 연구유형별 상이한 사업, 과제평가의 기준을 질적 평가의 기본적 개념과 성과 창출의 기본적 목적 하에 질적 평가체계로 전환 시 사업, 과제별 차별적 성과 창출을 기대할 수 있음

(출처 : 요약 20p)

Abstract ▼

The performance of Korean national R&D programmes and projects has improved in terms of quantity, but the qualitative aspects and the utilization of the R&D results have not been satisfactory. For this reason, there have been attempts to promote a new R&D evaluation paradigm for nurturing creative a

The performance of Korean national R&D programmes and projects has improved in terms of quantity, but the qualitative aspects and the utilization of the R&D results have not been satisfactory. For this reason, there have been attempts to promote a new R&D evaluation paradigm for nurturing creative and challenging research culture and developing high quality R&D outcomes.
However, despite the needs and significance of qualitative evaluation, there are limitations such as existing practices, excessive emphasis on quantitative indices.
Therefore, this research aims to suggest an approach for qualitative evaluation,measures for improving evaluation institutions and systems.

To achieve the aims above, first, this report present the philosophy and a suggested approach for qualitative evaluation. Second, the current national R&D programmes and evaluation institutions have been analysed. Third, foreign cases of qualitative evaluation have been analysed and implications were drawn. Forth,this report propose a future direction for policy paradigm to accommodate qualitative evaluation of national R&D programmes and projects. Fifth, we suggest plans to improve qualitative evaluation by types of national R&D. Sixth,this report provide policy recommendations summarizing the above.

The direction for policy paradigm to accommodate qualitative evaluation include ‘enhancing recognition of qualitative evaluation with a human-focus’, ‘establishing a system for qualitative evaluation on the basis of expertism and autonomy’, and ‘establishing a field-oriented system and infrastructure’. As for plans to improve qualitative evaluation by types of national R&D, this report suggest ‘qualitative evaluation based on scientific and social performance via amendment of qualitative evaluation indices reflecting the characteristics of programmes and projects’ in the case of basic research, ‘qualitative evaluation based on technological performance in the case of fundamental research, ‘qualitative evaluation focusing on economic and technological performance and follow-up evaluation’ in the case of mid to long term industrial technologyresearch, and ‘qualitative evaluation focusing on economic and social performance’ in the case of short term industrial technology research.

As a conclusion, we present the conditions and measures for reestablishing the recognition of qualitative evaluation and innovating the systems of qualitative evaluation. To put it more in detail, we suggest ‘enhancing connectivity utilizing expert evaluation as performance indices’ and ‘establishing a system for qualitative evaluation on the basis of autonomy’, ‘utilizing rank-order influence index and patent information for quantifiable quality evaluation’, and ‘qualitative monitoring by peer researchers’ to enhance qualitative evaluation

The results and policy suggestions in this report are expected to be used as basic materials for improving qualitative evaluation

(출처 : SUMMARY 257p)

목차 Contents

• 표지 ... 1
• 발 간 사 ... 3
• 목차 ... 5
• 표목차 ... 9
• 그림목차 ... 11
• 요 약 ... 13
• 제1장 서 론 ... 23
• 제2장 연구개발성과의 질과 질적 평가: 철학, 논의 및 올바른 접근 ... 29
• 제1절 연구개발성과의 질에 대한 논의 배경 ... 29
• 1. 연구개발이란? ... 29
• 2. 연구개발 질의 속성과 중요성 ... 32
• 3. 연구개발(성과)의 질 ... 35
• 제2절 질적 평가 관련 기존 개념 논의와 의미 ... 41
• 1. 국가연구개발 질적 평가 관련 현행 개념 ... 41
• 2. 질적 평가 관련 시대적 요구 ... 44
• 3. 연구개발에 있어 질적 평가의 개념 ... 47
• 4. 연구개발(성과)의 질적 평가 도입방향 ... 56
• 제3절 시사점 ... 59
• 제3장 현행 국가연구개발 사업·과제의 평가제도 ... 63
• 제1절 국가연구개발 사업·과제의 평가제도 진화과정 ... 63
• 1. 제1단계: 성과중심의 평가제도로의 전환 ... 63
• 2. 제2단계: 연구특성을 반영한 질적 평가 중심으로의 전환 ... 65
• 제2절 국가연구개발사업의 평가체계 및 방식 현황 ... 69
• 1. 국가연구개발사업 표준 성과지표 운영 현황 ... 69
• 2. 사업평가방식 별 운영 현황 ... 72
• 3. 통합재정사업평가 ... 83
• 4. 사업유형 별 질적 평가체계 ... 85
• 5. 2017년 국가연구개발 성과평가 실시계획 현황 ... 92
• 6. 국가연구개발 사업평가 기조의 한계 ... 93
• 제3절 국가연구개발과제의 평가체계, 방식 현황 ... 101
• 1. 국가연구개발과제평가 표준 지침 ... 101
• 2. 과제평가 방식 ... 103
• 3. 과제평가 표준지침 개선 추진 ... 107
• 4. 국가연구개발 과제평가 기조의 한계 ... 110
• 제4절 정책적 시사점 ... 117
• 제4장 해외주요국의 연구개발사업 질적 평가의 주요 이슈별 사례분석과 시사점 ... 124
• 제1절 사례 분석의 배경 ... 124
• 제2절 해외주요국의 연구개발사업 질적 평가 사례 분석 ... 125
• 1. 장기적 관점 및 중장기적 파급효과 차원의 질적평가 동향 ... 125
• 2. 전주기적 사업관리 및 사전평가 강화 등 체계적인 질적평가 체계 구축 ... 130
• 3. 논리 모형과 사업 특성에 맞는 평가 지표 마련 ... 134
• 제3절 해외주요국의 연구개발과제 질적 평가 사례 분석 ... 137
• 제4절 시사점 ... 142
• 제5장 질적 평가체계 구축을 위한 평가기조의 변화 방향 ... 149
• 제1절 질적 평가체계 구축 기본 방향 ... 149
• 제2절 연구개발(성과) 질적 평가기조 변화의 방향 및 논리 ... 151
• 1. 과정적(맥락적) 측면과 결론적 측면의 성과 인식 전환 ... 151
• 2. 전문성중심의 정성평가 강화 ... 155
• 제3절 자율성에 기반한 사업평가 질적 평가 체계 구축 ... 165
• 1. 사업평가체계 수립 시 목적과 지표 간 연계 강화 ... 165
• 2. 컨설팅 중심의 정성적 자율 사업 평가체계 구축 ... 170
• 제4절 연구자, 현장중심 과제평가 질적 평가체계 강화 ... 172
• 1. 과제평가 전문기관의 질적 전문성 강화 ... 172
• 2. 과제평가시 질적평가 다양화 등 지원체계 강화 ... 175
• 3. 과제평가시 질적평가 지표의 체계적 개발 ... 180
• 제6장 국가연구개발 유형별 질적 평가 체계 구축 방안 ... 184
• 제1절 연구개발 유형별 질적 평가 체계 구축 방안 ... 184
• 1. 개요 ... 184
• 2. 사업과 과제의 특성을 감안한 정성평가 강화 ... 185
• 제2절 기초연구 유형 ... 188
• 1. 성과프레임 구축 ... 188
• 2. 기초연구사업 질적 평가체계 강화 방안 ... 190
• 3. 기초연구과제 질적 평가체계 강화 방안 ... 195
• 제3절 원천연구유형 ... 198
• 1. 성과프레임 구축 ... 198
• 2. 원천연구사업 질적 평가체계 강화 방안 ... 200
• 3. 원천연구과제 질적평가체계 강화 방안 ... 202
• 제4절 중장기 산업기술 개발 유형 ... 204
• 1. 성과프레임 구축 ... 204
• 2. 중장기 산업기술 사업 질적 평가체계 강화 방안 ... 205
• 3. 중장기 산업기술 과제 질적 평가체계 강화 방안 ... 209
• 제5절 단기산업기술개발 유형 ... 211
• 1. 성과프레임 구축 ... 211
• 2. 단기 산업기술 사업 질적 평가체계 강화 방안 ... 212
• 3. 단기 산업기술 과제 질적평가 체계 강화 방안 ... 215
• 제7장 종합 및 결론 ... 219
• 제1절 질적 평가에 대한 인식 재정립 ... 219
• 제2절 질적 평가 운영체계 혁신 ... 223
• 1. 질적 평가체계 구축을 위한 제도 및 인프라 구축 ... 223
• 2. 사업평가의 질적 평가 체계 강화 ... 232
• 3. 과제평가의 질적 평가 체계 강화 ... 234
• 제3절 연구 속성에 의한 유형별 질적 평가체계 구축 ... 238
• 1. 기초연구유형 질적 평가체계 구축 ... 238
• 2. 원천연구유형 질적 평가체계 구축 ... 241
• 3. 중장기 산업기술유형 질적 평가체계 구축 ... 243
• 4. 단기 산업기술유형 질적 평가체계 구축 ... 244
• 제4절 기대효과 및 맺음말 ... 247
• 참고문헌 ... 251
• Summary ... 257
• Contents ... 259
• 끝페이지 ... 274