초록 ▼

본 연구는 “평가제도를 개선하여 연구성과를 중심으로 한 질적평가와 연구실패를 허용하는 환경이 필요하다”라는 국가교육과학기술자문회의 민경찬위원의 문제제기에서 시작되었다. 연구팀은 우리나라 평가제도에 대한 문제점을 먼저 파악하고, 그것으로부터 평가제도 개선을 위한 단기 실천계획을 도출하는 방법으로 연구를 진행하였다.
우리나라 과제평가의 문제점으로는 첫째, 연구실패를 용인할 수 있는 사회 인식이 부족하다. 둘째, 연구성과의 양적 팽창 대비 질적 향상이 저조하다. 셋째, 일률적인 결과평가 제도를 운영하고 있다. 넷째, PM의 수가

본 연구는 “평가제도를 개선하여 연구성과를 중심으로 한 질적평가와 연구실패를 허용하는 환경이 필요하다”라는 국가교육과학기술자문회의 민경찬위원의 문제제기에서 시작되었다. 연구팀은 우리나라 평가제도에 대한 문제점을 먼저 파악하고, 그것으로부터 평가제도 개선을 위한 단기 실천계획을 도출하는 방법으로 연구를 진행하였다.
우리나라 과제평가의 문제점으로는 첫째, 연구실패를 용인할 수 있는 사회 인식이 부족하다. 둘째, 연구성과의 양적 팽창 대비 질적 향상이 저조하다. 셋째, 일률적인 결과평가 제도를 운영하고 있다. 넷째, PM의 수가 절대적으로 부족하여 전문성을 발휘하지 못하고 있다. 다섯째, 평가자와 피평가자의 학연?지연 연결고리가 여전히 존재한다.
특히, 연구실패 용인 사회 인식 부족 면에서는 관련규정이나 평가진행과정에서 실패과제와 불량과제를 동일하게 취급하고 있어, 연구책임자는 성공이 예상되는 연구주제만을 제안하는 소극적 연구활동을 하고 있다. 아울러 창의적?도전적 연구과제는 실패가능성이 높다는 이유로 또는 실패과제로 평가될 경우 제제조치로 인한 도덕적 책임을 져야하기 때문에 연구신청을 꺼리고 있는 실정이다. 결과적으로 연구활동의 악순환이 심해져 그 파급효과는 연구성과의 질적향상 저조로 나타나고 있다.
이러한 과제평가의 문제점을 개선하고 연구실패 용인 문화 정착 및 질적평가 강화 측면에서 상기 문제점을 개선하기 위한 실천계획을 아래와 같이 제안한다.
첫째, 연구실패를 용인하는 시범사업을 운영한다.
“(가칭)모험연구” 시범사업 추진을 통하여 창의적, 도전적이며 실패를 두려워하지 않는 고위험(high-risk, high-return) 개인단위 기초연구를 지원한다. 모험연구는 실패하더라도 실패를 전제로 지원된 과제이므로, 결과평가는 생략하되, 연구방법, 내용, 성공 및 실패결과, 시사점 등은 공개하도록 하여 연구실패 용인문화 저변확대에 기여한다.
둘째, 연구성과 중심의 질적평가를 강화한다.
과제중심에서 연구자 역량중심으로 탁월한 연구성과가 창출될 수 있도록 연구풍토 조성을 유도한다. 선정과제 평가 시 연구자의 역량(실적) 평가를 위한 참고자료로 질적 정량지표를 활용함으로써, 평가의 객관성을 제고하고 연구자가 양보다는 질적 수준이 높은 우수한 연구 성과를 창출토록 유도한다.
셋째, 제도개선을 통한 연구관리를 선진화한다.
과제의 규모, 연구기간과 상관없이 모든 과제가 결과평가를 받도록 되어 있는 일률적인 평가제도에서 탈피하여, ‘순위 중심’의 평가등급 및 평가점수 부여를 지양하고, 연구과제 수행 과정 및 연구결과에 대하여 컨설팅 개념의 ‘의견중심’ 평가로 전환하는 한편, 사업의 특성 및 과제의 규모 등을 고려하여 유연적 결과평가 제도를 운영한다.
넷째, PM(Program Manager)의 역할을 강화한다.
평가위원 선정, 평가위원회 구성 및 평가활동에 직접 참여하여 연구과제의 최종선정권을 부여하고, 평가과정에 PM이 직접 참여 및 도전적 아이디어 과제, 신생분야 과제 등의 경우에는 공식적인 외부평가절차 없이 소규모 과제를 선정?지원할 수 있는 PM의 역할을 강화한다. 특히 평가활동에 직접 참여하여 평가과정중에 공정성을 저해하는 요인을 발굴하는 등 평가의 질적수준 정보를 체계적으로 관리하여 우수평가인력을 활용할 수 있도록 한다.
본 연구에서 도출된 평가제도 개선을 위한 실천계획은 단기적인 실천계획으로 향후 국가R&D 평가의 효율성 제고를 위해서는 관련규정 개정 및 장기적 실천계획 수립이 필요할 것으로 판단된다.

Abstract ▼

This study originated from the proposal of Dr. Kyung-Chan Min, a member of the Presidential Advisory Council on Education, Science and Technology. Dr. Min mentioned the need to "improve the country’s research evaluation system and develop an environment that is supportive of performance-based qualit

This study originated from the proposal of Dr. Kyung-Chan Min, a member of the Presidential Advisory Council on Education, Science and Technology. Dr. Min mentioned the need to "improve the country’s research evaluation system and develop an environment that is supportive of performance-based qualitative evaluation and also tolerant of research failure." For this study, the team first diagnosed the problems of Korea’s current evaluation system, and then set forth a practical short-term implementation plan to improve the system.
The study revealed five major problems in Korea’s project evaluation practices: first, there is a lack of social tolerance for research failure; second, the quality of research is improving at a slow pace as compared to quantitative growth; third, the system is still focused on uniform results-based evaluation; fourth, little professionalism is found in the evaluation process due to a considerable lack of program managers; and fifth, school ties and regional relations still affect the evaluators and respondents.

목차 Contents

• 표지 ...1
• 제출문 ...3
• 차례 ...5
• 표차례 ...8
• 그림차례 ...9
• 요약문 ...11
• Summary ...13
• Ⅰ. 서 론 ...17
• 1. 연구 배경 및 필요성 ...19
• 2. 연구 목표 및 내용 ...23
• 3. 연구 추진체계 및 방법 ...24
• Ⅱ. 평가의 개요 ...27
• 1. 평가의 개념 및 방법 ...29
• 가. 평가의 개념 ...29
• 나. 평가의 방법 및 특징 ...30
• 2. 동료평가(Peer Review) ...32
• 가. 동료평가의 개념과 기능 ...32
• 나. 동료평가의 유형 ...33
• 다. 동료평가의 인식 ...35
• 라. 동료평가의 문제점 ...35
• 3. 정량평가 ...37
• 가. 정량평가의 시작 ...37
• 나. 정량평가의 유용성 ...37
• 다. 주요 계량지표 ...38
• 라. SCI 지표를 활용한 국내.외 연구개발 과제평가 사례 ...42
• Ⅲ. 해외 과제평가제도 ...51
• 1. 미국 및 캐나다 ...53
• 가. 미국 과학재단(NSF) ...53
• 나. 미국 국립보건원(NIH) ...73
• 다. 미국 에너지성(DOE) ...91
• 라. 캐나다 과학공학연구회(NSERC) ...93
• 2. 일본 ...106
• 가. 학술진흥회(JSPS) ...106
• 나. 과학기술진흥기구(JST) ...110
• 3. 유럽 ...118
• 가. 독일 연구협회(DFG) ...118
• 나. 영국 공학 및 자연과학 연구회(EPSRC) ...126
• Ⅳ. 우리나라 과제평가 현황 및 문제점 ...135
• 1. 과제평가 현황 및 비교 ...137
• 가. 과제평가 현황 ...137
• 나. 평가제도 비교 분석 ...147
• 2. 우리나라 과제평가의 문제점 ...168
• 가. 연구실패를 용인할 수 있는 사회 인식 부재 ...168
• 나. 연구성과의 양적 팽창 대비 질적 향상 저조 ...169
• 다. 일률적인 결과평가 제도 운영 ...170
• 라. PM의 절대적 부족 ...171
• 마. 평가자와 피평가자의 학연지연 연결고리 존재 ...173
• Ⅴ. 평가제도 개선을 위한 실천계획 ...175
• 1. 연구실패를 용인하는 시범사업 운영 ...177
• 2. 연구성과 중심의 질적평가 강화 ...183
• 3. 제도개선을 통한 연구관리 선진화 ...190
• 4. PM(Program Manager) 역할강화 ...194
• Ⅵ. 결론 ...201
• 별 첨 ...205
• 국가R&D과제 평가제도 현황 및 개선안(초안)...207
• 참고문헌 ...245