보고서 정보
주관연구기관 |
한국과학기술기획평가원 Korea Institute of Science and Technology Evaluation and Planning |
연구책임자 |
이상현
|
참여연구자 |
정상기
|
보고서유형 | 최종보고서 |
발행국가 | 대한민국 |
언어 |
한국어
|
발행년월 | 2016-12 |
과제시작연도 |
2016 |
주관부처 |
과학기술정보통신부 Ministry of Science and ICT |
등록번호 |
TRKO201800037408 |
과제고유번호 |
1711048022 |
사업명 |
한국과학기술기획평가원연구운영비지원 |
DB 구축일자 |
2018-08-18
|
DOI |
https://doi.org/10.23000/TRKO201800037408 |
초록
▼
제1장 서론
1-1. 연구 배경
○ 우리나라 정부R&D 투자는 지난 10년간 지속적으로 확대되었고 ’16년 18.94조원에 이르렀으나, 증가율은 최근 지속적으로 축소(’16년 0.2%증가)로 규모의 단순 확대 보다는 중점 추진 분야 중심의 확대기조로 전환
※ 2000년~2011년 사이 연평균 증가율은 12.2%
○ 투자 증가율이 둔화되는 와중에도 R&D 지원 관련 분야, 경제 기반확산,창업·벤처·중소기업 지원 강화, 신시장·신산업 창출과 미래성장동력 등에 대해서는 ‘선택과 집중’에 의한 전략적 투자 확대 및 성
제1장 서론
1-1. 연구 배경
○ 우리나라 정부R&D 투자는 지난 10년간 지속적으로 확대되었고 ’16년 18.94조원에 이르렀으나, 증가율은 최근 지속적으로 축소(’16년 0.2%증가)로 규모의 단순 확대 보다는 중점 추진 분야 중심의 확대기조로 전환
※ 2000년~2011년 사이 연평균 증가율은 12.2%
○ 투자 증가율이 둔화되는 와중에도 R&D 지원 관련 분야, 경제 기반확산,창업·벤처·중소기업 지원 강화, 신시장·신산업 창출과 미래성장동력 등에 대해서는 ‘선택과 집중’에 의한 전략적 투자 확대 및 성과도출에 박차를가하기 위해 10% 이상의 투자 확대가 이루어짐
○ 성과 및 수준을 살펴보면, 양적인 성과는 예산 투자와 더불어 지속적으로 성장해 왔으나, 질적인 측면에서는 아직도 미흡한 수준으로 나타남
○ 이에 따라 최근 정부는 연구개발 생산성 향상에 박차를 가하기 위한 연구개발혁신방안을 제안하고 이를 통해 국가 연구개발 시스템 혁신을 유도하고자 함
○ 한편, 변화되는 연구개발 환경에 조응하기 위한 혁신적인 연구개발 평가체계의 도입 및 기존 사업의 성과평가 패러다임 전환 필요성 대두
- 기존의 양적 성과 중심의 평가체계나 방식에서 벗어나 질적 우수성 평가 중심으로 전환과 창의 도전적 연구개발에 초점을 맞춘 평가방식, 그리고 평가절차 및 체계 간소화 등이 해결해야 할 주요 이슈로 대두됨
○ 이에 따라, 정부는 질적 평가 강화를 위하여 질적 지표를 활용한 목표달성도 평가 및 성과 우수성을 판단하기 위해 전문성에 기반을 둔 정성평가의 중요성을 강조하고 평가체계에 반영하기 위한 노력을 전개 중이나, 우수한 연구결과 등 성과창출까지의 시간에 대한 고려가 있어야 한다는 의견 등 질적 평가 강화 정책에 대한 한계가 노출되고 있는 상황
○ 따라서, 평가 프로세스 및 방법, 평가주체 등 전체 평가시스템 상에서 앞서 언급한 장애요인들에 대한 극복방안에 대한 논의와 더불어 보다 생산적인 평가문화 구축을 위한 질적 평가 고도화 방안에 대한 연구가 필요함
1-2. 연구 목표, 내용 및 방법
□ 연구 목표
○ 질적 평가 실태조사 및 고도화 방안 도출
- 출연연 및 대학을 중심으로 한 실태 조사 및 비교·분석을 통해 수행
□ 연구 내용
○ 평가 제도를 통한 집단의 행태 및 고유가치 변화가능성 탐색 등 평가문화와의 인과관계 고찰 및 영향요인 조사 (이론적 고찰)
○ 연구개발 평가 시 질적 지표 설정을 통한 정량 및 정성평가 실태 조사
- 국가 연구개발 사업 및 과제, 출연 연구기관 평가에서 활용되는 계량 질적 지표 활용 현황 및 정성평가 수행 실태 조사
- 대학 교수 및 출연연 연구원 업적평가, 전문관리기관·준정부기관 평가 실태조사
○ 질적 평가를 강조한 동료평가에 대한 해외 및 국내 사례 조사
○ 관리자 및 연구자 등 이해관계자 간 바람직한 평가시스템 및 정성평가방법론 등에 대한 인식 및 간극(GAP) 조사 (설문/인터뷰 등)
○ 전주기 평가시스템에서 질적 평가 적용 시 주요 이슈 및 장애요인 극복방안
- 질적 평가 적용 시 문제점 및 이슈 고찰과 해결방안
- 연구성과 발현시기를 고려한 질적 평가 시점 및 방법론 고찰
- 유형별 질적 평가 활성화를 위한 장애요인 극복방안
- 다양한 질적 조사 방법론 고찰과 연구개발 사업평가 시 적용 방안 탐색
□ 연구 절차 및 방법
○ 본 연구의 진행절차와 연구방법 모식도는 아래와 같음
※ 필요시 : 공개 포럼 등을 통한 현장 연구자 및 대국민 의견 수렴으로 토론 유도 및 사회적 수용성 제고와 개선 대안 도출, 연구결과를 기반으로 이슈 제기(Issue Raising) 가능한 주제 선택
※ 연구 목표 및 세부 내용, 절차 모식도
: 질적 평가의 개념을 명확히 하고, 현재 R&D성과평가 관련 제도 및 수행실태를 분석 후, 이해관계자 간 인식의 차이 및 국내·외 질적 평가 사례 등을 조사하여 이슈 및 장애요인을 도출하고, 이를 해결할 수 있는 방안과 실제 적용 방법을 고찰하여 즉시/단기 내/중기 내 적용 방안을 제시하고 단계적 시행을 권고한다.
1-3. 질적 평가의 이론적 고찰
□ 질적 연구의 철학적 가정
○ 질적 연구의 기본 전제는 자연과학의 객관주의적 시각이 사회현상 연구에 그대로 적용하기 어려우며 적용되더라도 제한적으로 수용될 필요가 있다는 것에 있음
□ 질적 분석의 접근방법
○ 질적 자료의 질(quality)은 연구자의 방법론적 기술, 대상에 대한 민감성,그리고 대상에 대한 묘사(description)의 성실성에 크게 의존함
□ 연구 방법론의 패러다임
○ 양적연구는 자연과학, 실증주의의 학문적 기반을 토대로 발전하였고, 질적 연구의 경우 해석학, 현상학, 역사학 등에 그 기반을 둠
□ 양적 연구와 질적 연구의 비교
○ (양적 연구) 이론에서 추출된 가설을 통계적 방법을 통해 검증하는데 상대적으로 널리 활용
○ (질적 연구) 현상에 대한 이해와 발견을 연구의 주요 목적으로 하는 경향이 강함
□ 질적 평가의 의의
○ 질적 평가는 ‘인간해석(human interpretation)’을 중심에 놓아야 한다는 해석주의 (interpretivism)를 표방하며, 맥락이라는 사회적 실재가 정책평가의 ‘중요한 분석틀’이 된다고 볼 수 있음
□ 양적 vs 질적 평가방법 차별성
○ 양적 평가방법(Quantitative evaluation methods)과 질적 평가방법(Qualitative evaluation methods)은 근본적 시각에서 차이를 나타냄
※ 정부연구개발 성과평가의 경우, 정부행정에 유용한 정보를 제공할 때 그 가치가 인정됨. 그러한 정보를 산출하기 위해서는 평가목적에 부합하는 방법이 동원되어야 하나, 평가는 단일현상이 아니며, 평가 안에서 고려해야 할 사항들이 많음으로 평가방법 역시 한 가지만으로 볼 수 없음
제2장 국내외 연구개발 성과 질적 평가 실태
2-1. 국내 연구성과 평가제도 실태
□ 연구성과 평가제도의 변화
○ 1982년 국가연구개발사업 도입 이후 30여 년에 걸쳐 평가제도가 변화
- 전반적으로 과제 단위에서 사업 단위, 그리고 정책 단위로 평가 범주가 확대되고, 질적, 전략적 평가로 변화중
- 세부적으로는 평가 단위의 확대, 부처 자율성 확대, 창의·도전적 연구 강화 등으로 평가제도가 변화
- 2016년 재정사업 성과평가 통합평가로 전환하여 전략기반 정책평가 방안을 모색중
○ 제3차 국가연구개발 성과평가 기본계획(2016~2020)에 따른 제도의 변화를 요약하면 다음과 같음
□ 연구성과 평가체계의 변화
○ 평가 체계는 평가 대상, 종류에 따라 통합, 자율, 심층, 임무중심의 키워드로 다음과 같이 변화하고 있음
○ 평가 단계로 본 연구성과 평가체계 비교는 다음과 같음
□ 성과평가 종류별 제도 실태
○ (중간평가) 성과평가를 통하여 불필요한 재정사업을 강력히 구조조정 할 수 있도록 재정사업 성과평가 체계를 대폭 개편함
- 사업 단위에서 각 부처가 중심이 되어 재정사업을 평가하는 통합자율평가*를 도입
- 재정사업 통합자율평가의 단위는 정보화사업을 포함하는 일반재정사업과 지역발전사업, 연구개발(R&D)사업이 서로 다름
- 재정사업 통합자율평가(부처 자체평가) 1차 평가 시, 평가지표별 점수를 종합한 후,2차 평가 시 금액비율로 ‘우수’, ‘보통’, ‘미흡’으로 상대평가, 메타평가(상위평가)에서는 성과관리 개선대책 등을 중점으로 평가함
- 부처 자율성을 존중하는 자체평가와 부처 자체평가 역량강화를 지원하는 메타평가(상위평가)로 이원화하여 추진함
○ (특정평가) 과학기술 정책 이슈 및 사업 간 조정 또는 연계 등이 필요한 국가연구개발 사업을 선정하여 심층 분석하고 의견을 제시
- 과학기술 주요 현안 중심으로 평가대상을 선정하여, 선제적 대응을 통한 연구개발투자의 효율성 제고
- 부처가 심층분석 평가를 요구하는 사업(군)의 추진체계와 성과에 대한 종합적 분석을 통해 진행 사업의 개선 및 후속사업 조정 및 연계 유도
- 평가는 평가결과의 환류를 강화하고, 사업 연계 및 정책개선 방안 도출하되 다양한 관점에서 평가결과 검토절차를 강화하는 방향으로 추진중
- 평가 결과는 제도개선, 사업구조조정, 투자방향 등에 반영되며, 사업 수행부처로 하여금 제도개선 방안에 대한 조치계획을 제출하도록 하고, 그 이행실적을 점검하는 데 활용
○ (과제평가) 단순 정량지표를 폐지하고 질 중심의 정성평가로 전환과 이에 걸맞은 경쟁형 R&D활성화를 통한 선도형 R&D 확대 추진중
- 과제평가에 단순 정량지표(논문, 특허 수)를 폐지하고, 질적 지표를 50%이상 설정을 의무화
- 평가위원의 상피제를 폐지하고, 연구윤리준수 교육 강화 및 평가정보 전면공개, 역평가 등을 통한 평가결과 검증·환류와 개방형 평가*를 강화
* 대형 또는 국제공동과제는 국외전문가가 평가위원으로 필수 참여
- 연구 유형이나 연구비 규모에 따라 평가방식을 다양화 하고, 연차평가 폐지를 통한 연구자 평가부담 완화 추진
- 경쟁형 R&D 과제는 선정, 운영절차, 평가 관련 기준을 사전에 공표하여 투명성 확보와 활성화를 동시 추진
○ (기관평가) 기관장 임기 주기를 고려한 3단계(경영성과계획서 수립,중간컨설팅평가, 종합평가) 평가단계를 통해 중간 성과점검과 미래전략 수립지원, 성과목표 달성 정도 등에 대한 평가를 실시
- 국가과학기술연구회(25개), 미래부(14개), 해수부(3개), 원자력위원회(1개), 방사청(1개) 소속 총 44개 연구기관을 대상으로 실시
- 연구기관 평가부담 완화 및 책임성 강화*, 평가위원 전문성 강화**, 우수 연구원육성지원 및 확산체계 마련**을 중점으로 추진중
* 기관 자율 성과점검 실시, ** 실무경력 15년 이상, 연구개발경력 10년 이상 등
*** 우수 연구자는 연구기관 차원의 지원체계를 성과경영계획서에 필수 반영, 평가결과를 NTIS 등에 공개 등
- 종합평가 의견은 기관 고유 임무와 기능에 부합되도록 조정을 유도하며, 자체결과 5단계 등급(매우우수, 우수, 보통, 미흡, 매우미흡)에 대한 ‘적절’ 또는‘부적절’ 결과를 부여하여 기관 예산 및 임직원 성과급에 반영하고, 우수 연구원 및 기관에 대해서는 정부포상 실시
2-3. 국내 연구성과 질적 평가 실태
□ 국내 연구성과 질적 평가 추진 실태
○ 국가연구개발과제는 TRL 1~8단계까지 지원하고 있으며 그 중 TRL 1~5단계의 비중이 높아 정성적 평가에 가까운 평가방법을 가지게 되므로, 주로 대표적인 정성평가 방법인 전문가 평가에 의해 평가가 이루어지고 있음
- 시장변화가 크고 연구개발 대상 기술의 단계가 기초기술에 가까울수록 정성적 평가에 의존하는 경향을 보임
○ ‘국가연구개발사업 과제평가 표준지침(’15)’에서는 정성평가의 강화를 통해 정량화하기 어려운 연구계획 및 연구성과의 질적 우수성을 적극적으로 평가하여, 연구의 ROI를 개선하고 실용화 성과를 제고방안을 제시함
- 동 지침에서는 정성평가를 전문가의 판단에 따라 평가결과를 도출하는 평가방식으로 정의하고 있으며, 단순 계산식에 따른 정량평가를 지양하고 평가자의 전문적 판단에 기반을 둔 정성평가 중심의 평가결과 도출을 확대하는 방향을 강조하고 있음
○ 국가연구개발정책의 관점에서는 질적으로 우수한 연구성과물 그 자체이외에도 성과물이 경제·사회적 가치로 전환되는 결과까지 질적 성과에 포함하여 평가함
- 따라서 일반적으로 통용되는 질적 산출지표의 개념에 사업의 결과를 측정할수 있는 결과지표도 포함하여 질적 지표의 개념을 설정함
- 또한 관행상, 예산 투입규모에 연동되는 지표는 양적지표로, 정량적이어도 예산투입규모에 연동되지 않을 경우 질적지표로 간주함
※ 예) 임상1상 진입 실적은 건수로 표현되지만, 예산의 투입규모에 따라 실적이 결정되는 것이 아니며,전임상 시험 결과의 우수성에 따라 식약처의 인허가를 거쳐야 하는 것으로 질적 지표에 해당함
□ 부처 연구개발 연구성과 질적 평가 사례
○ 미래부 (기초연구사업 및 국책연구사업 선정평가)
: 등급화 점수제도 운영, 동료평가 실시 등 전반적으로 정성적 방식으로 질적 평가를 실시하고 있음
- 신진연구, 중견연구, 리더연구, 집단연구 등은 서면평가를 토론평가 형식으로 실시하며 과제별로 2인 내외의 전담평가위원을 지정하여 담당 과제 연구계획서를 사전 검토하도록 하며, 전체 평가위원이 모여 토론평가를 실시함
○ 미래부 (기초연구사업 중간평가)
: 연차점검과 단계평가로 구분되며, 연구기간동안 산출된 연구성과 및 업적에 대한 평가를 통해 사업 기본목표 달성 확인 및 계속 지원여부를 결정함
※ ’16년 기초연구사업 평가시행계획상 원칙적으로 신진·중견연구의 연차점검을 폐지하고, 연구기간 3년 초과이면서 연구비 총액 3억원 초과 과제만 중간평가 실시로 개선
○ 산업부 (단기·소형사업 선정평가)
: 등급화 점수제도 및 종합의견서 작성 등을 통해 정성적 평가를 강화하고 전문가에 의한 질적 평가 체계를 운영하고 있음
○ 산업부 (중장기 및 대형선도 과제 진도점검)
: 과제수행현황 및 사업비 사용 실태 등을 확인하기 위해 연 1회 이상 진도점검을 실시할 수 있도록 규정하고 있음
○ 산업부 (사업 유형에 따른 중간평가)
: 사업의 유형에 따라 연차평가, 단계평가 방식으로 중간평가를 시행하며, 해당연도·단계 수행기간 종료일 1개월 전까지 연차·단계 보고서를 제출하여 각 연차·단계별 연구개발 목표 달성여부를 평가
- (평가방식) 중간평가는 자체검토·면담조사·현장실태조사·평가위원회(발표평가 및 토론평가 포함)·서면평가·1박2일 합숙평가 등의 방식으로 평가하며, 사업 유형 등에 따라 상이하게 진행될 수 있음
- (질적평가) 기술개발 목표달성 여부를 정량적, 정성적으로 판단하기 때문에 연구계획서에서 제출된 목표의 양적, 질적 달성 정도를 전문가가 판단하는 정성평가 방식을 따르고 있음
- (평가결과 산출) 중간평가는 절대평가를 원칙으로 하되 정부의 산업기술정책반영, 사업비 차등 지원 등의 경우에 상대평가를 병행하거나, 두 방식을 혼합한 혼합평가를 할 수 있음
: 중간평가 결과에 따라 계속, 중단(성실·불성실), 조기종료(혁신성과·보통·성실수행)를 결정
- (평가항목) 연차 및 단계평가에서는 ‘목표달성’ 파트와 ‘계획’ 파트로 나누어서 평가항목을 구성함으로서 실적평가와 계획평가를 구분하여 평가할 수 있도록 함
- (결과확정 및 활용) 연구개발사업의 예산규모, 기술정책방향 등을 종합적으로 고려하여 평가결과를 확정한 후, ‘중단’으로 평가된 과제는 사안에 따라 제재여부, 제재대상 및 정부출연금 환수 조치 수행
□ 대학 연구자의 연구성과 질적 평가 실태
○ 교육부 공시 대상 대학 및 전문대학 이공계 분야를 중심으로 조사·분석한 결과, 논문의 경우(IF에 따른 평가점수 차등 적용)와 같이 질적 평가 개념을 갈음하는 계량적 질적 평가를 시행중
- 2016년 공시대상대학교 총 424개(고등교육법 상 407개 및 그 외 특수목적 법률 상 17개 대학) 중 대학원 대학 등(15개)을 제외한 대학 및 전문대학 209개(분교 포함)를 대상으로 포털 및 대학 홈페이지 검색을 통해 이공계 분야를 중심으로 평가 항목과 질적 평가 기준을 조사·분석함
- 이중 검색을 통해 자료를 확보한 112개(53%) 대학 및 전문대학의 세부 평가항목을 분석한 결과, 논문 업적의 경우(공식 평가항목 적용 대학 112개 중 IF에 따른 평가점수 차등 적용 대학이 112개(100%, 학과 자율 평가 기준 1개 대학 포함))와 같이 사실상 모든 대학이 질적 평가 개념을 갈음하는 계량적 질적 평가를 시행중
※ 연차 개인평가 중 연구업적에 해당되는 평가항목만 분석함
□ 출연연 연구자의 연구성과 질적 평가 실태
○ 국가과학기술연구회 산하 25개 출연연을 중심으로 조사·분석한 결과, 대학과 같이 연구업적에 대해 질적 평가 개념을 갈음하는 계량적 질적 평가 또는 연구실적에 대한 자율·정성평가를 통한 질적 평가를 시행중
- 국가과학기술연구회의 ‘질적 평가지표 및 적용 가이드라인’에 따라 연구회 산하 25개 출연연중 22개(88%)는 연구자의 연구성과에 대한 등급구간 설정 및 배점 차등화를 통한 질적 지표 전환을 완료하였음
- 한편, 논문, 특허, 기술료 등과 같은 개인 연구개발 성과물을 계량적 질적 지표로 직접 산출하여 평가하는 출연연은 21개(84%)였으며, 자율·정성평가(상위평가 또는 내·외부 평가전문위원회 등)를 시행하는 출연연은 4개(16%)임
※ 연차 개인평가 중 연구업적에 해당되는 평가항목만 분석함
2-3. 국외 연구성과 질적 평가 실태
□ 국외 연구자의 연구성과 질적 평가 추진 실태
○ 미국, 영국, 유럽 등은 정부사업의 효율성 증진을 위해 사업성과를 예산편성에 직간접적으로 활용하는 성과주의 예산제도를 운영
- OECD는 ‘성과주의 예산편성(Performance Budgeting, 2007)’ 보고서를 통해 기대되는 성과와 파급효과를 달성하기 위한 합리적 예산투입규모는 성과정보에 기반을 두어 결정되어야 한다는 예산편성의 기본원칙 제시
- 미국 정부는 예산배분 의사결정 과정에서 성과정보 활용도를 높이기 위한 법· 제도적 시스템을 강화함*으로써 정부재정사업에 대한 책무성 확보
- 영국정부는 1998년부터 2010년까지 PSA(Public Service Agreement), 2010년 부터는 SRP(Structural Reform Plan) 프레임워크를 통해 재정사업의 성과관리를 추진
○ 그러나 ‘성과가 결정된 종료평가를 통한 R&D ROI 개선은 한계가 존재’하기 때문에 미국, 영국 등에서는 R&D사업 선정평가 단계에서 연구성과 및 ROI를 고려한 평가체계를 도입·운영하고 있으며, 결과평가는 비실시
- 미국과 영국 등은 연구성과가 우수할 것으로 기대되는 후보과제의 선정에 집중되어 있는 평가체계를 갖추고 있으며, 동료평가(peer review) 방식이 전면 도입되어 전문가의 주관적 판단에 따른 질적 평가체계를 운영
- 미국 NIH의 경우 연구과제 선정 시, 1차 평가(peer review)에서 파급효과의 크기에 따른 평가체계를 도입하여 ‘종합영향력(overall impact)’ 단독지표로 평가하며 단일 점수 이외의 정량화된 점수체계는 비운영
- 영국 MRC 역시 1차·2차 평가에서 모두 파급효과를 평가하고 있지만, 1차 평가(동료평가)에서는 자원투입의 적절성(e.g. ROI), 2차 평가(패널평가)에서는 생산성(e.g. ROI) 지표를 선정평가 지표에 포함하고 있는데, 성과중심 과제선정체계에서 나타나는 지표특성이라고 할 수 있음
○ 미국이나 영국의 경우, 국가연구개발사업의 질적 평가를 위해 해당분야 전문가들이 평가하는 ‘동료평가(Peer Review)’와 ‘패널평가(Panel Review)’를 활용하고 있음
- 전문가의 정성적 평가결과를 등급 등으로 지표화하고 있으며, 질적 성과와 양적성과를 통합적으로 평가하도록 하고 있음
□ 미국 NIH(National Institute of Health)의 질적 평가 사례
○ NIH의 연구과제 선정방식은 1차 동료평가와 2차 패널평가로 이루어지며,두 단계 모두 연구책임자(후보)가 참여하지 않는 서면평가 형식으로 동료와 패널의 정성평가 방식으로 운영하고 있음*
* NIH 뿐만 아니라 미국의 보편적인 연구과제 평가 방식임
- 기존에 활용하던 5점 척도를 9점 척도 방식으로 개선함으로써 정성평가를 강화하였으며, 시행 2년 뒤 실효성 검증을 위해 설문조사를 실시하는 등 정성평가 강화를 위해 노력중임
- 1차 동료평가에서는 전문성에 기반을 둔 상세한 평가의견 개진과 평가항목별점수가 아닌 단일 종합점수(9점 척도)만을 제시하고 있음
- 1차 동료평가 결과 요약문(summary statement)은 최소 평가위원 3인의 비평,영역별 점수, 최종점수 또는 비수치적 평가, 토론내용 요약 등을 포함하며, 2차 패널평가에 동료 전문가들의 정성적 평가의견이 충분히 전달될 수 있도록 함
○ 과제 단위의 중간평가와 종표평가 없으며, 주기적인 성과모니터링 및 연구성과 진도보고서 제출을 통해 체계적으로 성과를 관리
- 전산화된 성과모니터링체계(RPPP, Research Performance Progress Report)를 통해 연차 진도보고를 실시하고, 각 프로그램의 진척도, 성공도를 문서화하고 새로운 방향을 제시할 뿐 아니라, 혁신적인 연구를 수행할 수 있도록 원조함
□ 영국 MRC(Medical Research Council)의 질적 평가 사례
○ MRC는 NIH와 마찬가지로 동료평가와 패널평가를 서면평가 형식의 정성평가 중심으로 운영하고 있으며, 전문성에 기반을 둔 상세한 평가의견 개진과 평가항목별 점수가 아닌 단일 종합점수만을 제시하고 있음
- 동료평가에서는 과제의 전반적인 과학적 우수성에 대해 심도 있는 평가를 실시하고 평가항목별로 정성적 평가의견을 상세하게 작성하도록 하며, 정성적 평가의견이 단일 종합점수에 최대한 반영될 수 있도록 함
- 종합평가점수는 7점 척도(0~6점)를 기준으로 하며, 각 점수의 조작적 정의를 참고하여 정성적인 평가의견을 수치화하여 표현
- 세부평가항목별 평가점수는 부여하지 않고 각 평가항목에 대한 평가의견을 고려하여 종합평가(overall assessment) 점수 하나만을 산출하도록 하며, 전반적으로 평가의견에 부합하는 평가점수를 주도록 하고는 있지만 전문가들의 평가결과가 평가의견과 완전히 일치되는 것은 아님
- 1차 동료평가 의견과 그에 대한 연구자의 피드백을 함께 참고하여 2차 평가에서 최종 선정과제를 선별함으로써 동료평가의 종합점수보다 정성적 평가의견(reviewer's comments)이 중요하게 작용
○ 과제 단위의 중간평가 및 종료평가는 없으며, 연구의 주요 마일스톤, 성과계획, 달성여부를 판단할 수 있는 측정지표를 수립하고 매년 DB를 통해 보고받는 성과모니터링을 시행하고 있음
- 성과모니터링은 기관에서 구축·운영중인 Research-fish라는 별도의 DB를 통해 시행되며, MRC의 지원을 받는 연구자는 매년 하반기에(10월~11월 경)Research-fish에 등록하도록 하여 성과를 수집하고 있음
2-4. 질적 평가 실태 소결
□ 연구자 연구성과 질적 평가의 국내·외 비교*
* 국내 대학(종합대학 위주) 및 출연연 연구자의 질적 평가 실태와 국외 바이오 분야 2개 기관 연구자의 질적평가 실태를 직접 비교한 것으로 일반화하기는 어려우나, NIH와 MRC의 평가 방법이 미국과 영국에서 대부분 통용되는 일반적인 평가 방법을 대표하고 있으므로 시사점으로는 의미가 있는 것으로 판단됨
○ (국내) 대부분 계량적 질적 평가(유형화된 연구성과물을 평가항목으로 설정하고 등급 구간별 배점 차등화)를 시행하고 있으며, 이를 통해 평가점수 또는 평가등급을 산출
○ (국외) 질적 평가를 정성평가(동료평가, 전문가 패널평가)로 시행하고 있으며,연구내용, 연구자(리더십), ROI 등을 전체적으로 고려하여 종합평가점수 산출
※ 다만, NIH와 MRC는 바이오(보건생명) 분야의 기초·응용 단계 연구를 주로 수행하는 기관임은 숙지해야함
□ 국내 대학 및 출연연 연구자의 연구성과 질적 평가
○ (대학) 계량적 질적 평가를 통한 평가점수 도출중
- 분석 대상 112개 대학의 교수 개인연구성과 평가항목은 논문(112개/100%), 저서(108개/96.4%), 학술활동(92개/82.1%), 연구비(87/77.7%) 순으로 많이 설정하고 있음
: 한편, 지적재산권(특허 포함, 53개/47.3%), 기술이전 등(22개/82.1%)은 상대적으로 적게 설정하고 있음
: 모든 설정 평가항목에 대한 등급구간별 배점 차등화 적용중
○ (출연연) 계량적 질적 평가를 통한 평가점수 도출중
- 분석 대상 25개 출연연의 연구자 개인연구성과 평가항목은 논문(24개/96%),지적재산권(24개/96%), 기술이전 등(24개/96%) 순으로 많이 설정하고 있음
: 한편, 연구비(7개/283%), 학술활동 등(기타 분류)은 상대적으로 적게 설정하고 있음
: 모든 설정 평가항목에 대한 등급구간별 배점 차등화 적용중
□ 국가 R&D 사업 및 과제의 질적 성과평가
○ 계량적 질적 평가와 정성평가(전문가 패널평가)를 통한 질적 우수성 평가를 병행하여 시행하고 있으며, 질적 우수성에 방점을 두는 방향으로 진화중
- (사업평가) 부처 자체평가 자율성 및 책임성 강화, 질적 평가(정성평가) 강화유도(부처 수준에서 평가자의 선정평가-중간평가-최종 결과평가 지속 참여 확대 포함), 질적 지표 60% 이상 설정; 상위평가 시 성과 목표 및 지표 점검위원의 중간평가 지속 참여 확대, 연구성과의 질적 우수성 평가(전문가 정성평가) 강화 등
- (과제평가) 질적 평가(정성평가) 확대(연구성과의 질적 우수성 평가 포함), 연차평가를 컨설팅 위주로 전환, 평가자의 선정평가-중간평가-최종 결과평가 지속 참여 확대, 질적 지표 50% 이상 설정 등
- (기관평가) 임무중심형 기관 자체평가(정성평가) 강화(연구성과의 질적 우수성 평가 및 기관 입장의 미션 달성을 위한 정성적 종합평가 의견/제언 제시 강화 포함), 자율적 중간컨설팅 추진; 상위평가 시 중간컨설팅 전문가의 종합 정성평가 지속 참여 확대, 기관 미션에 부합하는 국가 차원에서의 종합평가 의견/제언 필수 제시 등
제3장 국내 연구성과 질적 평가 인식 실태
3-1. 대학 소속 연구자의 질적 평가 인식 실태
□ 대학 교수의 질적 평가 인식 조사
○ 대학 교수를 대상으로 현 연구성과 질적 평가 실효성과 개선방향 등에 대해 심층 인터뷰를 실시하였고, 그 결과는 다음과 같음
* 총 25명 대상(7개 시·도 소재 12개 대학의 교수 23명, 평가업무 담당자 2명)으로 실시
- (대학의 질적 평가 실효성) 현재 교수 개인연구성과 질적 평가 방법 및 지표는 소속 대학에 따라 다르고, 만족도 또한 각양각색임
: 질적지표의 계량적(등급 구분 및 배점 차별화) 평가에 큰 불만은 없음. 다만 질적 우수성을 획일적 방법으로 평가하는 것에 대한 회의적 시각은 존재함
: 정부 대학 지원사업 수탁시, 정량적 성과 목표 및 지표에 대한 요구조건 의무 반영에 따른 교수 개인연구성과 지표 경직성에 대한 피로도 호소
: 따라서 연구 분야별(학과별) 개인연구성과 평가방법 및 지표 설정에도 자율성을 인정해야 질적 평가의 실효성이 담보될 수 있을 것임
- (대학의 질적 평가 개선방향) 연구 분야별(학과별) 개인연구성과 평가방법 및 지표 설정에 대한 자율성을 이미 인정하는 대학이 있는 만큼, 이러한 사례를 질적 평가 개념 확대로 연동 필요
: 세계적, 혁신적 연구성과는 협업에 기인하는 경우가 늘어나는 추세로 볼 때,성과물의 저자 등 환산율 적용기준에 대한 자율성 부여 필요
: 외부 수탁연구과제의 성과평가와 소속 대학의 개인연구성과 평가의 철학, 방향, 방법, 지표의 성격을 전반적으로 일맥상통하게 설정할 필요
: 개인연구성과 평가결과 환류는 일정 범주 내에서 추가 인센티브 부여하고 승진시 평가대상 기간 정성적 질적 평가에 의한 누적반영이 필요하다고 인식됨
3-2. 출연연 소속 연구자의 질적 평가 인식 실태
□ 출연연 연구자의 질적 평가 인식 조사
○ 출연연 연구자를 대상으로 현 연구성과 질적 평가 실효성과 개선방향 등에 대해 심층 인터뷰를 실시하였고, 그 결과는 다음과 같음
* 총 29명 대상(14개 출연연(기초연 포함)의 연구자 19명, 평가업무 담당자 10명)으로 실시
- (출연연의 질적 평가 실효성) 현재 연구자 개인연구성과 질적 평가 방법 및 지표는 소속 기관에 따라 다르고, 만족도 또한 각양각색임
: 질적지표의 계량적(등급 구분 및 배점 차별화) 평가에 따른 획일적 평가 방법은 현재 평가제도상 마땅한 대안이 없어서일 뿐, 불만이 없는 최적안으로 인정하는 것은 아님
: 기관 목표 설정에 자율성이 주어진 만큼 소속 연구자의 개인연구성과 평가방법 및 지표 설정에도 자율성을 인정해야 질적 평가의 실효성이 담보될 수 있을 것임
- (출연연의 질적 평가 개선방향) 기관별 미션에 부합하는 연구개발 방향성만 제시하고 개인평가를 포함함 기관별, 부서별 질적 평가 방법 및 지표 설정에 대한 자율성 인정 필요
: 기관 자율적으로 성과 목표와 지표를 설정하게 한 후, 달성여부는 사업/과제,기간/유형에 걸맞은 정성적 최종평가만 실시한다면 성과목표 달성과 질적 우수성이 제고될 것임
: 세계적, 혁신적 연구성과는 협업에 기인하는 경우가 늘어나는 추세로 볼 때, 기관의 목표달성 평가에 중점을 두고, 개인연구성과 평가는 기관에게 자율권 부여 필요
: 개인연구성과 평가결과 환류는 일정 범주 내에서 추가 인센티브 부여 또는 승진시 평가대상 기간 누적반영이 적절하다고 인식되고 있음
○ 출연연 연구자를 대상으로 개인연구성과의 질적 우수성 평가를 강화하기 위해 고려해야할 영역과 이슈 파악을 위한 온라인 설문조사를 병행하여 실시하였고, 그 결과는 다음과 같음
* 25개 출연연 연구자 1061명 유효응답 분석; 국가과학기술연구회와 공동 조사함
- (응답자 직종 및 직급) 연구직 90.4%(959명), 기술직 9.6%(102명); 책임급 49.1%(521명), 선임급 38.7%(411명), 원급 12.2%(126명)가 응답함
- (개인평가제도 만족도) 48.4%(514명)가 개인평가 제도 불만족 3개 항목을 선택 했으며, 연구직이 기술직보다 개인평가에 불만족도가 높음
- (질적 우수성 평가 만족도) 51.4%(545명)가 질적 평가가 개인성과를 충분히 반영하지 않는다고 대답했으며, 재직기간이 1년 초과에서 3년 이내의 연구원 66.1%(84명)가 충분히 반영하지 않다고 응답함
- (우수성과 창출 보상체계 만족도) 44.8%(475명)가 그렇지 않다 3개 항목을 선택했으며, 직종 중에는 연구직, 재직기간은 1년 초과 3년 이내가 불만족 경향이 높음
- (정성평가 기관의 질적 우수성 평가 만족도) 정성평가를 실시하는 기관의 응답 연구자 929명 중 41.7%(387명)가 부정 해당 3개 항목을 선택함
- (정성평가 기관의 질적 우수성 평가 불만족 이유) 총 647명이 답신한 중복응답(n=1261)에서 ‘평가자가 공정한 평가를 내리기 어려움’이 75.8%(511명 응답/674명 답신)로 가장 높음
※ 참조: (정량평가 기관의 질적 우수성 평가 만족도) 정량 평가를 실시하는 기관의 연구자 1,020명 중 38.2%(390명)가 부정 해당 3개 항목을 선택함 (긍정 해당 3개 항목은 34.2%(349명)가 선택함)
※ 참조: (정량평가 기관의 질적 우수성 평가 불만족 이유) 총 671명이 답신한 중복응답(n=1218)에서 ‘평가항목의 배점이 합리적이지 못함’ 55.9%(375명 응답/671명 답신), ‘평가항목간 변별력 부족’ 52.9%(335명 응답/671명 답신)순으로 높았음
3-3. 질적 평가 인식 실태 소결
□ 대학 연구자의 연구성과 질적 평가에 대한 인식
○ (대학 당국) 교육부의 대외 공시 대학평가 항목과 정부 대형 대학지원 사업의 평가방법이나 평가지표/성과목표가 중요(양적 평가든 질적 평가든 상관없음), 연구자가 수행하는 외부수탁 연구개발 사업 또는 과제의 평가 방법이나 지표에는 관심 없음
○ (대학 소속 연구자) 연구성과의 질적 우수성을 평가하는 방법으로 질적평가(동료 전문가 패널평가로 수행되는 정성평가)의 필요성에 100% 이상 공감하나, 성과연봉제와 연동되는 경우, 여러 이해관계로 인해 흑백논리로 재단하기는 어려움
* 만약에 질적 평가로 기조를 전환하고자 한다면, 기존의 평가 방법, 지표 등을 처음부터 새롭게 재건해야 질적 평가를 추진하고자 하는 본래의 취지(질적으로 우수한 연구성과 창출 지원 등)에 걸맞은 실효적 파급효과를 기해할 수 있을 것으로 인식되고 있음
□ 출연연 연구자의 연구성과 질적 평가에 대한 인식
○ (출연연 당국) 국가과학기술연구회의 ‘출연연 연구자 연구성과 질적 평가지표 및 적용 가이드라인’이 중요, 연구자가 수행하는 외부수탁 연구개발사업 또는 과제의 평가 방법이나 지표에는 관심 없음
○ (출연연 소속 연구자) 기관 고유 미션에 해당하는 직무의 내용은 기관에 의해 개인에게 임의로 주어진 것이므로, 직무의 내용에 따라 다른 개인연구성과 항목 창출 빈도를 정량적 1:1 인정은 불만
○ (설문조사에 따른 출연연 연구자 질적 평가 인식) 전반적으로 불만족 성향답변이 만족 성향 답변보다 1.5배 이상 많음
: [개인평가 제도 만족도] 다소 불만족 이하(48.4%)가 다소 만족 이상(22.3%) 보다 2배 이상 많음
: [질적 우수성 평가 만족도] 다소 불만족 이하(51.4%)가 다소 만족 이상(25.6%) 보다 2배 이상 많음
: [우수성과 창출 보상체계 만족도] 다소 불만족 이하(44.8%)가 다소 만족이상(28.7%) 보다 1.5배 이상 많음
: [질적 평가 기관의 우수성 평가 만족도] 다소 불만족 이하(41.7%)가 다소만족 이상(27.4%) 보다 1.5배 이상 많음
※ 참조: [정량 평가 기관의 우수성 평가 만족도] 다소 불만족 이하(38.2%)와다소 만족 이상(34.2%)가 거의 비슷함
▶ 국가R&D 사업 및 과제의 연구성과 질적 평가에 대한 인식*
* 대학 교수를 대상으로 조사한 내용과 내부 연구진의 논의 내용을 정리함
○ (평가 목적) 질적 평가가 지향하는 목적(철학)*에 더욱 걸맞은 평가 제도와체계가 정착되어야 한다고 인식되고 있음
* 질적으로 우수한 연구성과 창출 지원, 연구자의 자율성 및 책임성 확대, 자유롭게 연구에만 몰입할수 있는 환경 조성, 국가 정책 및 사회 수요 부합성 강화 등
○ (평가 방법) 연구성과의 질적 우수성을 평가하는 방법으로 질적 평(동료 전문가 패널평가로 수행되는 정성평가)의 필요성에 100% 이상 공감하며, 현재제도하에서도 일정부분 시행되고 있다고 인식되고 있음
○ (평가 지표) 대표적인 연구성과 지표인 논문의 경우, SCI/IF 기준에 대한 강한 회의감이 존재함
○ (평가 단계) 종료 단계 보다는 오히려 선정 단계에서 질적 평가의 개념을 보다 더 심층적으로 적용할 필요가 있다고 인식되고 있음
○ (평가자) 평가 분야 적합성/전문성을 갖춘 평가자 확보 어려움, 평가 대상에 대한 관련 정보 미숙지, 평가 시간 부족, 심도 깊은 토론의 미흡 등 개선되어야 할 핵심 문제중 하나로 인식되고 있음
제4장 국내 연구성과 질적 평가 고도화 방안 모색
4-1. 질적 평가 고도와 연구회 운영 및 질적 평가 이슈
□ 질적 평가 고도화 연구회 운영
○ 해당 분야 전문가 15인(대학, 출연연, 전문관리기관, 민간연구소 소속 등)으로 구성된 ‘질적 평가 고도화 연구회’를 조직하고, KISTEP 내부 연구진과 함께 질적 평가 개념 및 조사 결과 논의, 질적 평가 장애요인 및 이슈 도출 후, 이에 따른 개선 방안 도출
□ 질적 평가 이슈
: ‘질적 평가 고도화 연구회’ 운영을 통한 질적 평가 개념 및 조사 결과 논의,질적 평가 장애요인 및 이슈 도출
○ (평가 목적 이슈) 질적 평가의 개념 설정 이전에 평가 자체의 목적에 대한 명확한 철학 부재
- 연구비관리? or 나태 연구자 퇴출? or 우수성과 창출 지원?
○ (평가 개념 이슈) 질적 평가 개념이 연구성과 결과물에 대한 등급화로 적용되는 불편한 현실에 대한 회의감
- 정성평가로 수행되는 평가는 모두 질적 평가인가?
- 정성평가의 객관적 기준을 일반적으로 제시할 수 있는가?
○ (평가 문화 이슈) 평가자 전문성, 평가 공정성, 평가 결과에 대한 뿌리 깊은 불신
- 세부 분야별 평가자 pool 부족으로 인해 제척사유 적용시 핵심 전문가 확보가 가능한가?
- 평가자 전문성 부족으로 인한 평가 공정성 및 책임성 부여가 가능한가?
- 평가 결과에 정무적 판단이 직간접적으로 영향을 미치는 건 아닌가?
○ (평가 방법/지표 이슈) 평가 방법/지표 설정 자율성 부여 실효성에 대한(현장)연구자의 체감 부재
- 연구개발 사업/과제 선정시 발주자(기관)는 연구책임자(수탁기관)와 충분한 협의를 통해서 평가 방법/지표를 설정할 수는 없는가?
- 사업/과제 선정 또는 결과 평가시, 양적목표 달성도 점검과 연구내용에 대한 질적 평가를 서로 분리하여 독립적으로 시행할 수는 없는가?
○ (평가 단계 이슈) 사업/과제 선정단계 평가의 중요성 자각과 종료단계 평가에 시간과 노력 과대 투입 지속중인 현실과의 괴리감
- 연구 목표와 내용에 대한 엄격한 정성적 선정평가로 전환하기 어려운가?
- 연구책임자를 기준으로 연구 결과에 대한 정성적 평가의견은 향후 신규과제 선정평가에 연동하기 어려운가?
4-2. 연구성과 질적 평가 고도화 방안 제언
□ 질적 평가 고도화 방안 도출 및 유형화
○ 도출된 이슈, 시사점 및 장단점, 문제점을 바탕으로 실무적으로 적용 가능한 다양한 해결방안 제언*
* 질적 평가의 대표적 방법으로 정성평가가 일반적으로 통용되고 있음을 감안할 때, 이론적으로나 ‘질적평가 고도화 연구회’ 자문위원단의 합의로나, 정성 평가 대상으로 가장 적합하다고 판단되는 기초연구분야를 대상으로 복수의 질적 평가 고도화 방안을 도출함
(1) 질적 평가의 목적을 ‘우수 연구성과 창출 지원’으로 명확화
가. 이를 위해서는 평가 방법 및 지표 설정 시, 연구자 또는 연구기관의 자율성 및 책임성을 전적으로 인정 필요
(2) 평가위원 제척사유 대폭 완화 및 평가위원 책임성과 신뢰 강화
가. 평가위원(장) 실명 공개를 추진하되, 현재와 같이 종합의견과 점수는 공개,평가위원 개별 의견과 점수는 비공개
(3) 연구자(피평가자)의 책임성(논리적 설명 등) 강화
가. 연구성과 질적 수준에 대한 막연한 주장 지양, 연구내용에 대한 충실한 논리와 정리, 발표(설명)에 대한 책임 강화 필요
(4) 질적 평가의 방법인 정성평가를 심층평가로 강화
가. 정성평가는 이미 정착단계임. 심층 정성평가를 일단 기초연구 단계에 중점적으로 적용 필요
나. 연구성과에 대한 정량적 평가와 정성적 평가를 구분하여 독립적으로 수행 (정량평가결과는 부처/관리기관 등이 자체적으로 점수 또는 등급으로 산출하고, 정성평가는 외부초빙평가자(전문가)가 질적 우수성에 대한 의견만 개진하여 점수 또는 등급으로 환산 제시 후, 최종결과는 종합점수 또는 종합등급으로 도출)
다. 서면평가 확대 및 강화 고려 (다만, 보고서 위주 평가는 지양)
(5) 대표 평가 지표는 기획 단계에서 발굴하고, 선정평가에서 검토 필요
가. 기획 단계부터 다양한 평가지표 발굴과 증빙자료(인증 요구 지양) 명확화 필요
나. 연구자 또는 연구기관의 자율권을 인정하되, 사업과 과제 간 평가지표 연계성 검토는 강화
(6) 종료 단계보다는 선정 단계의 평가에 질적 평가 개념 적용과 심층평가 강화필요
가. 선정 평가의 엄격성과 공정성을 강화하고 종료 평가를 꼼꼼하게 점검하는 방향으로 개편하되, 연차/중간 평가 등은 컨설팅(조언)으로 간소화
(7) 선정평가 종합의견은 종료평가 시 환류하고, 종료평가 종합의견은 후속 과제선정 시 또는 신규과제 선정 시 연구책임자(기관)에게 환류
가. 평가 단계별(선정, 중간, 종료) 종합 평가의견은 차기 단계 평가 결과(연구지속여부, 예산 조정, 신규 선정 등)에 환류
(8) 질적 평가 개념을 정착시키기 위한 상기 방안들은 기존의 평가 방식을 토대로 하되,새로운 평가시스템으로 재건하는 방안으로 활용되어야함
가. 기존 평가방식을 고수하면서 추가적으로 질적 평가를 강화하는 것은 하지 않음만 못함. 따라서 새로운 평가시스템 구축의 개념으로 추진 필요
(9) 고신뢰 평가문화가 정착되어야 질적 평가의 궁극적 목적(철학)*에 다가설 수 있음
* 질적으로 우수한 연구성과 창출 지원, 연구자의 자율성 및 책임성 확대, 자유롭게 연구에만 몰입할 수 있는 환경 조성, 국가 정책 및 사회 수요 부합성 강화 등
가. 따라서 연구자 개인연구성과에 대한 평가 철학, 방법, 지표 등의 성격이 국가R&D사업 또는 과제 평가의 그것과 일맥상통해야 체감도가 높아짐
□ 질적 평가 고도화 방안 유형별 정성평가 매트릭스
○ 질적 평가 고도화 방안에 대한 ‘실무적 실행가능성’과 ‘파급효과’에 대한 평가를 자문위원 FGI를 통한 정성평가 수행
- 그 결과를 아래와 같이 매트릭스로 정리
□ 질적 평가 고도화 방안 최종 제언
○ 상기 별도의 ‘실무적 실행가능성’과 ‘파급효과’ 정성평가 결과를 바탕으로 질적 평가 고도화 방안 적용 시급성(즉시, 단기, 중기)을 자문위원 FGI를 통한 정성평가 수행 후, 종합하여 최종적으로 제언
- 현재 R&D평가 제도가 궁극적으로 추구하는 질적으로 우수한 연구성과 창출에 기여할 수 있는 질적 평가 고도화 방안을 종합의견으로 제시
※ 질적 평가의 방법으로 수행하는 심층적 정성 평가를 기초단계 연구의 국가R&D 사업 또는 과제의 선정/종료 평가와 대학 또는 출연연의 개인연구성과 평가에 적용하는 것을 전제로 제언함
[1] 즉시 적용 방안 (6개월 이내)
- (최종 제언)
: ‘우수 연구성과 창출 지원’을 질적 평가의 궁극적 목적으로 명확화 하고,평가 방법 및 지표 설정은 연구자 또는 연구기관의 자율성과 책임성을 전적으로 인정
: 평가위원의 경우, 책임성과 신뢰 강화를 위해 평가위원(장) 실명을 공개하고,연구자(피평가자)의 경우, 연구내용과 결과에 대한 충실한 논리와 정리, 발표(설명)에 대한 책임을 강화
: 평가 지표는 기획 단계부터 다양하게 발굴하고, 향후 평가를 위해 증빙자료 명확화(인증 요구 지양) 추진
: 국가 R&D 사업 또는 과제의 경우(특히, 기초연구 분야), 선정 단계부터 질적평가에 개념을 심층적으로 적용하여 엄격하고 공정하게 수행
[2] 단기 내 적용 방안 (1년 이내)
- (최종 제언)
: 즉시 적용 방안의 방향에 부합되도록 평가지표 발굴의 자율권을 연구자 또는 연구기관에게 부여하되, 사업과 과제 간 평가지표 연계성 검토는 강화
: 연구성과에 대한 정량적 평가와 연구내용에 대한 정성적 심층평가를 구분하여 독립적으로 수행하고, 필요시 서면평가 확대 및 강화
: 평가단계별(선정, 중간, 종료) 종합적 정성평가 의견을 차기단계의 평가결과(연구 지속여부, 예산 조정, 신규 선정 등)에 지속적으로 연동하여 환류
: 기존의 평가 방식에 추가하는 질적 평가 방안은 추지하지 않음만 못하다고 인식되고 있으므로, 새로운 평가시스템 구축의 개념으로 추진 필요
[3] 중기 내 적용 방안 (2년 이내)
- (최종 제언)
: 고신뢰의 평가문화 정착을 위해 질적 평가의 궁극적 목적에 다가설 수 있도록 연구자 개인연구성과에 대한 평가 철학, 방법, 지표 등의 성격이 국가 R&D 사업 또는 과제 평가의 그것과 일맥상통하도록 추진하여 연구현장에서의 체감도 제고
4-3. 기대효과
□ 본 연구 결과의 기대효과
○ 연구 결과는 일부 관련 학회발표 등을 통해 다양한 평가 이해관계자들에게 보급되어 향후 정책수립 시 반영 기대
- 선도적 연구개발 혁신전략에 적절한 평가방안을 제안하고 있으므로 정부 및 관리기관의 R&D 평가시스템 선진화 유도
- 투입, 산출로 측정하기 어려운 정책·사업·과제의 질적 평가 방향을 제시하고 있으므로 연구개발성과의 질적 수준 제고 유도에 기여
- 대학, 출연연 소속 연구자 개인연차평정의 한 부분인 연구성과 평가 방식에 대한 가이드라인(자율적 질적 평가)을 제시하고 있으므로 부처, 연구관리전문기관 또는 연구기관의 연구행태 및 방식을 혁신하도록 유도, 궁극적으로는 목표달성도제고 및 우수성과 창출에 기여
- 성과평가 결과에 기반을 둔 과학기술정책 수립·조정을 통해 국가차원의 정책실효성 제고
( 출처: 요약 5p )
목차 Contents
- 표지 ... 1
- 제출문 ... 3
- 요약 ... 5
- 목차 ... 57
- 표목차 ... 58
- 그림목차 ... 60
- 제1장 서 론 ... 63
- 1-1. 연구 배경 ... 63
- 1-2. 연구 목표, 내용 및 방법 ... 65
- 1-3. 질적 평가의 이론적 고찰 ... 70
- 제2장 국내외 연구개발 성과 질적 평가 실태 ... 88
- 2-1. 국내 연구성과 평가제도 실태 ... 88
- 2-2. 국내 연구성과 질적 평가 실태 ... 98
- 2-3. 국외 연구성과 질적 평가 실태 ... 114
- 2-4. 질적 평가 실태 소결 ... 124
- 제3장 국내 연구성과 질적 평가 인식 실태 ... 126
- 3-1. 대학 소속 연구자의 질적 평가 인식 실태 ... 126
- 3-2. 출연연 소속 연구자의 질적 평가 인식 실태 ... 127
- 3-3. 질적 평가 인식 실태 소결 ... 132
- 제4장 국내 연구성과 질적 평가 고도화 방안 모색 ... 137
- 4-1. 질적 평가 고도와 연구회 운영 및 질적 평가 이슈 ... 137
- 4-2. 연구성과 질적 평가 고도화 방안 제언 ... 139
- 4-3. 기대효과 ... 147
- 참고문헌 ... 149
- 부록 ... 153
- 끝페이지 ... 153
※ AI-Helper는 부적절한 답변을 할 수 있습니다.