[논문]국가 연구개발(R&D) 투자의 성과 측정 방법 연구

임선집; 김성철; 신민수

doi:10.5762/kais.2014.15.7.4148

국가 연구개발(R&D) 투자의 성과 측정 방법 연구
A Study on the Performance Measurement Method for National Research and Development Projects 원문보기

한국산학기술학회논문지 = Journal of the Korea Academia-Industrial cooperation Society, v.15 no.7, 2014년, pp.4148 - 4156

임선집 (한양대학교 정보기술경영학과) , 김성철 (삼성종합기술원) , 신민수 (한양대학교 경영학과)

초록
AI-Helper

본 연구의 목적은 국가 연구개발(R&D) 성과측정지표의 개선안을 새로운 관점을 통해 제시하는 것이다. 정부는 R&D 패러다임을 기존의 추격형에서 선도형으로 전환하고자 하고 있다. 이에 기존 성과평가의 문제점을 살펴보고 기존 문헌 연구를 통해 국내외 연구기관 정부기관의 성과 평가안을 살펴보았다. 특히 국내외적으로 창조 혁신지표군을 참조하였고 국가혁신 및 R&D 생태계라는 개념에 주목하였다. 이론 체계로 D'Aveni의 혁신경쟁이론(Hypercompetition theory)을 차용하여 새로운 성과평가지표를 제시하였으며 국내 R&D 성과평가 전문가를 대상으로 AHP 분석을 수행하였다. 지표별 우선순위 결과 및 의미는 본문에서 상세히 밝히고 있다. 본 연구는 새로운 관점의 이론적 틀을 바탕으로 창조 혁신지표군을 참조하여 국가 R&D 성과지표군을 제안하였고 실증적 검증을 거쳐 지표별 우선순위를 제시했다는 점에서 이론적 그리고 실무적으로 공헌하고 있다.

Abstract ▼ AI-Helper

The aim of this paper was to suggest a national R&D performance measurement index from a new perspective. Government is trying to transit the R&D paradigm from 'catch-up' into 'lead- forward'. The problem of the existing performance evaluation was first identified, and the performance evaluation method of domestic & overseas research center & government was then reviewed. In particular, this study first referred to the creation & innovation indices, and focused on the national innovation and R&D ecosystem. Next, D'Aveni's Hypercompetition theory was applied to suggest a new performance measurement index, and AHP analysis interviewed from the domestic R&D performance evaluation experts was performed. This study contributes to the new national R&D performance index for the creative economy.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

3) 피드백 단계로 나눌 수 있는데, 이를 확장하여 새로운 국가 R&D 성과지표 지표를 제시하고자 한다.
본 연구는 혁신경쟁이론을 바탕으로 혁신 및 R&D 생태계 개념에 주목하였고 이를 바탕으로 문헌연구 및 국내외 창조·혁신지표군을 참조하여 신규 국가 R&D 성과지표군을 제안하였다.
본 연구에서는 제안한 국가 R&D 성과평가 지표의 우선순위를 도출하기 위해 R&D 성과평가 전문가에게 설문을 받아 AHP 분석을 실시하였다.
우리나라가 기존 추격형 R&D에서 창조형 R&D로 거듭나기 위해 R&D 성과지표의 변화를 모색하기 위해 다음과 같이 국내외 혁신지표 및 창조지표를 살펴보았다.
이 논문의 목적은 국가 연구개발(R&D) 성과측정지표의 개선안을 새로운 관점을 통해 제시하는 것이다.
이러한 국가적 목표를 창조지표, 혁신지표, 그리고 R&D 생태계 활성화 등의 개념을 참조하여 기존의 국가 R&D 성과측정지표를 새로운 관점에서 디자인하여 제시하고자 한다.
이에 3.2 섹션에서 R&D 성과지표의 변화를 모색하기 위한 참조자료로 국내외 혁신지표 및 창조지표를 살펴보았다.

제안 방법

R&D 결과의 생성, 전파, 활용, 그리고 다시 새로운 R&D 수요 및 지원으로 돌아오는 과정을 단순화하여, 본 연구에서 제안하는 R& D 성과평가 대분류는 ‘R&D 성과 도출’, ‘R&D 성과 전파’, ‘R&D 환경 및 생태계 강화’로 설정하였다.
구체적으로는 R&D 성과를 5대 분야, 즉 과학적 성과, 기술적 성과, 경제적, 사회적 성과, 인프라 성과로 구분하고, 각 분야별로 하위 성과지표를 연동하였다.
0 시기를 거쳐 발전하고 있는 우리나라 R&D 성과평가 체계를 개선하는데 본 연구결과가 도움이 되기를 바란다. 다만, 동 연구는 R&D 투자의 성과 측정 업무를 실무적으로 수행해 본 경험이 있는 실무 전문가의 의견을 주로 설문으로 반영하였다. 추후 학계의 의견을 추가반영하기 위해 동 연구를 확대발전시킬 여지가 있다 하겠다.
본 연구는 혁신경쟁이론을 바탕으로 혁신 및 R&D 생태계 개념에 주목하였고 이를 바탕으로 문헌연구 및 국내외 창조·혁신지표군을 참조하여 신규 국가 R&D 성과지표군을 제안하였다. 또한 이를 AHP 실증 분석을 거쳐 지표별 우선순위를 제시하였다. R&D 성과지표군을 설계시 이론적 관점을 마련하고 실증분석을 거쳤다는 점에서 동 연구의 이론적 그리고 실무적 의의가 있다 하겠다.
아울러 R&D 활동을 국가혁신시스템의 주요구성인자로 보고 지식영역과 시장영역 그리고 이들 사이의 지식 전파 및 피드백 활동을 포괄하기 위해 제안 성과평가 틀의 두 번째 및 세 번째 대분류로서 ‘R&D 성과 전파’와 ‘R&D 환경 및 생태계 강화’ 를 매칭시켰다.
아울러 R&D가 국가혁신시스템에서 중요한 역할을 수행한다는 것에 착안하여 연구기관의 R&D 활동결과인 지식영역과 이를 활용하는 시장영역간의 선순환 R&D 생태계 구조를 고려하였다.
우리는 2 절에서 우리나라의 국가 R&D 성과지표 체계를 일별하였고 기존 성과측정의 문제점을 살펴보았다.
이들 범주들에 대한 추가적인 고려가 필요한 상황이며 이를 R&D 생태계 개념에 포함하여 고려하기로 한다.
이렇듯 혁신경쟁이론과 R&D 생태계 구조 반영을 틀로 하여 대분류 성과지표를 구성하였고 하위 지표군을 포함한 전체적인 성과평가 지표군은 국내외 혁신·창조 지표를 반영하고 기존 국가 성과평가지표를 참조하여 구성하였고 다음 섹션에서 범주별로 우선순위를 구하였다.
이를 위해 우선 기존 국가 R&D 투자 및 성과를 일별하고 그 후 문헌연구를 통해 R&D 성과평가와 창조지표, 혁신지표 현황을 알아보고자 한다.

대상 데이터

2 사이의 일관성일 경우 수용할만한 검정으로 보고 있다[4]. 이에 근거하여 참여 전문가 42인 중 일관성 비율의 허용범위를 벗어나는 설문 5부를 제외한 37명의 설문을 대상으로 분석하였다. 분석 대상 설문조사 참여자의 구성은 Table 8과 같다.

데이터처리

계층분석과정 또는 계층분석방법으로 잘 알려져 있는 AHP(Analytic Hierarchy Process)는 다수 대안에 대하여 다면적인 평가기준과 다수 주체에 의한 의사결정의 모형화를 위해 설계된 방법이다[4]. 본 고에서 제시한 성과평가 지표 간 우선순위를 도출하기 위해 AHP 분석 기법을 활용하였고 그 의미를 분석하였다.

이론/모형

기존의 성과평가를 개선하기 위해서는 본 연구에서는 우선 대분류 체계의 논리성을 갖추는 데 주력하였고 언급하였듯이 혁신경쟁이론(Hypercompetition Theory)의 틀을 따랐다. 아울러 R&D가 국가혁신시스템에서 중요한 역할을 수행한다는 것에 착안하여 연구기관의 R&D 활동결과인 지식영역과 이를 활용하는 시장영역간의 선순환 R&D 생태계 구조를 고려하였다.
아울러 국가 R&D 성과평가 정책의 단계적 개선방향을 파악하기 위해 이에 적합한 이론 틀로서 D’Aveni의 혁신경쟁이론 (Hypercompetition theory)을 차용하였다[3].

성능/효과

‘R&D 성과 도출’의 중분류 중에서 ‘R&D 결과물 기술 내용 평가’ 부문이, ‘R&D 성과전파’의 중분류 중에서는 ‘정부·산학연 R&D 협업 활성화’ 지표가, 그리고 ‘R&D 환경 및 생태계 강화’의 중분류 중에서는 ‘R&D 국제협력 개방성 지표’가 기존 우리나라 성과지표 대비 대폭 보강되었다.
‘R&D 성과 전파’의 하위 항목별 가중치를 분석한 결과 ‘사업화 경제효과’가 가장 높게 나타났으며, 다음으로 ‘정부·산학연 R&D 협업 활성화’, ‘지식·기술 자산 활용’ 순으로 나타났다.
대분류 ‘R&D 성과 전파’의 하위 세분류 중에서 ‘사업화 경제효과’와 ‘정부·산학연 R&D 협업 활성화’는 창조경제와 국가혁신시스템 생태계 상에서 강조된 개념으로 실증 분석 결과도 이를 뒷받침하는 것으로 나왔다.
대분류 지표의 가중치 분석 결과 ‘R&D 환경 및 생태계 강화’가 가장 높게 나타났으며, 이는 ’R&D 성과 전파‘ 대비해서 2.7배 더 중요한 것으로 분석되었다.
제안된 국가 R&D 성과지표의 대분류에서 ‘R&D 환경 및 생태계 강화’가 다른 요인보다 중요한 요인으로 꼽혔으며, ‘R&D 성과 전파’가 가장 낮은 중요치를 보였다.
즉, 우리가 제안한 성과평가 프레임워크는 R&D 생태계 개념 활성화를 반영하였으며 분석 결과도 ‘R&D 환경 및 생태계 강화’가 다른 요인보다 중요한 요인으로 뽑혔다.

후속연구

아울러 R&D 1.0 시기 및 R&D 2.0 시기를 거쳐 발전하고 있는 우리나라 R&D 성과평가 체계를 개선하는데 본 연구결과가 도움이 되기를 바란다.
다만, 동 연구는 R&D 투자의 성과 측정 업무를 실무적으로 수행해 본 경험이 있는 실무 전문가의 의견을 주로 설문으로 반영하였다. 추후 학계의 의견을 추가반영하기 위해 동 연구를 확대발전시킬 여지가 있다 하겠다.
특히 주목할만한 성과는 ‘지식·기술 연구물’보다 ‘연구 인력 양성’이 1.4배정도 더 중요한 평가 항목으로서 향후 핵심 정책과제로 도입될 필요성이 제기된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	EU의 R&D 사업 평가제도의 평가 기준은 무엇인가?	EU의 R&D 사업 평가제도는 프레임워크 프로그램 (Framework Program, FP)이 발전화면서 체계화되었으며 평가의 기준은 적합성(relevance), 효율성(efficiency), 효과성(effectiveness)이다. 2013년까지 FP 7기를 수행했고 현재 FP 8기(Horizon 2020으로 개명)를 수행 중이다[10].
	국가 R&D 성과평가의 단계는 어떻게 나뉘는가?	아울러 국가 R&D 성과평가 정책의 단계적 개선방향을 파악하기 위해 이에 적합한 이론 틀로서 D’Aveni의 혁신경쟁이론 (Hypercompetition theory)을 차용하였다[3]. 동 이론에 의하면 국가 R&D 성과평가는 1) 창조단계, 2) 기능결함 위험의 감소 단계, 3) 피드백 단계로 나눌 수 있는데, 이를 확장하여 새로운 국가 R&D 성과지표 지표를 제시하고자 한다.
	STAR Metrics를 통해 연방정부의 과학 투자의 영향력을 측정하는 지표는 무엇인가?	- 과학적 지식(간행물 및 인용) - 사회적 영향(건강 증진 요소, 환경 영향 요소) - 근로인력에 미치는 영향(학생 이동성 및 고용) - 경제 성장에 미치는 영향(특허 추적, 창업)

참고문헌 (20)

National Science & Technology Council, National R&D output analysis and it's implication, 2009. 1.
National Science & Technology Council, The basic planning of the 2nd national R&D performance evaluation, 2011. 12.
R. D'Aveni, Hypercompetition: Managing the dynamics of strategic management, New York. 1994.
T. L. Saaty, The Analytic Hierachy Process, NY: Mcgraw-Hill, 1980.
Ministry of Science, ICT and Future Planning, Improvement of national R&D performance evaluation, 2013. 8
National Assembly Budget Office, Evaluation of national R&D project management, 2013. 7.
Korean Intellectual Property Office, Results of Government R&D patent performance in 2012, 2013.
G. W. Lee, H. B. Kim, I. H. Jang, "Diagnosis of government R&D output management & utilization system and its implication focused on researcher's perception survey", KISTEP Issue Paper, 2012
J. Lane & S. Bertuzzi, "The STAR METRICS project: current and future uses for S&E workforce data", In Science of Science Measurement Workshop, held Washington DC. 2010. 12.
http://ec.europa.eu/programmes/horizon2020/en
H. Y. Lee & Y. T. Park, "An international comparison of R&D efficiency: DEA approach", Asian Journal of Technology Innovation, Vol. 13, No. 2, pp. 207-222. 2005.

원문보기 상세보기
B. P. Cozzarin, "Data and the measurement of R&D program impacts", Evaluation and Program planning, Vol. 31, No. 3, pp. 284-298. 2008. DOI: http://dx.doi.org/10.1016/j.evalprogplan.2008.03.004

상세보기
C. F. Chien, C. P. Chen & C. H. Chen, "Designing performance indices and a novel mechanism for evaluating government R&D projects", Journal of Quality, Vol. 16, No. 2, pp. 119. 2009.
L. Bornmann, "What is societal impact of research and how can it be assessed? A literature survey", Journal of the American Society for Information Science and Technology, Vol. 64, No. 2, pp. 217-233. 2013. DOI: http://dx.doi.org/10.1002/asi.22803

상세보기
K. Pho, B. Ang & F, Bai, "A comparative analysis of R&D project evaluation methods", R&M Management Vol. 31, No. 1, pp. 63-75, 2001. DOI: http://dx.doi.org/10.1111/1467-9310.00197

상세보기
M. E. Porter & S. Stern. "National innovative capacity", The global competitiveness report, pp. 102-118. 2002.
Y. M. Go, "Analysis of foreign creation index status and suggestion for developing domestic creation index", KISTEP Issue Paper, 2013.
R. Florida, The Rise of the Creative Class: And How it's transforming work, leisure, community and everyday life, New York: Perseus Book Group, 2002.
M. H. Lee, "Transition and task of the national innovation system for implementing creative economy", STEPI, 2013. 7.
R. Wiggins & T. W. Ruefli, "Schumpeter's ghost: is hypercompetition making the best of times shorter?", Strategic Managment Journal, Vol. 26, pp. 887-911, 2012.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증