[논문]국가 연구개발 특허성과 평가 지표 및 평가 모형 개발에 관한 연구

홍희정; 이정훈

doi:10.15207/jkcs.2020.11.4.001

국가 연구개발 특허성과 평가 지표 및 평가 모형 개발에 관한 연구
A Study on the Development of National R&D Patent Performance Evaluation Indicators and Evaluation Models 원문보기

한국융합학회논문지 = Journal of the Korea Convergence Society, v.11 no.4, 2020년, pp.1 - 9

홍희정 (연세대학교 일반대학원 기술경영학협동과정) , 이정훈 (연세대학교 정보대학원)

초록
AI-Helper

본 연구에서는 국내·해외의 성과평가 사례들에 대하여 조사 분석하여 시사점을 도출하고, 특허 창출 성과자료 또는 기업현황 자료의 분석을 통해 국가 R&D 성과평가 체계에 맞는 질적, 양적 특허성과 평가 지표와 평가 모형을 개발하고자 한다. 또한 이를 해외 수출 및 기술력이 우수한 특정 기업군에 적용하기 위하여 실태 조사 결과를 바탕으로 특허전략 지원사업 성과 분석 사례 연구를 하고자 한다. 본 연구를 통해 특허전략 지원사업이라는 한정된 사업 범위 또는 사업 특성에서 기인하는 성과평가 지표 개발의 한계점은 있으나 이전 연구 및 국내·해외 사례 분석을 통해 질적 평가체계를 검토하고 활용 가능한 특허성과의 평가 지표를 제시하고자 하였다. 지원사업 성과와 관련된 데이터 접근 및 수집의 문제로 인해 성과분석이 충분한 수준으로 이루어지지 못한 한계점을 가지고 있으나 그럼에도 불구하고 향후 R&D 지원사업, 특허전략 지원사업 등의 종료 후에도 추적조사를 통해 후속 성과분석 등이 이루어 질 수 있으므로 사업종료 시의 성과추적조사에 활용할 수 있는 성과지표 및 성과분석의 가이드 역할을 할 수 있을 것으로 기대된다.

Abstract ▼ AI-Helper

This study draws implications by surveying and analyzing performance evaluation cases in Korea and overseas, and analyzes qualitative and quantitative performance evaluation indexes and evaluation models that fit the national R & D performance evaluation system through analysis of patent creation performance data or company status data. Also, in order to apply this to a specific group of companies with excellent exports and technical skills, we will conduct a case study on the performance analysis of patent strategy support projects based on the results of the survey. Although this study has some limitations in developing performance evaluation indicators due to the limited scope of business or business characteristics of the patent strategy support project, the qualitative evaluation system can be reviewed through previous studies and domestic and overseas case studies. Due to the problem of accessing and collecting data related to the performance of the support project, there is a limitation that performance analysis cannot be performed at a sufficient level. Nevertheless, after the completion of R&D support projects and patent strategy support projects, follow-up performance analysis can be performed through follow-up surveys. It is expected to be possible.

주제어

표/그림 (5)

표 Table 1. Definition of Performance Indicator[4,5]
표 Table 2. Classification of metered and non-metered indicators of performance evaluation
표 Table 3. Survey on Supporting Companies
그림 Fig. 1. Ratio by technology level
그림 Fig. 2. Infrastructure building effect

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 이제부터라도 정부 R&D 지원사업, 특허전략 지원사업 등의 영향력이나 경제적·사회적 파급효과 등을 측정할 수 있는 체계적인 평가 방법론을 갖출 필요가 있다고 생각하여 본 연구를 시작하게 되었다.
본 연구는 R&D 지원사업, 특허전략 지원사업 등의 성과지표를 개발하고, 개발된 성과지표와 모형을 바탕으로 특허전략 지원사업의 성과가 있었는지의 여부와 어느 정도 성과가 있었는지를 미지원기업과의 비교를 통해 분석하고자 하였다.
국가 연구개발사업과 마찬가지로 특허전략 지원사업 역시 양적지표와 함께 창출특허의 질적 우수성 제고를 위하여 질적지표를 통한 성과평가를 권장하고 있으며, 창출특허의 권리성, 기술성, 시장성을 중심으로 평가하고자 하는 것이 주요 내용이다. 본 연구에서도 이를 바탕으로 양적 효율성과 질적 우수성을 평가할 수 있는 특허성과 평가 지표를 개발하고자 한다. 온라인 특허 자동평가 시스템을 활용한 성과평가의 경우 현재 지원과제로부터 창출된 등록특허의 양이 많아 본격적인 성과분석에는 한계를 보이지만, 창출특허의 질적 우수성을 평가하는 하나의 중요한 툴로서 온라인 특허 자동평가 결과를 성과지표에 반영하고자 한다.
성과지표(기술적, 경제적, 사회적, 인프라적 성과), 성과지표 특성(계량지표, 비계량지표) 및 성과분석 비교를 위한 지원사업 성과평가 모형을 개발하고자 한다. 성과지표는 계량지표와 비계량지표를 모두 고려한 균형있는 성과지표를 성과평가 모형에 적용한다.
본 연구에서도 이를 바탕으로 양적 효율성과 질적 우수성을 평가할 수 있는 특허성과 평가 지표를 개발하고자 한다. 온라인 특허 자동평가 시스템을 활용한 성과평가의 경우 현재 지원과제로부터 창출된 등록특허의 양이 많아 본격적인 성과분석에는 한계를 보이지만, 창출특허의 질적 우수성을 평가하는 하나의 중요한 툴로서 온라인 특허 자동평가 결과를 성과지표에 반영하고자 한다. 지원사업의 진행 도중 또는 진행 이후 지원 수혜기업에 긍정적 영향을 미칠 것이라는 전제에서 지원사업의 지식재산경영 성과, 즉 지원사업으로 인한 기업 내부의 지식재산에 대한 인식 제고 및 인프라 구축 효과 역시 평가 지표에 반영하는 것이 타당할 것으로 판단 된다.

제안 방법

3.1.1 성과지표 고려요소 및 적용 타당성 검토 앞서 검토한 기존 연구 및 관련 사례들 즉 ①국가 연구개발 5대 성과지표, ②해외의 경제적·기술적·사회적 파급효과 평가 지표, ③특허성과 평가 지표, ④사회적 가치 실현을 종합적으로 검토하여 성과지표를 구성하였으며, 각 평가 요소 및 항목에 대한 타당성 검토를 실시하여 성과지표, 보조 성과지표 등으로 구분하였다.
STAR Metrics는 기존의 시스템을 개선할 수 있는 인프라를 구축하고, R&D 투자와 성과 간의 명확한 인과관 계를 밝히고자 하였으며, 기존 평가제도와 달리 국가 R&D 투자효과를 고용창출, 지식공유, 기업창업 등 포괄 적 분야에 걸쳐서 평가하였다.
「정부 R&D 특허성과 관리강화 방안」에서 특허 성과지표를 양적 효율성과 질적 우수성 측면으로 구분하였고, 양적 효율성 지표는 특허창출 과제 비율과 특허생산성으로 구성되며, 특허 건수 등 단순한 양적성과를 측정하는 것이 아닌 사업의 효율성 관점에서 접근한다.
특허전략 지원사업 성과 데이터 수집 및 분석 방법과 관련하여 기술적 성과 중 특허성과는 내부자료와 특허정 보검색서비스(KIPRIS) 등을 통해 성과데이터를 수집하여 지원기업과 미지원기업간 비교 분석을 실시하고자 하며, 국내/해외 특허 출원·등록 건수의 경우는 지원 전/후 비교를 병행한다. 기술적 성과 중 기술개발 성과는 기업 설문조사를 통해 정성적 성과 데이터를 수집하여 지원기업과 미지원기업간 비교 분석을 실시하고, 경제적 성과인 매출액, 수출액, 영업이익 등은 내부자료를 통해 성과데 이터를 수집하여 지원기업과 미지원기업간 비교 분석을 실시한다.
본 연구는 기존의 성과평가 체계와 국내·해외의 평가 사례들에 대한 조사 분석, 특허 창출 성과자료 또는 기업 현황 자료(기업 재무자료, 기업실태 조사 자료 등)의 분석을 통해 시사점을 도출하고, 이에 근거하여 정부 R&D 사업, 특허전략 지원사업의 성과지표 및 모형을 개발하였다. 또한 이를 토대로 특정 기업군에 적용하여 성과분석 을 사례 연구를 실시하였다.
또한 질적 우수성 지표는 특허품질을 다각도로 판단할 수 있도록 권리성, 기술성, 시장성에 해당하는 다양한 개별지표와 복합지표를 제시하고 있으며, 개별지표 (권리성, 기술성, 시장성)와 복합지표를 포함하는 총 12 개 질적 특허 성과지표를 발굴하여 부처별 R&D 성과지 표로 활용하도록 보급하였다[12].
본 연구는 기존의 성과평가 체계와 국내·해외의 평가 사례들에 대한 조사 분석, 특허 창출 성과자료 또는 기업 현황 자료(기업 재무자료, 기업실태 조사 자료 등)의 분석을 통해 시사점을 도출하고, 이에 근거하여 정부 R&D 사업, 특허전략 지원사업의 성과지표 및 모형을 개발하였다.
본 연구에서 지원사업 성과분석은 앞서 언급된 기술 적·경제적·사회적(사회적 가치실현)·인프라 성과를 중심으로 실시하되 데이터 수집이 가능한 성과에 한정하여 분석을 실시하였다.
사회적 성과(사회적 가치실현 성과)는 내부자료 및 기업설문조사를 통해 성과데이터를 수집하여 통계분석을 통해 지원기업과 미지원기업간 비교 분석을 실시하고, 공공수요·공공기술 관련분야 특허 출원·등록 건수는 내부 자료 및 특허정보검색서비스(KIPRIS)를 통해 성과데이터를 수집하여 지원기업과 미지원기업간 비교 분석을 실시한다.

대상 데이터

정부는 성장의지와 잠재력을 갖춘 중소·중견기업을 종합적으로 지원하고 있으며, 특히 기업 스스로 성장역량을 강화하고 지속적인 혁신을 통해 미래 성장 동력과 경쟁 우위를 확보하며, 거래관계의 독립성을 바탕으로 성장잠 재력이 큰 시장에서 글로벌 기업과 경쟁, 거래, 협력하면 서 시장 지배력을 확대하는 특정 기업군(결산 재무제표 기준 매출액 400억 원 ~ 1조원의 조건을 충족하는 중소· 중견기업으로 직전년도 매출액 대비 직·간접 수출 비중 20% 이상, 최근 3년간 매출액 대비 R&D 투자비율이 평 균 2% 이상 이거나 최근 5년간 연평균 매출액 증가율 (CAGR)이 15% 이상인 기업)에 대해 2011년부터 2017 년까지 약 300개를 선정하여 R&D, 특허 전략 등 지속적 인 지원을 했다. 그 중 2017년 선정된 기업 중 특허전략 지원기업(45개)과 미지원기업(21개)에 대한 성과 분석 사례 연구를 실시하였다.
지원기업의 실태 파악과 지원 효과 분석을 위한 기초 자료를 확보하고자 지원기업(45개)을 대상으로 구조화된 설문지를 통한 약 5주간 온라인 조사(이메일, 문자, 전화 포함)를 실시하였으며 전체 45개 기업 중 37개 기업이 조사에 참여하였다.

성능/효과

따라서 R&D의 성과 물이 공공성을 구현하거나 공공의 이익과 부합되는 안전 분야, 건강·의료 분야, 환경 분야, 에너지 분야 등에 대한 기여도를 ‘사회적 가치 실현’의 범주에 포함시키는 것이 타당할 것으로 보인다.
또한 지원 기업은 지원사업 전·후 평균 영업이익이 2.4% 증가하였으나, 미지원 기업은 28.1% 감소하였다.
또한 해외 특허의 경우 지원기업이 지원사업 후 해외 특허 출원 건수가 기업당 평균 2.7건, 미지원 기업은 기업당 평균 0.6건이었으며, 등록 건수 또한 지원기업이 지원사업 후 기업당 평균 0.4건, 미지원 기업은 기업당 평균 0.0건으로 나타났다.
산출과 결과 관점에서의 질적 성과는 과학기술적 성과, 경제적 성과, 사회적 성과, 정책적 성과 등으로 나타나며, 이는 과제가 지향하는 목적적 가치가 적절하게 성취되었는가로 평가된다. 산출과 결과 관점에서의 질적 성과는 일반적으로 통용되는 정량적 지표의 범주를 넘어 인적·물적 네트워크 형성에 기여하는가, 조직혁신 또는 고용에 기여하는가, 삶의 질 향상 및 사회발전에 기여하는가, 규제 변화 등 정책에 기여하는가 등과 같이 R&D 의 직접적·단기적 성과보다는 간접적·중장기적 파급효과에 보다 초점을 맞추고 있는 것으로 볼 수 있다.
지식재산 관련 체계 도입·실 시와 관련하여서는 현재 도입하거나 실시하지 않고는 있으나 향후 도입 또는 실시 계획이 있는(준비 중인) 항목은 등록특허 평가등급관리(35.1%), 지식재산관리 별도 예산편성(32.4%), 보유 지식재산권 DB구축(27.0%), 지식재산관리규정 제정(18.9%) 등으로 나타났다.
지원기업은 지원사업 전·후 기업당 평균 매출액이 9.3% 증가하였으나, 미지원 기업은 동일 기간 기업당 평균 매출액이 2.8% 감소하였으며, 지원기업은 기업당 평균 수출액이 3.4% 증가하였으나, 미지원 기업은 동일 기간 기업당 평균 수출액이 15.2% 감소하였다.
지원기업은 지원사업 후 국내 특허 출원 건수가 기업 당 평균 2.5건, 미지원 기업은 기업당 평균 1.6건이며, 등 록 건수는 지원기업은 기업당 평균 1.1건이었으나, 미지 원 기업은 기업당 평균 0.7건이었다. 또한 해외 특허의 경우 지원기업이 지원사업 후 해외 특허 출원 건수가 기업당 평균 2.
지원사업이 직·간접적으로 가장 기여한 점(1순위 응답 기준)을 살펴보면 ‘질적으로 우수한 지식재산 창출’이 32.4%로 가장 많이 응답하였으며, 다음으로 내부 구성원 의 지식재산관련 인식 제고(29.7%), 지식재산 창출 건수 의 양적 증가매우 크게 기여(13.5%), 지식재산 보호 역량 강화(10.8%), 지식재산 네트워크 확대(10.8%) 순으로 나타났다

후속연구

국가연구개발사업 조사 분석 제도 및 NTIS 를 이용한다면 질적 평가에 도움이 될 만한 성과정보를 획득할 수 있으나 이를 위해서는 논문·특허 등의 성과정 보뿐만 아니라 연구개발사업 투입인력의 이력, 산출물로 인한 유형·무형의 파생물 등과 같은 사회적 장단기 성과 정보를 수집하고 입력하는 등의 데이터 종류 확대가 선행되어야 하며, 이를 통해 STAR Metrics 평가제도와 같은 효과성 평가를 수행할 수 있을 것으로 기대된다.
그럼에도 불구하고 향후 R&D 지원사업, 특허전략 지 원사업 등의 종료 후에도 추적조사를 통해 후속 성과분석 등이 이루어 질 수 있으므로 사업 종료 시의 성과추적 조사에 활용할 수 있는 성과지표 및 성과분석의 가이드 역할을 할 수 있을 것으로 기대된다.
또한 본 연구에서는 지원사업의 외적 영향변수(타 지원사업의 영향 등)들을 논외로 하여 지원사업의 성과를 평가한다는 한계를 지니고 있으며, 지원사업 성과 여부에 집중할 수밖에 없었으며 어느 정도 영향이 있었는지에 대한 성과의 정도를 파악하는 데는 상대적으로 어려움이 있었다.
지원사업을 통해 지식재산에 대한 인식 제고와 함께 지식재산관련 인프라 구축에도 긍정적 영향을 미쳤을 것으로 예상되며 지원 이후인 2017년에 도입·실시되거나 향후 도입· 실시를 계획하는데 영향을 주었을 것으로 기대된다.
하지만 연구에서 도출된 분석 결과와 성과지표 개발 방향은 향후에 이루어지게 될 보다 본격적이고 심층적인 사회적 가치실현 성과지표 개발 연구 및 성과분석에 앞서 선행연구로서 밑그림 역할을 할 수 있을 것으로 기대된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	질적 성과지표의 정의는 ?	산출지표 및 결과지표 중에서 성과의 질을 측정할 수 있는 지표를 ‘질적 성과지표’로 정의하고 있으며, 질적 성과지표는 일반적으로 통용되는 질적지표(질적 산출지표) 개념에 사업 결과를 측정할 수 있는 지표도 포괄하고 있으며, 지표의 특성에 따라 계량지표, 비계량지표로 구분된다. 산출지표 중 SCI 논문 건수, 등록 특허건수, 논문 피인용수, SMART 값 등은 계량화가 바로 가능하거나 특정 알고리즘에 의하여 산출되는 값을 가지는 지표로서 계량지표에 해당되며, 결과지표의 기술수준 향상 정도, 핵심기술의 확보 등과 같이 전문가의 정성적 평가결과를 등급 등으로 부여하는 방식은 비계량지표에 해당된다[3].
	사회적 가치는 어떻게 정의 될수 있는가 ?	사회적 가치란 ‘사회·경제·환경·문화 등 모든 영역에서 공공의 이익과 공동체의 발전을 기여할 수 있는 가치’로 정의된다. 좋은 일자리 확대, 취약계층 고용기회 증진, 협 력업체와의 상생협력 및 공정거래, 지역경제 기여, 지역 공동체 발전, 사회적 공헌 등과 같이 공공의 이익을 중시 하는 가치로 정의할 수 있다. 즉, 사회적 가치는 공공의 이익과 공동체 발전에 기여하는 가치로서 안전에 대한 국민적 우려가 확대되고 고용불안과 양극화 등으로 국민 의 삶의 질이 악화되는 상황에 국민적 불안을 해소하고 사회통합을 이루어 나가기 위해서 추구해야 할 핵심적 가치로서 평가받고 있다.
	성과지표란 ?	성과지표는 성과목표의 달성 여부를 객관적으로 측정 할 수 있는 지표로 ‘사업 수행을 통해 이루고자 하는 성 과목표 달성도를 정량적·정성적으로 측정하는 잣대’라고 정의할 수 있다[2]. 일반적으로 성과지표는 활동 과정에 따라 투입지표(Input)→과정지표(Process)→산출지표 (Output)→결과지표(Outcome)로 구분하고 있다.

참고문헌 (15)

H. D. Cho et al. (2016). A study on establishing a qualitative evaluation system of R&D performance and policy recommendations, Science and Technology Policy Institute.
STEPI. (2016). Establishment of qualitative evaluation system for R&D performance, Science and Technology Policy Institute.
H. D. Cho. (2015). Qualitative evaluation of national R&D programs : current state and future direction, Science and Technology Policy Institute.
National Institute of Meteorological Science. (2016). A Study on the Performance Evaluation System and Management System for Enhancing Professional Expertise, National Institute of Meteorological Science.
Ministry of Science, ICT and Future Planning (2014). National R&D Standards Performance Indicators (4th), Ministry of Science, ICT and Future Planning
NST. (2015). Policy research for development of institutional evaluation (intermediate consulting evaluation) method and research analysism, NST
S. H. Bae. (2015). An Analysis for Economic Value of Nano-Technologies : Focused on Secondary Batteries, J. Soc. Korea Ind. Syst. Eng
KISTEP. (2011). Case studies abroad by major issues for improving the performance evaluation system, KISTEP
KIPO. (2012). Development of qualitative evaluation methodology for intellectual property outcomes created by R&D, KIPO
S. J. Yoo et al. (2011). Overseas Case Studies by Major Issues for Improving Performance Evaluation System, KISTEP
NST. (2016). Development of Research Outcomes and Qualitative Analysis Methods, NST
K. N. Kang et al.(2016.) A study on the harmonization plan and effect of R&D and intellectual property system, KIPO
KIPO. (2016). A Study on Harmonization Plan and Effect of R&D and Intellectual Property System, KIPO
Korean Society of Public Administration. (2017). A Study on Evaluation Methods for Realizing Social Value, Korean Society of Public Administration
T. B. Yoon. (2017). A Study on Evaluation Method for Realizing Social Value, Korean Society of Public Administration

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증