ICT 분야 국가연구개발사업에 대한 성과분석 개선을 위한 정책제언 A Proposal of New Policies for Improving the Performance Analysis on Government R&D Expenditure in ICT Industry원문보기
본 연구는 ICT 분야 국가연구개발사업 후 이루어지는 성과분석의 개선을 위한 정책적 대안들을 논의하고 있다. 이를 위해 성과지표 설계, 성과분석 방법론, 성과분석 결과의 공개 및 비교, 추적조사의 확대, ICT 분야 성과분석의 통합관리 이슈 등을 중심으로 현황 및 문제점을 진단하였다. 이 같은 문제점을 개선하기 위해 본 연구에서는 성과지표 개선을 위한 컨설팅 활용, 사전에 설정된 성과지표의 유지, 효과성 측정을 위한 질적 성과지표의 도입, 사업 특성에 맞는 새로운 연구방법론의 적용, 성과의 비교 평가 강화 및 이를 위한 성과지수 도입, 주요 연구개발사업에 대한 추적조사 의무화, ICT 분야 성과분석을 위한 독립된 임시 조직의 활용 등을 제안하고 있다. 본 연구에서 제안하는 정책 대안이 반영될 경우 향후 ICT 분야 국가연구개발사업 성과분석의 효율성 및 효과성이 증진될 것이며 나아가 사업의 개선 뿐 아니라 산업 경쟁력 강화에도 일조할 것으로 기대된다.
본 연구는 ICT 분야 국가연구개발사업 후 이루어지는 성과분석의 개선을 위한 정책적 대안들을 논의하고 있다. 이를 위해 성과지표 설계, 성과분석 방법론, 성과분석 결과의 공개 및 비교, 추적조사의 확대, ICT 분야 성과분석의 통합관리 이슈 등을 중심으로 현황 및 문제점을 진단하였다. 이 같은 문제점을 개선하기 위해 본 연구에서는 성과지표 개선을 위한 컨설팅 활용, 사전에 설정된 성과지표의 유지, 효과성 측정을 위한 질적 성과지표의 도입, 사업 특성에 맞는 새로운 연구방법론의 적용, 성과의 비교 평가 강화 및 이를 위한 성과지수 도입, 주요 연구개발사업에 대한 추적조사 의무화, ICT 분야 성과분석을 위한 독립된 임시 조직의 활용 등을 제안하고 있다. 본 연구에서 제안하는 정책 대안이 반영될 경우 향후 ICT 분야 국가연구개발사업 성과분석의 효율성 및 효과성이 증진될 것이며 나아가 사업의 개선 뿐 아니라 산업 경쟁력 강화에도 일조할 것으로 기대된다.
This paper proposes various policies for improving the process of performance analysis on R&D expenditure of the public funds in the Korean ICT industry. In order to do so, this paper figures out the present issues relating to performance indicators, methodologies for performance evaluation, release...
This paper proposes various policies for improving the process of performance analysis on R&D expenditure of the public funds in the Korean ICT industry. In order to do so, this paper figures out the present issues relating to performance indicators, methodologies for performance evaluation, release and comparison of evaluation results, follow-up study, integrated management system for performance analysis in ICT industry. In this paper, we suggest some new policies such as consulting an expert for improving performance indicators, maintaining the pre-determined performance indicators, introducing the qualitative performance indicators for measuring effectiveness, adopting the new methodologies reflecting R&D characteristics, introducing the new performance index for comparing annual performance, requiring follow-up study for major ICT R&D, introducing the independent and temporary organization for R&D performance analysis in ICT industry. In conclusion, these new policies will raise effectiveness and efficiency of the government R&D expenditure in ICT industry as well as strengthen the industry competitiveness.
This paper proposes various policies for improving the process of performance analysis on R&D expenditure of the public funds in the Korean ICT industry. In order to do so, this paper figures out the present issues relating to performance indicators, methodologies for performance evaluation, release and comparison of evaluation results, follow-up study, integrated management system for performance analysis in ICT industry. In this paper, we suggest some new policies such as consulting an expert for improving performance indicators, maintaining the pre-determined performance indicators, introducing the qualitative performance indicators for measuring effectiveness, adopting the new methodologies reflecting R&D characteristics, introducing the new performance index for comparing annual performance, requiring follow-up study for major ICT R&D, introducing the independent and temporary organization for R&D performance analysis in ICT industry. In conclusion, these new policies will raise effectiveness and efficiency of the government R&D expenditure in ICT industry as well as strengthen the industry competitiveness.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
객관적인 절차를 따르지만 현실적으로 존재하는 이같은 이해상충 문제를 해결하기 위한 대안으로 중앙부서에서 ICT 분야 국가연구개발사업에 대한 성과분석을 통합ㆍ관리하는 방안을 제안한다. 예를 들어, 공공기관 경영평가 방식의 모델을 도입할 수 있다.
본 논문에서는 국가연구개발사업에 대한 성과분석과 관련하여 선행연구에서 보고된 이슈 뿐 아니라 연구자가 ICT R&D에 대한 성과분석을 직접 수행하는 과정에서 발견한 주요 문제점들을 제기하고, 이를 개선하기 위한 정책 대안을 제시하고자 한다.
본 연구에서는 ICT 분야 국가연구개발사업에 대한 성과분석과 관련하여, 선행연구와 실제 성과분석 경험을 토대로 도출한 아래 5가지 이슈에 대해 현황 및 문제점을 진단하고, 이를 개선할 수 있는 정책대안을 제시해 본다.
ICT 분야 국가연구개발사업에 매년 막대한 자금이 투입됨에도 불구하고, 사업 성과에 대한 분석, 피드백, 정보의 공개 등 R&D 결과에 대한 평가 단계에서는 여전히 개선의 여지가 남아 있는 것으로 파악된다. 이러한 관점에서 본 연구에서는 ICT 분야 국가연구개발사업의 성과분석 단계에서 개선이 필요한 몇 가지 이슈에 대해 그 현황과 문제점을 소개하고, 나름의 정책대안을 제시하였다.
성과분석 과정에서 나타나는 문제점의 개선은 매우 중요한 작업임에도 불구하고 그간 선행연구에서 충분히 다루지 못했을 뿐 아니라, 연구결과가 피드백되어 정책에 반영된 부분도 제한적이라 할 수 있다. 이러한 점에 기인하여 본 논문에서는 국가연구개발사업의 성과분석 과정에서 나타나고 있는 주요 문제점의 현황과 원인을 진단하고, 이를 해소하기 위한 나름의 대안을 제시함으로써 성과분석 시스템의 개선에 기여하고자 한다. R&D 투자 이후 보다 효과적인 성과분석이 진행된다면, 추후 해당 R&D 사업의 목표가 명확해지고 사업수행의 효율성이 증대되고 R&D 결과가 산업계로 확산되는 등 사업이 긍정적으로 변화할 것이다.
예를 들어, 공공기관 경영평가 방식의 모델을 도입할 수 있다. 즉, ICT 분야의 주무부서인 미래창조과학부에서 성과분석에 필요한 전문 인력을 선정하고 임시 조직을 마련한 후, 이들로 하여금 국가연구개발사업의 성과분석을 수행하도록 하는 것이다. 예산제약상 ICT 분야 모든 국가연구개발사업에 이를 적용하는 것은 무리겠지만, 적어도 상대적으로 많은 예산이 투입되는 일부 국가연구개발사업이라든지 또는 기금별 종합성과분석에 대해서는 이 같은 방법을 적용함으로써 사업수행기관이 성과분석 용역기관을 선정함에 따른 이해상충 문제를 완화할 수 있다.
제안 방법
이런 경우를 제외한다면, 한번 설정된 성과지표는 최소 몇 년 동안 유지 및 관리되어야만 해당 사업의 성과와 추이를 정확히 판단하고 적절한 정책적 대응을 내릴 수 있을 것이다. 이를 위해 한번 설정된 성과지표는 다른 사정에 의해 성과지표 변동이 발생하더라도 최소 3년 동안은 해당 성과지표의 값을 보고하게 하는 방안을 제안한다.
성능/효과
둘째, ICT 분야 일부 국가연구개발사업의 경우, 성과지표는 비교적 적절히 설정되었으나 매년 일부 성과지표가 변동되어 성과지표의 유지관리에 문제점을 보이기도 한다. 이는 사업담당자가 해당 연도에 좋은 실적이 예상되는 부분 위주로 성과지표를 변경함으로써4) 성과를 과대포장했다는 도덕적 해이(moral hazard) 논란을 야기할 수 있다.
셋째, 최근 ICT 분야에서는 양적 성과지표를 지양하고 질적 성과지표를 적극적으로 도입하는 추세이며 이는 매우 바람직하다고 평가된다. 다만, 현재 ICT 분야 국가연구개발사업의 성과분석을 위해 도입되는 질적 성과지표는 논문 및 특허의 질적 수준 등 주로 사업의 효율성(efficiency)를 평가하는데 초점을 두고 있다.
이 모형에서는 R&D의 목표 및 전략이 국가발전 방향과 일치하며 사회적 수요를 잘 반영하고 있는가(적절성, relevance), R&D 결과로서 사업의 목표가 달성되었는가(효과성, effectiveness), 자원 투입이 경제적으로 사용되어 산출 및 중간결과로 전환되었는가(효율성, efficiency), R&D가 중단되었을 때 이로 인한 긍정적인 변화가 얼마나 오랫동안 지속될 수 있을 것인가(지속가능성, sustainability) 등을 점검함으로써 R&D 성과를 종합적으로 판단한다.
첫째, ICT 분야 일부 국가연구개발사업은 성과분석 및 사업결과 평가에 적용될 성과지표가 적절하게 설정되지 못한 사례가 다수 발견된다. 예를 들면, 행사개최나 기업지원 건수를 해당 사업의 주요 성과지표로 설정함으로써 인력과 자금만 투입하면 곧바로 성과가 달성되는 사례를 볼 수 있다.
후속연구
산업통상자원부의 경우, 매년 자신이 시행한 기술료사업의 결과를 분석하여 ‘산업기술R&D사업 조사ㆍ분석 보고서’를 발간하고 있어, 수행주체별, 기술분야별, 협력유형별, 사업유형별 투자 및 성과를 파악할 수 있다. ICT 분야의 경우에도 이를 참고하여 유형별 투입 및 성과에 대한 정보를 공개하고, 나아가 개별 사업별 성과자료로 공개해야 할 것이다.
R&D 투자 이후 보다 효과적인 성과분석이 진행된다면, 추후 해당 R&D 사업의 목표가 명확해지고 사업수행의 효율성이 증대되고 R&D 결과가 산업계로 확산되는 등 사업이 긍정적으로 변화할 것이다.
결국, ICT분야 국가연구개발사업에 대한 올바른 성과분석을 위해서는 기존의 Logic 모형을 활용하되 사업 특성을 고려하여 조건부가치측정법, 시스템 다이내믹스, 이중차이법, 2단계 DEA 모형, 복합성과평가지수 등6) 추가적으로 새로운 방법론의 적용을 검토해야 한다. 또한, 데이터가 축적될수록 빅데이터, 메타데이터 등을 이용한 분석방법의 적용도 고려해야 할 것이다[24,25].
이러한 점들을 개선하기 위해서는 해당 연구개발사업별로 적절한 성과지표가 설계되도록 컨설팅을 받아 볼 필요가 있다. 내부 인력 뿐 아니라 외부 전문가를 활용하여 해당 사업의 대표성과지표, 내역사업별 대표성과지표를 설정하며, 이것이 상위 과제와 유기적인 관련성을 가지는가를 검토해야 할 것이다. 성과지표의 수는 투입예산에 맞추어 너무 많거나 적지 않게 설정해야 하며3), 단순히 예산만 투입하면 달성할 수 있는 성과지표는 철저히 배제해야 할 것이다.
더 나아가, 현재 성과 부분에 국한된 질적 분석을 인력과 같은 자원의 투입(input) 부분까지 확대해야 할 것이다. 예를 들어, 향후에는 연구원 1인당 투입예산이라든지, 사업참여 연구원의 기술수준과 같은 투입 변수가 R&D의 성과에 유의미한 영향을 미치는가를 분석한 후, 그 결과를 활용하여 자원의 투입 단계에서부터 질적 고려가 포함되도록 개선해야 할 것이다.
추가적으로 새로운 방법론의 적용을 검토해야 한다. 또한, 데이터가 축적될수록 빅데이터, 메타데이터 등을 이용한 분석방법의 적용도 고려해야 할 것이다[24,25].
이러한 주장의 타당성을 정확히 분석하기 위해서는 Logic 모형 보다는 구조방정식(Structural Equation Model)과 같은 새로운 방법론을 적용하는 것이 보다 효과적이다. 또한, 장기적 관점에서 이전년도 성과분석의 결과가 차년도 사업수행 및 결과에 영향을 주었는가에 대한 피드백을 분석하기 위해서는 Logic 모형 보다는 시스템 다이내믹스(System Dynamics)를 적용하는 것이 보다 적합할 것이다.
본 연구에서 제안하는 정책대안이 제도화되어 실행된다면, 향후 ICT 분야 국가연구개발사업의 효과성과 효율성이 증진될 것이며, 이는 결국 산업 및 국가경쟁력 제고에도 일조할 것으로 기대된다.
현재 일부 사업에 제한하여 추적조사를 통한 성과분석을 수행하고 있지만, ICT 분야 국가연구개발에 대한 보다 정확한 성과분석을 위해서는 추적조사 대상을 늘리고, 중요 사업에 대해서는 추적조사를 통한 성과분석을 의무화하는 제도적 보완이 필요하다. 산업통상자원부의 경우에는 종료과제에 대해 성과활용조사라는 이름으로 추적조사를 수행하고 있으므로, ICT 주무부서인 미래창조과학부에서도 중요 사업에 대한 추적조사를 설계할 때 이를 참고할 수 있을 것이다.
성과분석 결과를 보다 객관적으로 판단하고 이를 추후 정책결정에 활용하기 위해서는 우선 주요 사업별 성과분석 결과가 공개되어야 할 것이며, 그 결과를 타 사업이나 해외 유사 사례와 비교하여 평가할 수 있는 제도적 장치가 마련되어야 할 것이다.
성과분석방법론 측면에서는 Logic 모형에 기반하되 사업의 특성에 따라 새로운 방법론을 도입하여 병행사용할 필요성을 제기하였다. 연구개발사업의 성과를 보다 객관적으로 조망하기 위해서는 사업에 참여하지 않은 기업 또는 유사한 타 사업과 성과를 비교하거나, 최소한 동일 사업에서 몇 년 동안의 추세라도 분석해야 할 것이다. 이를 위해서는 연구개발사업별로 성과지수(performance index)를 도입하고, 성과분석 결과의 공개와 공유를 제도화하여 시행해야 할 것이다.
한 예로 ‘국가 R&D를 통해 생산액이 1조원을 초과하는 ICT융합산업이 몇 개 창출되었는가’ 와 같은 성과지표를 도입한다면, 이는 국가연구개발사업의 효과성을 측정할 수 있는 하나의 질적 성과지표로 활용될 수 있을 것이다.
다만, 현재 ICT 분야 국가연구개발사업의 성과분석을 위해 도입되는 질적 성과지표는 논문 및 특허의 질적 수준 등 주로 사업의 효율성(efficiency)를 평가하는데 초점을 두고 있다. 향후에는 이를 확대하여 ICT 분야 국가연구개발사업의 효과성(effectiveness)을 측정할 수 있는 적절한 질적 성과지표를 개발하여 적용할 필요가 있다. 예를 들어, ICT R&D의 목표가 ‘전산업과 융합하는 ICT산업’ 이라면, 국가연구개발사업을 통해 이 같은 목표를 얼마나 달성했는가를 측정할 수 있는 질적 성과지표를 개발하자는 것이다.
현재 일부 사업에 제한하여 추적조사를 통한 성과분석을 수행하고 있지만, ICT 분야 국가연구개발에 대한 보다 정확한 성과분석을 위해서는 추적조사 대상을 늘리고, 중요 사업에 대해서는 추적조사를 통한 성과분석을 의무화하는 제도적 보완이 필요하다. 산업통상자원부의 경우에는 종료과제에 대해 성과활용조사라는 이름으로 추적조사를 수행하고 있으므로, ICT 주무부서인 미래창조과학부에서도 중요 사업에 대한 추적조사를 설계할 때 이를 참고할 수 있을 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
국가연구개발사업 중 가장 큰 비중을 차지하는 부분은 무엇인가?
국가연구개발사업 중 가장 큰 비중을 차지하는 부분은 이른바 6T(IT, BT, NT, ST, ET, CT)라 불리는 미래유망신기술 분야이며, 그 중 IT분야에 대한 투자비중이 가장 높다. 2015년 IT분야에 대해 정부가 투자한 자금은 총 3조 3,368억원으로 미래유망신기술 분야에 대한 전체 투자액 17조 5,199억원의 19.
ICT1) 분야에 대한 국가연구개발사업에서 매우 중요한 것은 무엇인가?
이처럼 ICT1) 분야에 대한 국가연구개발사업은 막대한 예산이 투입된 중요한 정책사업이므로, R&D가 제대로 수행되어 소기의 목적을 달성했는가에 대한 사후 검증 역시 매우 중요하다. 현재 정부의 R&D 자금이 투입된 사업에 대해서는 소관부처인 미래창조과학부, 정보통신산업진흥원(NIPA: National IT Industry Promotion Agency)을 비롯한 주요 수행기관, 각 수행기관 내 담당 사업부서에서 주기적인 성과분석을 수행하고 있다.
IT분야에 대한 투자비중이 가장 높다는 근거는 무엇인가?
국가연구개발사업 중 가장 큰 비중을 차지하는 부분은 이른바 6T(IT, BT, NT, ST, ET, CT)라 불리는 미래유망신기술 분야이며, 그 중 IT분야에 대한 투자비중이 가장 높다. 2015년 IT분야에 대해 정부가 투자한 자금은 총 3조 3,368억원으로 미래유망신기술 분야에 대한 전체 투자액 17조 5,199억원의 19.0%를 차지하고 있다[2].
KISTEP(Korea Institute of S&T Evaluation and Planning), "2015 Survey of Research and Development in Korea," 2016.
Sang-Sun Choi, In-Ha Oh, Dong-Myeng Lee, “A Study on R&D Performance Analysis of Marine Technology,” Journal of Korean Society for Marine Environment &Energy, Vol. 19, No. 2, pp. 165-171, 2016.
Joon Lee, Jae-Soo Kim, Youn-Gyou Kook, “A Study on the Process Improvement for Interoperability between National R&D Performance Evaluation and Budget Planning,” Journal of Korea Technology Innovation Society, Vol. 13, No. 1, pp. 44-67, 2010.
Jong-Woon Kim, Kyu-Soo Ha, “A Comparative Study on Government R&D Evaluation System in selected Countries,” Journal of Digital Convergence, Vol. 11, No. 4, pp. 77-90, 2013.
Kyung-Il Khoe, “A Proposal of New Policies for Raising Effectiveness and Efficiency of Government Sponsored Loan for ICT SMEs,” Journal of Digital Convergence, Vol. 14, No. 11, pp. 107-113, 2016.
Chung-Hee Park, “A Case Study on Calibration of Computational Model for a reasonable Cost Estimation of Missile Development Program,” Journal of Digital Convergence, Vol. 12, No. 5, pp. 139-148, 2014.
Jong-Bong Park, Hong Sohn, Ki-Shik Park, Man-Hyung Cho, “Developing an Analytic Model of the Performance of R&D Projects applying Value Mapping Technique: Focusing on Telecommunications Standardizations Field,” Korean Society and Publication Administration, Vol. 11, No. 2, pp. 259-274, 2000.
Taik-Yeong Jung, Hae-Yong Jung, Kwang-Don Choi, “An Exploratory Study of the Development of a Performance Measurement Model for Knowledge Management for use by Government Sponsored Reseach Institutes,” Journal of Digital Convergence, Vol. 7, No. 3, pp. 61-74, 2009.
Choong-Nyoung Kim, “How to Improve the Evaluation Methods of IT Outcomes in Government Organizations: A Perspective of Benefits Realization,” Journal of Digital Convergence, Vol. 9, No. 2, pp. 15-31, 2011.
Jung-Eun Heo, Hae-Do Kim, Young-Don Cho, Suk-Min Cho, Soon-Ro Cho, “Developing Bibliometric Indicators for Analysis & Evaluation of National R&D Programs,” Journal of Korea Technology Innovation Society, Vol. 11, No. 3, pp. 376-399, 2008.
Dong-Il Kang, Sung-Yong Yoon, “Technology Valuation of National R&D Project used SMART3,” Journal of Digital Convergence, Vol. 12, No. 11, pp. 81-87, 2014.
Kyung-Il Khoe, “A Proposal of Alternative Financial Supporting Policy on IT-related Small & Medium sized Enterprises,” Journal of Digital Convergence, Vol. 11, No. 11, pp. 279-287, 2013.
Jae-Heon Lee, Keun-Tae Cho, Seong-Sang Lee, “The Intellectual Property Factors affecting R&D Outcome,” Journal of Digital Convergence, Vol. 12, No. 6, pp. 203-213, 2014.
NIPA(National IT Industry Promotion Agency), "2014 Comprehensive Performance Analysis of the Programs Supported by the National IT Promotion Funds," 2014.
Marianne Bertrand, Esther Duflo, Sendhil Mullainathan, “How much should We Trust Difference-in-Differences Estimates?,” The Quarterly Journal of Economics, Vol. 119, No. 1, pp. 249-274, 2004.
Sungmin Park, Heon Kim, Wonsik Sul, Donghyun Baek, Kyung-Il Khoe, "Handbook on R&D Performance Evaluation," Korean Studies Information, 2011.
Wonsik Sul, Kil-Pyo Hong, “An Empirical Study on Survival and Growth Factors of Ventures using Longitudinal Data,” The Korean Small Business Review, Vol. 33, No. 1, pp. 51-74, 2011.
Sungmin Park, Heon Kim, Wonsik Sul, “Estimation of Willingness to Pay for Materials Bank Service Using Contingent Valuation Method,” Korean Management Consulting Review, Vol. 12, No. 1, pp. 21-34, 2012.
Sungmin Park, Wonsik Sul, Kyung-Il Khoe, “A Study on Performance Evaluation of Government-Funded R&D Projects with Composite Scores,” Korean Journal of Business Administration, Vol. 25, No. 2, pp. 1259-1281, 2012.
Ilsook Kwon, Sungmin Park, Wonsik Sul, “R&D Investment and Efficiency of the Manufacturing Industry: Focused on the Application of Two-staged DEA Model,” Korean Management Consulting Review, Vol. 13, No. 3, pp. 154-174, 2013.
MyounJae Lee, Kyung-Il Khoe, “Development Method of Digital Content Finance-Focused on by Technical Value Evaluation,” Journal of the Korea Convergence Society, Vol. 6, No. 6, pp. 111-117, 2015.
Gab-Sang Ryu, “Development of Educational Model for ICT-based Convergence Expert,” Journal of the Korea Convergence Society, Vol. 6, No. 6, pp. 75-80, 2015.
Young-Bok Cho, Sang-Ho Lee, Seng-hee Woo, “In Small and medium Business the Government 3.0-based Big Data Utilization Policy,” Journal of Convergence for Information Technology, Vol. 3, No. 1, pp. 15-11, 2013.
Han-Yong Choi, “MetaData Congifuration of Architecture Asset,” Journal of Convergence for Information Technology, Vol. 6, No. 4, pp. 151-156, 2016.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.