선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 이처럼 다양한 선행연구에서 출연(연)을 대상으로 DEA 방법론을 적용한 정량적 성과 평가 방법이 시도되었으나, 현재 가장 보편적으로 받아들여지고 실제 적용되고 있는 전문가 평가 기반의 정성평가 결과와 비교 분석하는 연구는 부족한 편이다. 따라서 본 연구에서는 K 연구원 실제 사례를 기반으로 정성평가 결과와 DEA를 활용한 정량평가 결과를 비교분석 함으로써 출연(연) 연구개발 사업 평가체계 발전을 위한 시사점을 얻고자 한다.
- 본 연구에서는 출연(연) 연구개발 프로젝트 성과 평가체계에 대한 개선점을 찾기 위해 정성 평가 결과와 정량평가 결과를 비교 분석하여 시사점을 도출하고 개선 방향을 제안하였다. 연구 결과의 실효성을 향상시키기 위해 K연구원에서 2015년에 수행된 실제 성과평가 사례를 기반으로 분석을 진행하였고, 그 결과 정성평가 결과와 정량평가 결과 사이에 통계적으로 유의미한 차이점이 있다는 것을 확인하였다.
- 이러한 평가체계를 거쳐, 각 출연(연)들은 평가 결과를 기관의 중장기발전계획 및 사업계획 수립, 과제기획 및 선정, 연구비 배분 및 사용, 연구과제 및 연구원 개인평가 등에 반영·활용하여야 하며 그 결과를 연구회에 보고하게 된다.
- Kendall’s τ 상관분석은 서열척도로 측정된 변수 간 관계측정이 가능한 방법론으로 다른 상관계수 분석법과 같이 -1에서 1 사이의 값으로 도출되며, 각각의 순위에 대한 음의 상관관계, 양의 상관관계가 통계적으로 유의함을 검정하는 방법이다. 이를 통해 도출된 비교분석 결과에 대해 검토 후 관련 시사점 및 연구개발 과제 평가의 발전 방향성을 제시하였다.
- 전문가 기반 정성평가는 평가자의 전문성이 중요한 요소인 연구개발 프로젝트 성과평가에 가장 적합한 방법임에는 분명하지만, 여기에 정량평가의 장점 일부가 보완된다면 보다 나은 평가체계를 수립할 수 있을 것으로 기대된다. 이에 본 연구에서는 정성평가 결과와 정량평가 결과를 비교 분석함으로써 연구개발 프로젝트 성과평가 체계의 개선점을 도출하고자 하였다. 본 연구는 실제 사례(K연구원)를 기반으로 수행되었으며, 그 결과 정성평가 결과와 정량평가 결과 사이에는 분명한 차이점이 있음을 확인하였다.
- 출연(연)에 대한 국가 연구개발 사업의 투자 대비 성과 효율성을 분석하기 위해 K연구원을 대상으로 2015년 기준 연구개발 과제 연차평가 결과를 검토하고자 한다. K연구원은 국가과학기술연구회 소속 출연(연)으로 국가 과학기술 정보 분야의 전문연구기관으로서 국가 과학기술 진흥과 산업의 발전에 기여하기 위한 연구개발 활동을 수행하는 기관이다.
제안 방법
- 김선경 외(2016)는 과학기술 경쟁력 확보를 위한 핵심요소로 연구개발 성과의 관리 및 활용을 강조하였으며 국가 과학기술 연구개발 투자가 적절히 수행되고 있는지를 점검하고 연구개발 성과측정지표를 제안하였다. 구체적으로 과학기술적, 경제적, 활용적 성과 측정을 위한 대표 변수를 설정하고 이들과 연구개발 투입 간의 비교 분석을 통해 시사점을 도출하였다.
- 산출변수 중 논문은 K연구원에 소속된 연구자가 주저자 및 교신저자로 국내외 학술지에 게재한 실적이며, 특허 역시 주 발명자로 국내외에 등록된 특허 수를 수집하였다. 또한 기술료는 기술이전을 통해 발생한 기술료 실적을 집계하였다.
- 2015년의 경우 연구원에서 수행되고 있는 14개 세부 연구과제를 대상으로 상대평가 방식으로 진행되었다. 또한 외부의 산･학･연 전문가 6명을 포함한 내･외부 전문가 12인으로 구성된 연구 분과별 평가위원단을 통해 과제별 공개 발표평가를 진행하였다.
- 보다 의미 있는 비교 분석을 위해서 정성평가 점수의 경우, 총점(B1)을 비롯하여 에서 제시한 평가지표 별 점수를 선택적으로 적용한 네 가지 결과 (B2-B5)를 함께 분석하였다.
- 본 연구에서는 출연(연) 연구개발 사업에 대한 정성평가 결과와 비교분석하기 위해서 DEA 기법을 적용한 결과를 정량평가 결과로 활용하였다. DEA는 CRS (constant return to scale)를 가정하는 CCR 모형(Charnes et al.
- 구체적으로 S, A, B등급은 평균 70점 이상 과제가 해당되며, C등급은 60점에서 70점미만, D등급은 평균 60점 미만인 과제에 해당된다. 상대평가를 통한 평가 점수를 바탕으로 14개 연구사업 과제 중 최우수과제 2개를 선정하여 차년도 사업기획에 인센티브를 제공한다.
- 따라서 세부 주제에 따른 DMU들을 구분하여 분석을 수행한다면 보다 정확한 분석이 가능할 것이다. 셋째, 본 연구에서 DEA에 적용한 투입변수와 산출변수의 개수와 DMU 개수 관련 논의이다. 다양한 선행연구에서 충분한 자유도를 확보하여 DEA를 통해 의미 있는 결과를 도출하기 위한 변수 개수에 따른 최소 DMU 수를 제시하고 있다.
- 또한 중간점검을 통해 파악된 예상성과와 도출 시기, 기술특성을 포함한 결과물을 사전에 예고하여야 한다. 이어 당해 연도 종료시점에 당해 연도 연구개발결과 및 차년도 연구계획이 포함된 연차사업계획서에 대해 연차평가를 실시하며 그 결과에 따라 해당 사업에 대한 계속 지원여부 및 지원규모를 결정한다.
대상 데이터
- K연구원의 연구개발 과제 연차평가는 당해연도 11월에 이루어지며, 당해 연도의 연구개발 성과에 대해서 평가가 이루어 진다. 2015년의 경우 연구원에서 수행되고 있는 14개 세부 연구과제를 대상으로 상대평가 방식으로 진행되었다. 또한 외부의 산･학･연 전문가 6명을 포함한 내･외부 전문가 12인으로 구성된 연구 분과별 평가위원단을 통해 과제별 공개 발표평가를 진행하였다.
- 본 연구에서 목표로 하는 연구개발 과제에 대한 정성평가와 정량평가 비교는 (그림 1)의 절차로 수행되었다. 먼저 분석대상은 K연구원에서 2015년에 수행된 14개 연구과제를 대상으로 선정하였고, 이 14개 과제에서 당해연도에 산출된 성과를 수집하였다. 정성평가 결과는 실제로 연말에 시행된 연구개발 과제 연차평가의 결과를 활용하였으며, 정량평가를 위해서는 DEA/AR 분석법을 적용하였다.
- 투입변수 중 연구비의 경우 해당 연구과제의 직접비이며, 연구인력은 man/year로 산출된 값이다. 산출변수 중 논문은 K연구원에 소속된 연구자가 주저자 및 교신저자로 국내외 학술지에 게재한 실적이며, 특허 역시 주 발명자로 국내외에 등록된 특허 수를 수집하였다. 또한 기술료는 기술이전을 통해 발생한 기술료 실적을 집계하였다.
데이터처리
- 본 연구에서는 출연(연) 연구개발 프로젝트 성과 평가체계에 대한 개선점을 찾기 위해 정성 평가 결과와 정량평가 결과를 비교 분석하여 시사점을 도출하고 개선 방향을 제안하였다. 연구 결과의 실효성을 향상시키기 위해 K연구원에서 2015년에 수행된 실제 성과평가 사례를 기반으로 분석을 진행하였고, 그 결과 정성평가 결과와 정량평가 결과 사이에 통계적으로 유의미한 차이점이 있다는 것을 확인하였다. 실제 사례를 바탕으로 현재 보편적으로 사용되고 있는 전문가 기반 정성평가 방법을 보완할 수 있는 체계를 제안하였다는 점에서 본 연구는 기여점이 있다고 할 수 있다.
- 정성평가와 정량평가 결과 비교 분석은 각 평가에서 도출된 순위를 비교함으로써 그 차이점을 분석하였으며, 이 차이점은 Kendall’s τ 상관분석을 통해 통계적으로 검정하였다.
이론/모형
- 또한, 효율성 값으로 정성평가 결과와 순위 비교가 필요한 바, 초효율성 모형(Andersen and Petersen, 1993)을 적용하였고, 그 결과는 과 같다.
- , 1986). 본 연구에서는 산출변수 별 AR을 연구개발 단계를 고려한 쌍대비교(Saaty, 1980)를 통해 설정하였다. 분석 대상 14개 연구개발 과제는 기초, 응용, 개발로 구분되는 연구단계 측면에서 상이하기 때문에 쌍대비교를 이 세 가지 관점에서 수행한 후 산출변수 각각의 AR은 선행연구에서 제안하는 수식 (2)(Shang and Sueyoshi, 1995; Takamura and Tone, 2003; Lee et al.
- 본 연구에서는 산출변수 별 AR을 연구개발 단계를 고려한 쌍대비교(Saaty, 1980)를 통해 설정하였다. 분석 대상 14개 연구개발 과제는 기초, 응용, 개발로 구분되는 연구단계 측면에서 상이하기 때문에 쌍대비교를 이 세 가지 관점에서 수행한 후 산출변수 각각의 AR은 선행연구에서 제안하는 수식 (2)(Shang and Sueyoshi, 1995; Takamura and Tone, 2003; Lee et al., 2009)를 통해 설정되었다.
- 선정된 산출변수인 논문, 특허, 기술료는 과제별 연구개발 단계에 따라 그 중요성이 상이할 수는 있으나, 연구개발이라는 특성 상 세 가지 모두 어느 정도의 중요성은 가지기 때문에 DEA를 통한 비정상적인 가중치 도출을 방지하고자 실제 분석에는 DEA/AR 모형을 적용하였다. DEA/AR 모형은 기본 DEA 모형을 통해 산출되는 가중치의 왜곡 문제를 해결하기 위해 가중치의 범위를 한정하는 모형이다(Thompson et al.
- , 1984)의 대표적인 두 가지 모형이 있다. 선행연구에 따르면 연구개발 성과는 CRS 뿐 아니라 IRS(increasing return to scale), DRS(decreasing return to scale)의 경향도 나타내므로(Bound et al., 1984; Graves and Langowitz, 1996; Lee et al., 2009; Scherer 1983), 본 연구에서는 BCC 모형을 사용하였고, 이는 수식 (1)과 같다.
- 정량적인 접근을 기반으로 연구개발 성과를 분석, 평가하고자 하는 여러 선행연구에서 DEA(Data Envelopment Analysis) 방법론이 적용되었다. 비모수접근법인 DEA란 투입요소와 산출 요소가 주어진 상황에서 유사성을 나타내는 의사결정단위(decision making unit, DMU)들의 생산성을 비교하여 상대적인 효율성의 정도를 측정하는 모형으로, DMU들 중에서 먼저 최상실행단위(best practice unit)를 지정하고 지정된 최상실행단위와 비교하여 다른 DMU들의 상대적 효율성을 측정하는 선형계획 기법이다.
- 먼저 분석대상은 K연구원에서 2015년에 수행된 14개 연구과제를 대상으로 선정하였고, 이 14개 과제에서 당해연도에 산출된 성과를 수집하였다. 정성평가 결과는 실제로 연말에 시행된 연구개발 과제 연차평가의 결과를 활용하였으며, 정량평가를 위해서는 DEA/AR 분석법을 적용하였다. 정성평가와 정량평가 결과 비교 분석은 각 평가에서 도출된 순위를 비교함으로써 그 차이점을 분석하였으며, 이 차이점은 Kendall’s τ 상관분석을 통해 통계적으로 검정하였다.
성능/효과
- 이 결과를 미루어볼 때, 전문가가 정성평가를 함에 있어 평가대상 과제에 대해 이미 전체적인 점수를 큰 틀에서 선정해 놓고 그것을 기반으로 평가지표별 점수를 산정하는 경향이 있음을 추론할 수 있다. 둘째, 정성평가 시 투입 대비 산출의 개념이 충분히 반영되지 않았다. 실제로 과제별 발표로 진행된 평가에서 투입 예산, 인력 정보는 제공되었으나, 해당 투입으로 발표에서 제시한 산출이 적절한지에 대한 검토가 면밀히 수행되었다고 보기 어렵다.
- 이에 본 연구에서는 정성평가 결과와 정량평가 결과를 비교 분석함으로써 연구개발 프로젝트 성과평가 체계의 개선점을 도출하고자 하였다. 본 연구는 실제 사례(K연구원)를 기반으로 수행되었으며, 그 결과 정성평가 결과와 정량평가 결과 사이에는 분명한 차이점이 있음을 확인하였다. 이러한 차이점을 보완할 수 있는 여러 가지 개선점을 제시하였고, 본 연구에서 제시한 방법들이 실제 평가에 적용된다면 보다 정확한 연구개발 프로젝트 성과평가가 수행될 것으로 기대된다.
- 반면, DEA 방법의 경우 투입 대비 산출로 점수를 산정하기 때문에 정성평가와 차이점이 발생하였을 것으로 분석된다. 셋째, 성과 외적인 요소가 영향을 끼쳤을 가능성이다. 공개발표를 통한 전문가 평가에는 사실상 연구개발 성과 외적인 부분이 영향을 미칠 수 있다.
- <표 7>에서 나타난 바와 같이 평가지표별 선택적 적용 점수 순위(B2-B5)와 총점 순위(B1)는 거의 차이가 없는 것으로 나타났다. 이 결과를 미루어볼 때, 전문가가 정성평가를 함에 있어 평가대상 과제에 대해 이미 전체적인 점수를 큰 틀에서 선정해 놓고 그것을 기반으로 평가지표별 점수를 산정하는 경향이 있음을 추론할 수 있다. 둘째, 정성평가 시 투입 대비 산출의 개념이 충분히 반영되지 않았다.
- 이러한 차이를 서열척도로 측정된 변수 간 관계측정이 가능한 Kendall’s τ 상관분석을 통해 통계적으로 검정한 결과, 정량평가 결과인 A 순위와 정성평가 결과인 B1-B5 순위 간 상관관계는 통계적으로 유의하지 않는 것으로 나타났다.
- 이러한 기여점에도 불구하고 본 연구는 다음과 같은 한계를 가진다. 첫째, 정량평가 방법으로 활용한 DEA 방법론에서 발생할 수 있는 투입 및 산출변수 선택에 따른 결과 변동의 가능성이다. 본 연구에서는 이러한 가능성을 최소화하고자 기존 연구들을 활용하여 변수들을 선정하였음에도 불구하고, 여전히 관련 한계점은 존재하고 있다.
후속연구
- 본 연구에서 분석한 14개 연구과제의 경우 K연구원이라는 동일한 연구기관에서 수행된 점을 고려하여 전반적인 목표에서의 유사성이 있다고 판단하여 DEA 분석을 수행하였으나, 연구개발의 특성 상 모든 과제가 동일한 성격이라고 보기 어려운 점이 존재한다. 따라서 세부 주제에 따른 DMU들을 구분하여 분석을 수행한다면 보다 정확한 분석이 가능할 것이다. 셋째, 본 연구에서 DEA에 적용한 투입변수와 산출변수의 개수와 DMU 개수 관련 논의이다.
- 본 연구에서는 총 2개의 투입변수와 3개의 산출변수를 사용하여 총 14개의 DMU에 대한 분석을 수행하였기 때문에 대부분의 선행연구에서 제시한 최소 요건을 충족하고 있으나, 일부 선행연구(Bowlin, 1998)에서 제시한 기준에는 부합하지 않는 부분이 있다. 따라서 추후 연구에서 보다 많은 DMU를 확보하여 분석을 수행한다면 보다 변별력 있는 결과를 도출할 수 있을 것으로 보인다.
- 이와 같은 방법으로 정성평가 기반의 현재 평가체계에 정량적인 결과를 반영함으로써 정성평가가 갖는 한계점을 보완할 수 있을 것으로 보인다. 또는, 현재와 같이 정성평가로 진행하되, 평가 대상 과제별 투입 및 산출 현황을 한 눈에 볼 수 있는 형태로 평가위원에게 제공하는 것으로도 해당 한계점을 일부 보완할 수 있을 것이다. 둘째, 정성평가시 평가지표별 가이드라인을 제공하는 방법이다.
- 추가적으로, 본 연구에서는 정성평가와 정량평가 비교 분석을 위해 한 해의 성과를 대상으로 분석을 수행하였으나, 연구개발의 특성 상 여러 해에 걸쳐 연구가 수행되고 관련 성과 역시 지속적으로 산출되는 점을 고려할 때 단순히 한 시점에서의 연구 과제 효율성을 분석하는 것에서 나아가, 다년간의 효율성 변화를 측정하여 분석을 수행한다면 보다 의미 있는 시사점을 도출할 것으로 보인다. 또한, 최근에 들어 국가연구개발사업 평가에 대한 지침이 목표달성도 평가(40%), 전문가 정성평가(60% - 성과의 질적 우수성, 목표 달성과정의 적절성 및 목표의 도전성･혁신성 등)의 방식으로 변경된 점을 추후 연구에 반영하여 분석한다면 시의성 높은 결과를 도출할 수 있을 것으로 기대된다.
- 실제 사례를 바탕으로 현재 보편적으로 사용되고 있는 전문가 기반 정성평가 방법을 보완할 수 있는 체계를 제안하였다는 점에서 본 연구는 기여점이 있다고 할 수 있다. 본 연구에서 제안한 바와 같이 정성평가 및 정량평가가 상호보완적으로 진행될 수 있는 체계가 마련된다면, 출연(연) 연구개발 프로젝트 성과평가 시 각 연구개발 과제의 특성을 반영하면서 객관성도 보다 확보할 수 있을 것으로 기대된다.
- 둘째, 정량평가 시 각 연구개발 과제별 특성을 고려하지 않은 점이다. 본 연구에서는 연구개발 단계 측면을 AR 설정시 고려하였으나, 여기에 덧붙여 세부분야 별 특성 등의 관점도 AR 설정 시 보완한다면 보다 신뢰할 수 있는 결과를 도출할 수 있을 것으로 보인다. 이와 같은 관점에서 연구개발의 특성 상 연구개발 단계를 비롯하여 세부분야 별 특성이 분명하기 때문에 이러한 점을 고려한 보완도 필요하다.
- 첫째, 정량평가 방법으로 활용한 DEA 방법론에서 발생할 수 있는 투입 및 산출변수 선택에 따른 결과 변동의 가능성이다. 본 연구에서는 이러한 가능성을 최소화하고자 기존 연구들을 활용하여 변수들을 선정하였음에도 불구하고, 여전히 관련 한계점은 존재하고 있다. 따라서, 변수 선정 시 지표 pool을 보다 다각화 하여 보완할 필요가 있다.
- 연구 결과의 실효성을 향상시키기 위해 K연구원에서 2015년에 수행된 실제 성과평가 사례를 기반으로 분석을 진행하였고, 그 결과 정성평가 결과와 정량평가 결과 사이에 통계적으로 유의미한 차이점이 있다는 것을 확인하였다. 실제 사례를 바탕으로 현재 보편적으로 사용되고 있는 전문가 기반 정성평가 방법을 보완할 수 있는 체계를 제안하였다는 점에서 본 연구는 기여점이 있다고 할 수 있다. 본 연구에서 제안한 바와 같이 정성평가 및 정량평가가 상호보완적으로 진행될 수 있는 체계가 마련된다면, 출연(연) 연구개발 프로젝트 성과평가 시 각 연구개발 과제의 특성을 반영하면서 객관성도 보다 확보할 수 있을 것으로 기대된다.
- 본 연구는 실제 사례(K연구원)를 기반으로 수행되었으며, 그 결과 정성평가 결과와 정량평가 결과 사이에는 분명한 차이점이 있음을 확인하였다. 이러한 차이점을 보완할 수 있는 여러 가지 개선점을 제시하였고, 본 연구에서 제시한 방법들이 실제 평가에 적용된다면 보다 정확한 연구개발 프로젝트 성과평가가 수행될 것으로 기대된다.
- 예를 들어 현재 연구개발 과제 연차평가 평가지표인 연차 성과목표 달성도(10점), 연구성과의 질적 우수성(20점), 연구결과의 활용정보 및 파급효과(5점) 등 연구개발 성과와 직접 관련성이 높은 평가지표에 할당된 배점 중 일부를 ‘연구개발 성과 효율성’ 지표를 신설하여 할당한다면 정성평가 결과에 정량평가 요소가 반영될 수 있을 것이다. 이와 같은 방법으로 정성평가 기반의 현재 평가체계에 정량적인 결과를 반영함으로써 정성평가가 갖는 한계점을 보완할 수 있을 것으로 보인다. 또는, 현재와 같이 정성평가로 진행하되, 평가 대상 과제별 투입 및 산출 현황을 한 눈에 볼 수 있는 형태로 평가위원에게 제공하는 것으로도 해당 한계점을 일부 보완할 수 있을 것이다.
- 이와 같은 한계점을 보완하여 추후 연구를 진행하고, 본 연구에서 제안한 내용을 실제 평가에 활용함으로써 보완점을 찾는다면 보다 의미 있는 출연(연) 연구개발 사업 평가 체계를 수립할 수 있을 것으로 기대된다. 추가적으로, 본 연구에서는 정성평가와 정량평가 비교 분석을 위해 한 해의 성과를 대상으로 분석을 수행하였으나, 연구개발의 특성 상 여러 해에 걸쳐 연구가 수행되고 관련 성과 역시 지속적으로 산출되는 점을 고려할 때 단순히 한 시점에서의 연구 과제 효율성을 분석하는 것에서 나아가, 다년간의 효율성 변화를 측정하여 분석을 수행한다면 보다 의미 있는 시사점을 도출할 것으로 보인다.
- 현재 연구개발 프로젝트 성과평가는 전문가 기반의 정성평가 체제로 주로 진행되고 있다. 전문가 기반 정성평가는 평가자의 전문성이 중요한 요소인 연구개발 프로젝트 성과평가에 가장 적합한 방법임에는 분명하지만, 여기에 정량평가의 장점 일부가 보완된다면 보다 나은 평가체계를 수립할 수 있을 것으로 기대된다. 이에 본 연구에서는 정성평가 결과와 정량평가 결과를 비교 분석함으로써 연구개발 프로젝트 성과평가 체계의 개선점을 도출하고자 하였다.
- 이와 같은 한계점을 보완하여 추후 연구를 진행하고, 본 연구에서 제안한 내용을 실제 평가에 활용함으로써 보완점을 찾는다면 보다 의미 있는 출연(연) 연구개발 사업 평가 체계를 수립할 수 있을 것으로 기대된다. 추가적으로, 본 연구에서는 정성평가와 정량평가 비교 분석을 위해 한 해의 성과를 대상으로 분석을 수행하였으나, 연구개발의 특성 상 여러 해에 걸쳐 연구가 수행되고 관련 성과 역시 지속적으로 산출되는 점을 고려할 때 단순히 한 시점에서의 연구 과제 효율성을 분석하는 것에서 나아가, 다년간의 효율성 변화를 측정하여 분석을 수행한다면 보다 의미 있는 시사점을 도출할 것으로 보인다. 또한, 최근에 들어 국가연구개발사업 평가에 대한 지침이 목표달성도 평가(40%), 전문가 정성평가(60% - 성과의 질적 우수성, 목표 달성과정의 적절성 및 목표의 도전성･혁신성 등)의 방식으로 변경된 점을 추후 연구에 반영하여 분석한다면 시의성 높은 결과를 도출할 수 있을 것으로 기대된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.