선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 성과가 우수하여 분야별 롤 모델이 될 수 있는 기업과 산학협력단을 육성하고 집중적 마케팅, 판로 지원(국내·외 판로개척, 서울시 우수 기업 브랜드 활성화, 기업교류 활성화, 제품 공공구매 활성화, 지역특화사업 활성화) 등 연구 개발과 사업화 연계 기술 개발에 대해 경쟁력 있는 기업 및 산학 협력단으로서의 다양한 활동이 가능하도록 지원하는데 목적을 두고 있다.
- 단계별 성과 점수는 R&BD의 서로 다른 관점의 성과를 반영하므로 세 단계 중 특정 단계가 더 중요하거나 중요하지 않다고 평가하기는 어렵다. 따라서 본 장에서는 균형적인 관점에서 성과를 한 눈에 파악할 수 있는 2차원 매트릭스 형태의 성과 지도(performance map)를 제시한다. 성과 지도는 EFFICIENCY 와 PRODUCTIVITY를 두 축으로 하는 2차원 매트릭스 형태로 구성된다.
- 또한 단계별 성과를 종합적으로 시각화하고 유형화하기 위한 R&BD 성과 지도를 함께 제시한다.
- 본 연구는 사업화 측면을 고려하여 R&BD 프로젝트의 성과를 평가하기 위한 3단계 R&BD 성과 모형을 제시하였다.
- 이에 본 연구는 사업화 측면을 고려하여 R&BD 프로젝트의 성과를 평가하기 위한 3단계 R&BD 성과 모형을 제시한다.
가설 설정
- (1978)이 제시한 최초의 DEA 모형인 CCR 모형은 규모의 수익 불변(constant returns to scale)을 가정하며, 이후 Banker et al.(1984)이 제시한 BCC 모형은 규모의 수익 가변(variable returns to scale)을 가정한다. 또한 DEA 모형은 효율성 개선 방향에 따라 투입지향(input-oriented) 모형과 산출지향(outputoriented) 모형으로 구분된다.
제안 방법
- 171개의 프로젝트를 대상으로 BCC 모형을 활용하여 각 단계별 DEA 효율성 점수를 측정하였다. 개별 프로젝트들의 효율성 점수는 [Appendix 2]에 첨부되어 있으며 아래 [Table 3]은 단계별 효율성 점수 측정 결과를 요약한 것이다.
- 3단계 R&BD 성과 모형은 R&BD 프로세스를 INPUT, OUTPUT, OUTCOME의 세 가지로 정의하고, INPUT에서 OUTPUT으로 전환 되는 EFFICIENCY 단계, OUTPUT이 OUTCOME으로 전환되는 EFFECTIVENESS 단계, INPUT이 투입되어 OUTCOME이 최종 산출되는 PRODUCTIVITY 단계로 구분하여 성과를 측정 한다.
- DEA 효율성 점수는 정규분포를 가정할 수 없으므로 비모수 기법인 스피어만 순위 상관계수를 측정하였으며 그 결과는 아래 [Table 4]와 같다.
- 따라서 OUTPUT의 경우 효율성 단계(1단계)에서는 산출 변수로 작용하지만 효과성 단계(2단계)에서는 투입 변수로 작용한다. DEA에서의 효율성 점수와 본 모형에서의 효율성 단계를 구분하기 위해, 이후 본 논문에서는 각 단계를 영문 대문자(EFFICIENCY, EFFECTIVENESS, PRODUCTIVITY)로 표기한다.
- 기존 연구에서 제시된 R&D 논리 모형(logic model)을 바탕으로 R&BD 활동의 구성 요소를 투입(input), 산출(output), 성과(outcome)의 세 가지로 정의하고 요소 간 전환 단계의 성과를 DEA 효율성 관점에서 측정한다.
- OUTPUT으로는 기초적인 R&D 산출물로 인식되고 있는 특허와 논문을 선정하였다. 논문은 SCI 등재여부에 따라 두 개 의 변수로 세분화하였고 특허는 출원과 등록으로 구분하였다. OUTCOME의 경우 기술이전액, 매출액, 비용절감액의 세 가지 변수를 채택하였다.
- 따라서 본 연구에서도 산출지향 BCC 모형을 활용하여 R&D 성과를 분석한다.
- 또한 단계별 성과를 종합적으로 고려할 수 있는 R&BD 성과 지도를 구축함으로써 프로젝트별 성과 유형을 구분하고 시각화하였다.
- 본 연구는 R&BD 활동을 3단계로 구분하여 성과를 측정함으로써 기존의 R&D 평가에서 주로 다뤄 온 INPUT 대비 OUTPUT 관점의 EFFICIENCY 측면의 성과는 물론 사업화 측면의 OUTCOME을 반영한 EFFECTIVENESS와 PRODUCTIVITY를 포함하여 다양한 관점에서 R&BD 프로젝트 성과를 측정한다.
- 본 연구에서는 기존 R&D 논리 모형들을 바탕으로 공공 R&BD 프로그램을 투입(input), 산출(output), 성과(outcome)의 세 요소로 정의한다.
- 본 연구에서는 먼저 R&D 성과와 더불어 사업화 측면의 성과를 고려하기 위한 3단계 R&BD 성과 모형을 구축한다.
- 본 연구에서는 제시된 3단계 모형을 171개의 서울시 R&BD 프로젝트에 적용하여 단계별 프로젝트 성과를 측정하고 프로그램 수준의 성과 비교를 수행하였다.
- 여기서 투입(input) 및 산출(output)은 DEA의 투입 변수 및 산출 변수와 용어가 동일하고 성과(outcome)는 결과의 우수한 정도를 나타내는 일반적인 의미의 “성과(performance)”와 혼동될 수 있으므로, 이후 본 논문에서는 R&BD 프로그램의 세 가지 구성요소를 영문 대문자(INPUT, OUTPUT, OUTCOME)로 표기한다.
- 제시된 3단계 R&BD 성과 모형을 활용하여 서울시에서 진행한 R&BD 프로젝트의 성과 분석을 수행하고 이를 바탕으로 상위 수준인 프로그램 수준에서의 성과 평가를 수행한다.
- 즉, 투입 대비 산출 측면의 효율성 (efficiency), 산출 대비 성과 측면의 효과성(effectiveness), 투입 대비 성과 측면의 생산성(productivity)의 3단계로 구분하여 R&BD 활동의 성과를 측정한다.
대상 데이터
- 2005년부터 2013년까지 서울시에서 수행한 6개의 R&BD 프로그램을 통해 지원한 171개의 프로젝트를 분석 대상으로 선정하였으며, 프로그램별 목표 및 프로젝트 개수는 아래 [Table 2]와 같다.
- OUTPUT으로는 기초적인 R&D 산출물로 인식되고 있는 특허와 논문을 선정하였다.
- 각 항목별 세부 요소는 DEA를 활용한 R&D 성과 평가 관련 기존 연구를 참조하여 [Table 1]과 같이 선정하였다.
데이터처리
- 단계별 효율성 점수의 관계를 보다 구체적으로 살펴보기 위해 상관분석을 수행하였다. DEA 효율성 점수는 정규분포를 가정할 수 없으므로 비모수 기법인 스피어만 순위 상관계수를 측정하였으며 그 결과는 아래 [Table 4]와 같다.
- 2절에서 측정한 프로젝트별 효율성 점수를 바탕으로 Kruskal-Wallis 검정을 통해 6개 프로그램간 성과의 차이를 통계적으로 검정하고 평균 순위(mean rank) 값을 기준으로 프로그램 간의 상대적 순위를 도출하였다. 또한 두 집단 간 평균 비교를 위한 비모수 기법인 Mann-Whitney U 검정을 수행하여 개별 프로그램 간 성과 차이의 통계적 유의성을 분석하였다. 아래 [Table 5]는 세 단계별로 6개 프로그램의 성과를 비교한 결과를 나타낸 것이다.
- , 2009). 이 때 DEA 효율성 점수는 정규분포를 가정할 수 없으므로 집단간 평균 비교를 위해서는 ANOVA가 아닌 비모수적 기법인 Kruskal-Wallis 검정을 수행해야 한다. 제 4.
- 이 때 DEA 효율성 점수는 정규분포를 가정할 수 없으므로 집단간 평균 비교를 위해서는 ANOVA가 아닌 비모수적 기법인 Kruskal-Wallis 검정을 수행해야 한다. 제 4.2절에서 측정한 프로젝트별 효율성 점수를 바탕으로 Kruskal-Wallis 검정을 통해 6개 프로그램간 성과의 차이를 통계적으로 검정하고 평균 순위(mean rank) 값을 기준으로 프로그램 간의 상대적 순위를 도출하였다. 또한 두 집단 간 평균 비교를 위한 비모수 기법인 Mann-Whitney U 검정을 수행하여 개별 프로그램 간 성과 차이의 통계적 유의성을 분석하였다.
이론/모형
- 본 연구는 서울시에서 수행한 R&BD 프로젝트를 대상으로 3단계 R&BD 성과 모형을 적용하여 성과를 측정하였다.
성능/효과
- 세 단계 성과 모두에서 프로그램 간 유의한 차이가 있는 것으로 나타났으나, 단계별 프로그램의 순위는 매우 상이하게 나타났다. EFFECTIVENESS와 PRODUCTIVITY 간의 프로그 램 순위 차이는 일부 존재하기는 하나 크게 다르지 않은 반면, EFFICIENCY에서의 상대적 순위는 두 단계와 상당히 다르게 나타났다. 특히 프로그램 E의 경우 EFFICIENCY에서는 가장 좋은 성과를 거두었지만 나머지 두 단계에서는 최하위에 위치하고 있다.
- 일반적으로 DEA에서는 투입 및 산출 변수의 개수가 많을수록 효율적으로 판별되는 DMU의 수가 많아져 판별력이 감소한다. 그러나 본 연구에서 단계별 변수 개수는 EFFECTIVENESS(7개), EFFICIENCY(6개), PRODUCTIVITY(5개)의 순서임에도 불구하고 효율적인 DMU 개수는 EFFICIENCY(14개), PRODUCTIVITY(8개), EFFECTIVENESS(6개)의 순서로 나타났다. 이는 EFFECTIVENESS와 PRODUCTIVITY의 산출 변수인 OUTCOME 측면에서 프로젝트 간 성과 차이가 상대적으로 크기 때문이다.
- 세 단계 모두에서 1의 효율성 점수를 획득한 프로젝트는 단 한 개만 존재하는 것으로 나타났다. 그러나 EFFECTIVENESS에서 효율적으로 판별된 6개의 프로젝트 중 4개가 PRODUCTIVITY 측면에서도 효율적인 것으로 나타났다. 이는 EFFECTIVENESS와 PRODUCTIVITY가 동일한 산출 변수를 반영하기 때문이며, 이를 통해 효율성 점수 결정에 있어서 투입 변수보다는 산출 변수가 더 중요한 역할을 한다는 사실을 알 수 있다.
- 8%의 프로젝트가 Innovator로 분류되어 가장 좋은 평가를 받았다. 그러나 프로그램 F는 Underdog의 비율도 가장 높아 프로그램 내 프로젝트의 성과가 극단적인 양상을 띠는 것으로 나타났다. 반면, 제 4.
- 두 단계의 DEA 효율성 점수가 모두 높은 프로젝트의 경우, R&D 성과와 사업화 성과가 모두 우수하므로 Innovator로 명명하며, 전체 171개 중 약 14%에 해당 하는 24개의 프로젝트가 이 유형에 속하는 것으로 나타났다.
- 둘째, R&D 활동은 투입과 산출의 관계를 특정한 함수로써 정의하는 것이 불가능하므로 생산함수에 대한 가정이 필요한 모수적 측정 기법의 사용이 불가능 한 반면, DEA는 생산함수를 사전에 정의할 필요가 없다.
- 그러나 프로그램 F는 Underdog의 비율도 가장 높아 프로그램 내 프로젝트의 성과가 극단적인 양상을 띠는 것으로 나타났다. 반면, 제 4.3절에서 우수한 성과를 보였던 프로그램 D는 단지 10.9%만이 Innovator에 속하는 것으로 나타났다. 한편 프로그램 E는 모든 프로젝트가 Scientist로 분류되어 단 한 개의 Innovator 프로젝트도 존재하지 않으며 프로그램 C는 대부분의 프로젝트가 Utilitarian에 속하는 것으로 나 타났다.
- 본 연구에서는 제시된 3단계 모형을 171개의 서울시 R&BD 프로젝트에 적용하여 단계별 프로젝트 성과를 측정하고 프로 그램 수준의 성과 비교를 수행하였다. 분석 결과 EFFECTIVENESS와 PRODUCTIVITY는 강한 양의 상관관계를 가지고 있는 것으로 나타났으나 EFFICIENCY는 두 단계와 부의 상관관계를 가지거나 상관관계가 없는 것으로 나타났다. 이는 기존의 EFFICIENCY 중심의 평가의 신뢰성을 반증하는 것으로 본 연구는 EFFICIENCY 뿐만 아니라 EFFECTIVNESS와 PRODUCTIVITY를 포함한 3단계 성과 모형을 개발함으로써 다양한 측면의 성과를 고려하여 R&BD 프로그램을 평가할 수 있도록 접근법을 제시하였다는데 의의가 있다.
- 상관분석 결과는 3단계 모형을 활용한 다양한 관점에서의 R&BD 평가가 필요함을 보여준다.
- 이는 EFFECTIVENESS와 PRODUCTIVITY의 산출 변수인 OUTCOME 측면에서 프로젝트 간 성과 차이가 상대적으로 크기 때문이다. 세 단계 모두에서 1의 효율성 점수를 획득한 프로젝트는 단 한 개만 존재하는 것으로 나타났다. 그러나 EFFECTIVENESS에서 효율적으로 판별된 6개의 프로젝트 중 4개가 PRODUCTIVITY 측면에서도 효율적인 것으로 나타났다.
- 세 단계 성과 모두에서 프로그램 간 유의한 차이가 있는 것으로 나타났으나, 단계별 프로그램의 순위는 매우 상이하게 나타났다. EFFECTIVENESS와 PRODUCTIVITY 간의 프로그 램 순위 차이는 일부 존재하기는 하나 크게 다르지 않은 반면, EFFICIENCY에서의 상대적 순위는 두 단계와 상당히 다르게 나타났다.
- 셋째, 다양한 변수를 활용하여 효율성을 측정하는 경우 각 요소 간 상대적 가중치가 사전에 정의되어야 하나, R&D의 경우 변수들 간의 중요도를 사전에 고정하기가 여의치 않다.
- 이는 기존의 EFFICIENCY 중심의 평가의 신뢰성을 반증하는 것으로 본 연구는 EFFICIENCY 뿐만 아니라 EFFECTIVNESS와 PRODUCTIVITY를 포함한 3단계 성과 모형을 개발함으로써 다양한 측면의 성과를 고려하여 R&BD 프로그램을 평가할 수 있도록 접근법을 제시하였다는데 의의가 있다.
- 제 4.2절의 프로젝트 수준 평가에서 파악한 바와 같이 R&BD 프로그램의 평가에 있어서 기존의 EFFICIENCY 관점만을 견지할 경우 잘못된 결과가 도출될 수 있으며 사업화 성과를 반영해야만 효과적인 평가가 가능함을 파악할 수 있다.
- Innovator 비율 기준의 프로그램 성과는 F > A, B, C > D >E 순서로 나타났다. 제 4.3절의 비교에서 중위권에 머물렀던 프로그램 F는 17.8%의 프로젝트가 Innovator로 분류되어 가장 좋은 평가를 받았다. 그러나 프로그램 F는 Underdog의 비율도 가장 높아 프로그램 내 프로젝트의 성과가 극단적인 양상을 띠는 것으로 나타났다.
- 즉, EFFICIENCY점수는 EFFECTIVENESS 및 PRODUCTIVITY와 매우 다른 양상을 보이므로 기존의 EFFICIENCY 중심의 평가만으로는 사업화 측면이 강조되는 R&BD 활동의 성과를 제대로 측정할 수 없다는 사실을 파악 할 수 있다.
- 첫째, R&D 활동은 일반적으로 다양한 유형의 투입요소가 투입되어 다양한 유형의 산출물을 산출한다.
- 한편, 산출 변수로써 OUTCOME을 공유하는 EFFECTIVENESS와 PRODUCTIVITY는 매우 강한 양의 상관관계를 가지는 것으로 나타난 반면, 공통적으로 INPUT을 투입 변수로 고려하는 EFFICIENCY와 PRODUCTIVITY는 상관관계가 없는 것으로 나타났다.
후속연구
- 성과 평가 결과는 추후 R&D 활동의 기획 및 효율적 예산 배분을 위한 정책 수립 에 중요한 근거자료로 활용될 수 있다.
- 예를 들어, 국내에서는 비 SCI 저널 논문보다 SCI 저널 논문의 가치를 높게 평가하는 것이 일반적이나 본 연구에서는 이러한 사전 선호도를 고려하지 않았기 때문에 일부 프로젝트의 경우 SCI 저널 논문보다 비 SCI 저널 논문에 보다 큰 가중치가 부여되었다. 이처럼 변수 간 상대적 중요도가 명확한 경우 현실 세계에서의 선호도를 반영하여 효율성을 측정하는 것이 바람직 하며, 따라서 추후 연구에서는 변수별 가중치에 제약을 두는 AR(assurance region) 모형(Thompson et al., 1990) 등을 도입하여 평가의 타당성을 향상시킬 필요가 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.