[논문]자료포락분석을 활용한 국방핵심기술 연구개발사업의 성과 분석

임용환; 전정환

doi:10.9766/kimst.2019.22.1.106

[국내논문] 자료포락분석을 활용한 국방핵심기술 연구개발사업의 성과 분석
Analyzing the Performance of Defense R&D Projects based on DEA 원문보기

韓國軍事科學技術學會誌 = Journal of the KIMST, v.22 no.1, 2019년, pp.106 - 123

임용환 (국방기술품질원 기술기획본부) , 전정환 (국립경상대학교 산업시스템공학부)

Abstract ▼ AI-Helper

Demand for performance analysis is increasing for efficient use of limited budgets such as improving investment efficiency and strategic budget allocation in accordance with the continuous increase demand of R&D budget for developing advanced weapon systems in the future battlefields. In accordance with the Act on the Performance Evaluation and Performance Management of the National R&D Projects established in March 2006, the performance analysis has been conducted for the systematic management and utilization of the R&D project performance. It was recognized as a project to achieve self-defense through strengthening the weapons system development capability, however, efficiency evaluation of Defense R&D projects was not much emphasized. Research on the efficiency analysis of defense R&D projects has been conducted in recent years, but most studies focused on corporate efficiency and productivity of defense companies. In this study, we analyzed the three-stage performance of defence R&D projects based on the logical model using the data envelope analysis(DEA) model. We also analyzed performance analysis from various perspectives through R&D type, technology classification and performance model. This study is expected to help defense department improve defense R&D projects and make decision.

주제어

표/그림 (21)

표 Table 1. Overview of defense R&D projects
표 Table 2. Previous studies using DEA model
표 Table 3. Previous studies on the efficiency analysis of defense sector
표 Table 4. Variables
그림 Fig. 1. 3-Stage DEA model
그림 Fig. 2. Research framework
표 Table 5. Classification by R&D type
표 Table 6. Classification by 8-technology sector
표 Table 7. Statistics of data
표 Table 8. Results of correlation analysis
표 Table 9. Analysis results by stages
표 Table 10. Comparison of statistics by efficient DMUs
표 Table 11. Spearman correlation analysis results by stages
표 Table 12. Analysis results by R&D type
그림 Fig. 3. Performance model
그림 Fig. 4. Mapping results on performance model
표 Table 13. Analysis results by 8-technology sector
표 Table 14. Performance by type of R&D according to performance type
표 Table 15. Performance by 8-technology sector according to performance type
표 Table 16. Results of Correlation analysis in tobit variables
표 Table 17. Results of tobit regression analysis

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이를 위해 본 연구에서는 국방핵심기술 연구 개발사업을 통해 산출되는 직접적 측면의 과학·기술적 연구성과와 이를 활용하여 실제 무기체계 적용 등의 실용화를 통해 창출되는 간접적 측면의 실질적인 성과를 고려한 논리 모형 기반의 3단계 전환성과를 DEA 모형을 활용하여 효율성을 분석하고자 한다. 또한 국방핵심기술 연구개발 형태별, 기술분야별 효율성 분석 및 매트릭스 형태의 성과 모형을 통해 다양한 관점에서 효율성을 분석하고 주요 시사점을 논의하고자 한다. 본 연구는 도출된 시사점을 과제 성과관리에 활용하고 기술기획 환류를 통해 과제기획 단계에 반영하는데 활용될 수 있을 것이다.
본 연구는 기존의 국방핵심기술 연구개발사업에서 수행되었던 투입 대비 산출 측면만을 강조한 효율성(EFFICIENCY) 관점의 성과평가뿐만 아니라 실제 핵심기술 개발의 최종 목표인 무기체계 적용을 통해 창출되는 실질적인 성과 즉, 적용성(APPLICABILITY) 을 평가하기 위해 논리 모형 기반의 3단계 전환성과를 DEA 모형을 활용하여 측정하고자 한다. 1단계(EFFICIENCY)와 2단계(EFFECTIVENESS) 전환성과가 중간 산출물을 공유하는 점을 고려하여 two-stage network DEA[36] 모형을 검토하였으나 중간 산출물 의미인 EFFECTIVENESS는 논문, 특허 등의 산출물이 무기체계 적용 등의 실질적인 성과로 이어지는 중간 단계의 성과를 의미하므로 성과관리 및 핵심기술과 제기획 측면에서 시사점 도출이 제한적이며, 상관분석 결과 APPLICABILITY와 매우 강한 상관관계를 보여 본 논문에서는 3단계 DEA 모형을 통해 측정한 EFFICIENCY와 APPLICABILITY만을 고려하여 성과 분석을 수행하였다.
첫째, 효율성 분석을 위해 선정한 DEA 모형, DMU 설정 방법 등에 따라 분석 결과가 달라질 수 있으므로 분석 결과의 신뢰성 제고를 위해 해당 사업의 특성을 고려한 보다 정밀한 보완분석이 필요하다. 본 연구에서는 신뢰성 있는 성과분석 결과를 위해서 논리모형 기반의 동일한 프로세스(투입-산출-성과) 단계별 공통 성과지표를 반영한 조사표에 근거하여 수집된 데이터를 바탕으로 성과분석을 수행하였다. 하지만 국방핵심기술개발사업은 연구개발 형태에 따라 목적이 다소 상이할 수 있다.
성과분석은 국방핵심기술 연구개발사업의 성과와 활용실태 등을 분석하여 사업의 효율성을 증대시키고 국방과학기술의 중·장기 정책 수립 및 환류형 기술기획 체계에 요구되는 정보를 제공하기 위해 수행된다.
이에 본 연구는 국방핵심기술 연구개발사업에 대한 효율성 분석을 통해 선택과 집중을 위한 국방연구개발 전략 및 투자방향 수립을 위한 시사점을 제공하고자 한다. 이를 위해 본 연구에서는 국방핵심기술 연구 개발사업을 통해 산출되는 직접적 측면의 과학·기술적 연구성과와 이를 활용하여 실제 무기체계 적용 등의 실용화를 통해 창출되는 간접적 측면의 실질적인 성과를 고려한 논리 모형 기반의 3단계 전환성과를 DEA 모형을 활용하여 효율성을 분석하고자 한다.

제안 방법

1단계(EFFICIENCY)와 2단계(EFFECTIVENESS) 전환성과가 중간 산출물을 공유하는 점을 고려하여 two-stage network DEA[36] 모형을 검토하였으나 중간 산출물 의미인 EFFECTIVENESS는 논문, 특허 등의 산출물이 무기체계 적용 등의 실질적인 성과로 이어지는 중간 단계의 성과를 의미하므로 성과관리 및 핵심기술과 제기획 측면에서 시사점 도출이 제한적이며, 상관분석 결과 APPLICABILITY와 매우 강한 상관관계를 보여 본 논문에서는 3단계 DEA 모형을 통해 측정한 EFFICIENCY와 APPLICABILITY만을 고려하여 성과 분석을 수행하였다.(제 4.2.1절 단계별 효율성 분석 참조) 이후 본 논문에서는 DEA 효율성 점수와 1단계 전환성과를 나타내는 효율성(EFFICIENCY)을 구분하기 위해 각각의 전환단계별 성과(효율성, 효과성, 적용성)를 영문 대문자로 표기하였다.
EFFICIENCY, APPLICABILITY의 효율성에 영향을 미치는 요인을 파악하기 위해 토빗 회귀분석을 실시 하였다. DEA를 통해 측정된 효율성 지수를 종속변수로, 효율성에 영향을 미칠 것으로 예상되는 환경요인으로 핵심요소기술, 기술성숙수준, 국외협력, 후속연구 개발과제, 위탁연구과제, 민간분야 적용성을 독립변수로 선정 후 변수들 간의 상관관계 분석을 수행하였다. Table 16은 토빗 회귀분석에 사용된 변수들 간의 상관 관계를 분석한 결과이다.
본 연구는 2007년~2013년 착수하여 2009년~2015년 12월에 종료된 국방핵심기술 연구개발사업에 대한 ｢성과분석 결과 조사자료｣에 근거한 101개 과제를 대상으로 효율성을 측정하였다. 다양하게 추진되고 있는 국방핵심기술개발사업 중 본 연구에서는 개별기초(basic research), 특화연구(specialized research), 응용연구 (applied research), 시험개발(experimental development)과제에 대한 성과분석 결과 조사자료를 대상으로 연구 개발 형태간 효율성 분석을 수행하였으며, 국방기획관리체계의 단점을 보완하기 위해 추진 중인 선도형/선행 핵심기술, 핵심소프트웨어 등은 아직 과제가 진행 중으로 수집된 데이터가 없어 본 연구의 분석대상에서는 제외하였다. 또한 기술분야간 효율성 차이분석을 위해 국방과학기술진흥실행계획 부록인 핵심기술기획서의 8대 기술분야인 센서, 정보통신, 제어/전자, 탄약/ 에너지, 추진, 화생방, 소재, 플랫폼/구조 기술로 과제를 분류하여 분석하였다.
단계별 효율성 점수간의 연관성 분석을 통해 EFFICIENCY와 APPLICABILITY의 효율성 점수는 다른 양상을 보이므로 기존의 EFFICIENCY 중심의 성과 평가와는 달리 균형적인 관점에서 성과를 파악할 수 있고 전략적인 방향을 도출할 수 있는 2차원 매트릭스 형태의 성과 모형을 통한 분석을 실시하였다. 성과 모형은 DEA를 통해 측정된 EFFICIENCY와 APPLICABILITY의 효율성 점수를 두 축으로 하는 2×2 매트릭스 형태로 구성하였다.
본 연구에서는 국방핵심기술 연구개발을 통해 산출되는 과학․기술적 연구성과와 이를 활용하여 실제 무기체계 적용 등의 실용화를 통해 창출되는 실질적인 성과를 고려한 논리 모형 기반의 3단계 전환성과를 DEA 모형을 활용하여 효율성을 분석하였다. 또한 국방핵심기술 연구개발 형태별, 기술분야별 효율성 분석 및 성과 모형을 통해 다양한 관점에서 효율성을 분석 하고 주요 시사점을 논의하였다.
이형진[21]은 DEA의 산출기반 CCR, BCC 모형을 이용하여 국방핵심기술 143개 과제에 대하여 R&D 투자 효율성을 분석하였다. 또한 기본 모형이외에 5개의 특화된 효율성 모델(자본, 노동, 특허, 논문, 실용화)로 확장하여 분석을 수행하였다. 투입변수로 연구개발비, 연구인력, 연구기간을 사용하였고, 산출변수로는 논문, 특허, 실용화 건수를 사용하였다.
다양하게 추진되고 있는 국방핵심기술개발사업 중 본 연구에서는 개별기초(basic research), 특화연구(specialized research), 응용연구 (applied research), 시험개발(experimental development)과제에 대한 성과분석 결과 조사자료를 대상으로 연구 개발 형태간 효율성 분석을 수행하였으며, 국방기획관리체계의 단점을 보완하기 위해 추진 중인 선도형/선행 핵심기술, 핵심소프트웨어 등은 아직 과제가 진행 중으로 수집된 데이터가 없어 본 연구의 분석대상에서는 제외하였다. 또한 기술분야간 효율성 차이분석을 위해 국방과학기술진흥실행계획 부록인 핵심기술기획서의 8대 기술분야인 센서, 정보통신, 제어/전자, 탄약/ 에너지, 추진, 화생방, 소재, 플랫폼/구조 기술로 과제를 분류하여 분석하였다. 분석대상 자료의 구성은 각각 Table 5, Table 6과 같다.
산출(output)에서 성과(outcome)로 전환되는 2단계는 사전에 설정한 목표를 충분히 달성했는지를 의미하는 효과성(EFFECTIVENESS)을 나타낸다. 마지막으로 투입(input) 에서 성과(outcome)로 전환되는 3단계는 투입대비 직접적 산출을 나타내는 효율성(EFFICIENCY)과 투입대비 산출된 결과를 나타내는 효과성(EFFECTIVENESS) 을 포함하는 적용성(APPLICABILITY)으로 정의하였다. 이와 같이 특정 생산활동을 투입(input), 산출(output), 성과(outcome) 요소의 3단계로 정의하고 전환 단계별로 구분하여 성과를 측정하는 접근법은 기존 연구에 서도 활용되어 온 유용한 방법이다^[29,30-32].
먼저 투입변수로는 기존 연구에서 가장 많이 사용되어 온 연구개발비, 연구인력, 연구기간을 선정하였다. 연구개발비는 정부에서 출연한 예산으로 정의하였으며, 연구개발인력은 과제 수행기간 중 투입된 총 투입인원(M/Y)으로 정의하였다.
본 연구는 선행연구를 바탕으로 효율적인 DMU 비율에 따라 성과를 측정하는 상향식 접근방식과 성과 모형을 통해 가장 우수한 유형인 Specialist와 무기체 계 활용성이 우수한 영역인 Realist 유형에 속하는 과제 비율을 이용하여 국방핵심기술 과제에 대한 연구 개발 형태별, 8대 기술분야별 성과를 비교하였다. 이처럼 두 가지 관점에서 앞서 제시한 분석결과를 종합 해보면 다음과 같다.
본 연구에서는 Fig. 1과 같이 논문, 특허 등의 연구개발 산출물과 이를 활용하여 실제 무기체계 적용 등의 실용화를 통한 실질적인 성과를 측정하기 위해 기존 선행연구를 바탕으로 투입(input), 산출(output), 성과 (outcome) 요소의 논리 모형을 구성하였다. 투입(input) 에서 산출(output)로 전환되는 1단계는 목표 달성을 위해 얼마나 최소한의 비용․시간을 투입하였는지를 의미하는 효율성(EFFICIENCY)을 나타낸다.
본 연구에서는 국방핵심기술 연구개발을 통해 산출되는 과학․기술적 연구성과와 이를 활용하여 실제 무기체계 적용 등의 실용화를 통해 창출되는 실질적인 성과를 고려한 논리 모형 기반의 3단계 전환성과를 DEA 모형을 활용하여 효율성을 분석하였다. 또한 국방핵심기술 연구개발 형태별, 기술분야별 효율성 분석 및 성과 모형을 통해 다양한 관점에서 효율성을 분석 하고 주요 시사점을 논의하였다.
성과 모형은 DEA를 통해 측정된 EFFICIENCY와 APPLICABILITY의 효율성 점수를 두 축으로 하는 2×2 매트릭스 형태로 구성하였다.
이를 위해 본 연구에서는 국방핵심기술 연구 개발사업을 통해 산출되는 직접적 측면의 과학·기술적 연구성과와 이를 활용하여 실제 무기체계 적용 등의 실용화를 통해 창출되는 간접적 측면의 실질적인 성과를 고려한 논리 모형 기반의 3단계 전환성과를 DEA 모형을 활용하여 효율성을 분석하고자 한다.
국방분야 선행연구에서는 측정 대상이 연구개발사업인 경우에는 연구개발비, 연구개발인력, 연구개발기간을 투입변수로 사용하였으며, 산출변수로는 논문, 특허, 기술확산, 실용화 실적을 사용하였다. 이와 같이 국가, 사업(또는 과제) 단위의 연구개발사업을 비롯하여 DEA를 이용하여 국방분야에서 효율성을 측정한 선행 연구들을 검토하였으며, 이를 바탕으로 Table 4와 같이 8개의 측정변수를 선정하였다.
분석에 사용된 논문, 특허 등의 성과 데이터는 전문기관의 검증을 통해 객관성이 확보된 자료이다. 제 2.3 절에의 살펴본 국방분야 효율성 분석 선행연구와 국방핵심기술의 특성, 목적 등을 고려하여 효율성 분석 목적에 부합하는 변수를 선정하였다. 연구개발사업에 대한 효율성 평가는 한정된 예산내에서 성과를 극대화하는 방안이 정책결정자의 중요한 관심사항이므로 대다수의 연구개발사업에서 효율성 분석을 위해 산출 지향 DEA 모형을 적용하였다^[16,21,32].
홍석수 외^[20]는 DEA 모형을 활용하여 절충교역으로 획득(’09~’12년)한 기술 48건을 대상으로 임의의 3개 기관의 16건 기술에 대해 효율성을 분석하였다. 투입 변수로 기술가치, 활용기간을 사용하였고, 산출변수로는 논문, 기술성숙도(TRL), 개발기술/장비 실적을 사용 하였다. 이형진[21]은 DEA의 산출기반 CCR, BCC 모형을 이용하여 국방핵심기술 143개 과제에 대하여 R&D 투자 효율성을 분석하였다.
또한 기본 모형이외에 5개의 특화된 효율성 모델(자본, 노동, 특허, 논문, 실용화)로 확장하여 분석을 수행하였다. 투입변수로 연구개발비, 연구인력, 연구기간을 사용하였고, 산출변수로는 논문, 특허, 실용화 건수를 사용하였다.
정구호^[19]는 DEA 모형을 이용한 유럽 방위산업체의 효율성 분석을 수행하였다. 투입변수로 총 자산, 종업원 수, 연구개발비를 사용하였고, 산출변수로는 총 매출액을 사용하여 업체별 상대적 효율성을 평가하였다. 분석결과, 기업합병 을 통해 거대 기업으로 성장한 EADS와 BAE 시스템 사의 효율성은 높게 나타난 반면, SAAB사는 규모 효율성이 저조하여 전반적인 효율성이 낮게 나타났다.

대상 데이터

국가 또는 사업(또는 과제) 단위의 연구개발사업에 대한 효율성 측정 연구에서는 투입변수로 R&D 스톡, 연구비, 연구인력 등을 다수 사용하였고, 산출변수로는 논문, 특허, 기술이전, 상용화 실적 등의 데이터를 사용하였다.
2와 같다. 먼저 분석대상인 2007년~2013년 착수하여 2009년~2015년 12월에 종료된 국방핵심기술 성과분석 데이터를 수집하였다. 분석에 사용된 논문, 특허 등의 성과 데이터는 전문기관의 검증을 통해 객관성이 확보된 자료이다.
본 연구는 2007년~2013년 착수하여 2009년~2015년 12월에 종료된 국방핵심기술 연구개발사업에 대한 ｢성과분석 결과 조사자료｣에 근거한 101개 과제를 대상으로 효율성을 측정하였다. 다양하게 추진되고 있는 국방핵심기술개발사업 중 본 연구에서는 개별기초(basic research), 특화연구(specialized research), 응용연구 (applied research), 시험개발(experimental development)과제에 대한 성과분석 결과 조사자료를 대상으로 연구 개발 형태간 효율성 분석을 수행하였으며, 국방기획관리체계의 단점을 보완하기 위해 추진 중인 선도형/선행 핵심기술, 핵심소프트웨어 등은 아직 과제가 진행 중으로 수집된 데이터가 없어 본 연구의 분석대상에서는 제외하였다.
먼저 분석대상인 2007년~2013년 착수하여 2009년~2015년 12월에 종료된 국방핵심기술 성과분석 데이터를 수집하였다. 분석에 사용된 논문, 특허 등의 성과 데이터는 전문기관의 검증을 통해 객관성이 확보된 자료이다. 제 2.
그리고 연구기간은 전체 연구개발 기간으로 설정하였다. 산출변수로 연구개발의 직접적 성과인 논문, 특허, 시제품을 선정하였다. 논문은 연구개발 활동의 산출 중에서 연구자의 성과를 평가하는데 널리 사용된다[26].
특허 건수는 기술혁신 역량의 가장 중요한 지표 중 하나이며, 쉽게 활용할 수 있는 장점으로 인해 혁신을 측정을 측정하는 방법으로 널리 활용되고 있다[28]. 시 제품은 과제 수행기간 중 제작된 시제품 개발 건수로 설정하였다. 성과변수로는 기술이전, 무기체계적용을 선정하였다.

데이터처리

EFFICIENCY, APPLICABILITY의 효율성에 영향을 미치는 요인을 파악하기 위해 토빗 회귀분석을 실시 하였다. DEA를 통해 측정된 효율성 지수를 종속변수로, 효율성에 영향을 미칠 것으로 예상되는 환경요인으로 핵심요소기술, 기술성숙수준, 국외협력, 후속연구 개발과제, 위탁연구과제, 민간분야 적용성을 독립변수로 선정 후 변수들 간의 상관관계 분석을 수행하였다.

이론/모형

3 절에의 살펴본 국방분야 효율성 분석 선행연구와 국방핵심기술의 특성, 목적 등을 고려하여 효율성 분석 목적에 부합하는 변수를 선정하였다. 연구개발사업에 대한 효율성 평가는 한정된 예산내에서 성과를 극대화하는 방안이 정책결정자의 중요한 관심사항이므로 대다수의 연구개발사업에서 효율성 분석을 위해 산출 지향 DEA 모형을 적용하였다^[16,21,32]. 이는 연구개발사업 효율성 개선 목적이 연구비 투자규모를 줄이는 것보다 성과를 극대화하는 것이고^[33], 연구개발사업 특성상 규모의 수익 형태가 일정하다고 가정할 수 없기 때문에^[29] 본 연구에서는 산출지향 BCC 모형을 적용하였다.
연구개발사업에 대한 효율성 평가는 한정된 예산내에서 성과를 극대화하는 방안이 정책결정자의 중요한 관심사항이므로 대다수의 연구개발사업에서 효율성 분석을 위해 산출 지향 DEA 모형을 적용하였다^[16,21,32]. 이는 연구개발사업 효율성 개선 목적이 연구비 투자규모를 줄이는 것보다 성과를 극대화하는 것이고^[33], 연구개발사업 특성상 규모의 수익 형태가 일정하다고 가정할 수 없기 때문에^[29] 본 연구에서는 산출지향 BCC 모형을 적용하였다.

성능/효과

국방핵심기술 101개의 성과분석 대상 과제를 대상으로 BCC 모형을 활용하여 단계별 효율성을 분석한 결과는 Table 9와 같다. 12~22개(11.9~21.8 %) DMU가 효율적으로 나타났으며 다수의 DMU들은 상대적으로 비효율적인 분포를 보였다. EFFICIENCY에서는 22개(21.
본 연구는 기존의 국방핵심기술 연구개발사업에서 수행되었던 투입 대비 산출 측면만을 강조한 효율성(EFFICIENCY) 관점의 성과평가뿐만 아니라 실제 핵심기술 개발의 최종 목표인 무기체계 적용을 통해 창출되는 실질적인 성과 즉, 적용성(APPLICABILITY) 을 평가하기 위해 논리 모형 기반의 3단계 전환성과를 DEA 모형을 활용하여 측정하고자 한다. 1단계(EFFICIENCY)와 2단계(EFFECTIVENESS) 전환성과가 중간 산출물을 공유하는 점을 고려하여 two-stage network DEA[36] 모형을 검토하였으나 중간 산출물 의미인 EFFECTIVENESS는 논문, 특허 등의 산출물이 무기체계 적용 등의 실질적인 성과로 이어지는 중간 단계의 성과를 의미하므로 성과관리 및 핵심기술과 제기획 측면에서 시사점 도출이 제한적이며, 상관분석 결과 APPLICABILITY와 매우 강한 상관관계를 보여 본 논문에서는 3단계 DEA 모형을 통해 측정한 EFFICIENCY와 APPLICABILITY만을 고려하여 성과 분석을 수행하였다.(제 4.
4 %) 분야 순으로 나타났다. APPLICABILITY에서는 T6(37.5 %) 분야가 가장 효율적이며, T5(25.0 %), T2(15.4 %), T3(14.3 %) 분야 순으로 나타났다. T7 분야는 EFFICIENCY, EFFECTIVENESS, APPLICABILITY 모두 효율적인 DMU가 단 한 개도 존재하지 않는 것으로 나타나 8대 기술분야 중 가장 비효율적인 분야로 나타났다.
7 %) 순으로 나타났다. APPLICABILITY에서는 프로그램 ED(25.0 %)가 효율적인 DMU 비율이 가장 높게 나타났으며, 프로그램 BR(20.0 %), SR(5.6 %) 순으로 나타났다. 프로그램 AR은 EFFICIENCY(15.
Table 13은 8대 기술분야별 분류에 따른 효율성 분석 결과를 나타낸 것이다. EFFICIENCY, APPLICABILITY 모두 T6 분야가 효율적인 DMU 비율이 상대적으로 높은 것으로 나타났다. EFFICIENCY에서는 T5, T6 분야 (50.
Table 12는 연구개발 형태에 따른 효율성 분석 결과를 나타낸 것이다. EFFICIENCY, APPLICABILITY에서는 프로그램 ED가 효율적인 DMU 비율이 상대적으로 높은 것으로 나타났다. EFFICIENCY에서는 프로그램 ED(31.
9 %) DMU가 효율적으로 나타났다. EFFICIENCY, EFFECTIVENESS, APPLICABILITY에서 모두 효율적인 DMU는 단 한 개만 존재하는 것으로 나타났다.
8 %) DMU가 효율적으로 나타났으며 다수의 DMU들은 상대적으로 비효율적인 분포를 보였다. EFFICIENCY에서는 22개(21.8 %) DMU가 효율적으로 나타났으며, EFFECTIVENESS, APPLICABILITY에서는 12개(11.9 %) DMU가 효율적으로 나타났다. EFFICIENCY, EFFECTIVENESS, APPLICABILITY에서 모두 효율적인 DMU는 단 한 개만 존재하는 것으로 나타났다.
Table 17은 DEA를 통해 측정된 효율성 지수를 종속 변수로 설정하여 토빗 회귀분석을 시행한 분석한 결과이다. EFFICIENCY에서는 기술성숙수준 변수가 추정 계수와 음(-)의 관계가 있으나 통계적으로 유의한 영향을 미치지 않는 것으로 나타났다. APPLICABILITY 에서는 민간분야 적용성 변수가 통계적으로 유의한 양(+)의 값으로 나타났다.
EFFICIENCY, APPLICABILITY에서는 프로그램 ED가 효율적인 DMU 비율이 상대적으로 높은 것으로 나타났다. EFFICIENCY에서는 프로그램 ED(31.3 %)가 효율적인 DMU 비율이 가장 높게 나타났으며, 프로그램 BR(26.7 %), SR(16.7 %) 순으로 나타났다. APPLICABILITY에서는 프로그램 ED(25.
3 %) 분야 순으로 나타났다. T7 분야는 EFFICIENCY, EFFECTIVENESS, APPLICABILITY 모두 효율적인 DMU가 단 한 개도 존재하지 않는 것으로 나타나 8대 기술분야 중 가장 비효율적인 분야로 나타났다.
T2 분야는 효율적인 DMU 비율에 따른 성과 측면에서는 중하위권으로 분류되었으며, Specialist, Realist 유형에서도 가장 낮은 성과를 보였다. T7 분야는 효율적인 DMU 비율에 따른 성과 측면에서 가장 비효율적인 기술분야로 분류되었으며, Specialist, Realist 유형에서도 낮은 성과를 보였다.
Table 15는 성과 유형에 따른 DMU의 비율을 통해 8대 기술분야별 성과를 비교한 결과를 나타낸 것이다. T8, T3 분야가 Specialist, Realist 유형에서 가장 우수한 성과를 보였으며, 성과가 가장 미흡한 분야는 T2 분야로 나타났다. 세부적으로 살펴보면, Specialist 유형의 경우, T8(37.
국방핵심기술 101개의 성과분석 대상 과제를 대상으로 BCC 모형을 활용하여 단계별 효율성을 분석한 결과, 12~22개(11.9~21.8 %) DMU가 효율적으로 나타났으며 다수의 DMU들은 상대적으로 비효율적인 분포를 보였다.
기술분야별 효율성을 분석한 결과, T6 분야는 효율적인 DMU 비율에 따른 성과 측면에서 가장 효율 적인 기술분야로 분류되었으며. Realist 유형에서는 가장 낮은 성과의 기술분야로 분류되어 성과 편차가 심한 양상을 보였다.
8 %에 해당하는 16개 과제가 EFFICIENCY, APPLICABILITY 모두 우수한 성과 유형인 Specialist에 속하는 것으로 나타났다. 논문, 특허 성과는 상대적으로 저조하지만 실용화 등의 실질적인 성과가 우수한 유형인 Realist에는 19개(18.8 %) 과제가 속하는 것으로 나타났다. 논문, 특허 성과는 우수하나 실용화 등의 실질적인 성과가 저조한 24개(23.
8 %) 과제가 속하는 것으로 나타났다. 논문, 특허 성과는 우수하나 실용화 등의 실질적인 성과가 저조한 24개(23.8 %) 과제가 Scientist 유형으로 분류되었으며, 전체 과제 중 41.6 % 해당되는 다수의 과제가 EFFICIENCY, APPLICABILITY 모두 성과가 저조한 Weaker 유형으로 분류되었다. 이처 럼 DEA 효율성 점수를 이용하여 2×2 매트릭스 형태의 성과 모형을 구축하고 성과 유형을 구분하는 것은 기존 연구에서도 활용되어 온 방법이다^[16,34].
T2 분야는 효율적인 DMU 비율에 따른 성과 측면에서는 중하위권으로 분류되었으며, Specialist, Realist 유형에서도 가장 낮은 성과를 보였다. 또한 T7 분야도 효율적인 DMU 비율에 따른 성과 측면에서 가장 비효율적인 기술분야로 분류되었으며, Specialist, Realist 유형에서도 낮은 성과를 보였다. T2, T7 분야는 전반적으로 경쟁력이 미흡하므로 비효율 원인 분석과 개선이 필요하며, 기술기획 환류를 통한 기획단계 반영 및 자원의 재분배를 통해 효율적인 영 역으로 이동할 수 있는『Catch-Up』전략이 필요하다.
이는 민간분야 대비 기술수준이 높은 국방에 특화된 과제일수록 기술이전 형태의 성과확산을 통해 효율성 증가(+)에 영향을 미치는 것을 의미한다. 또한 핵심요소기술과 위탁연구과제 변수는 통계적으로 유의한 음(-)의 값으로 나타났다. 즉, 핵심요소기술의 개수가 많고 기술적 위험도(risk)가 높 을 과제일수록 구현 난이도가 높으며, 그에 따른 기술개발에 필요한 비용, 기간 등의 투입변수 상승으로 효율성 감소(-)에 영향을 미치는 것을 의미한다.
먼저 연구개발 형태별 성과를 비교해 보면 프로그램 ED는 효율적인 DMU 비율에 따른 성과 측면에서 가장 우수한 연구개발 형태의 성과를 보였으나 성과 유 형에서는 중위권으로 분류되었다. 프로그램 SR은 효율적인 DMU 비율에 따른 성과 측면에서는 중위권으로 분류되었으나, Specialist, Realist 유형에서는 가장 우수한 연구개발 형태로 분류되었다.
투입변수로 총 자산, 종업원 수, 연구개발비를 사용하였고, 산출변수로는 총 매출액을 사용하여 업체별 상대적 효율성을 평가하였다. 분석결과, 기업합병 을 통해 거대 기업으로 성장한 EADS와 BAE 시스템 사의 효율성은 높게 나타난 반면, SAAB사는 규모 효율성이 저조하여 전반적인 효율성이 낮게 나타났다. 홍석수 외^[20]는 DEA 모형을 활용하여 절충교역으로 획득(’09~’12년)한 기술 48건을 대상으로 임의의 3개 기관의 16건 기술에 대해 효율성을 분석하였다.
T8, T3 분야가 Specialist, Realist 유형에서 가장 우수한 성과를 보였으며, 성과가 가장 미흡한 분야는 T2 분야로 나타났다. 세부적으로 살펴보면, Specialist 유형의 경우, T8(37.5 %), T1(26.1 %) 순으로 우수한 성과를 나타났으며, T2 분야는 해당 유형에 DMU가 존재하지 않는 것으로 나타났다. Realist 유형에서는 T3 분야(46.
세부적으로 살펴보면, 가장 우수한 성과 유형인 Specialist에서는 프로그램 SR(22.2 %)이 가장 우수한 성과를 보였으며, 프로그램 AR(5.3 %)은 가장 낮은 성과를 보였다. 실용화 등의 실질적인 성과가 우수한 Realist에서도 프로그램 SR(30.
3 %)은 가장 낮은 성과를 보였다. 실용화 등의 실질적인 성과가 우수한 Realist에서도 프로그램 SR(30.6 %)이 가장 우수한 성과를 보였으며, 프로그램 AR은 단 한 개의 DMU도 존재하지 않는 것으로 나타났다. 논문, 특허 등의 과 학․기술적 성과가 우수한 Scientist에서는 프로그램 AR (52.
연구개발 형태에 따른 효율성을 분석한 결과, 프로그램 ED는 효율적인 DMU 비율에 따른 성과 측면에서 가장 우수한 연구개발 형태의 성과를 보였으나 성과 유형에서는 중위권으로 분류되었다. 프로그램 SR은 효율적인 DMU 비율에 따른 성과 측면에서는 중위권으로 분류되었으나, Specialist, Realist 유형에서는 가장 우수한 연구개발 형태로 분류되었다.
4는 국방핵심기술 성과 모형에 101개의 성과분석 대상 과제를 맵핑한 결과를 나타낸 것이다. 전체 과제 중 15.8 %에 해당하는 16개 과제가 EFFICIENCY, APPLICABILITY 모두 우수한 성과 유형인 Specialist에 속하는 것으로 나타났다. 논문, 특허 성과는 상대적으로 저조하지만 실용화 등의 실질적인 성과가 우수한 유형인 Realist에는 19개(18.
토빗 회귀분석으로 효율성에 영향을 미치는 요인을 분석한 결과, 민간분야 적용성은 효율성 증가(+)에 영향을 미치며, 핵심요소기술과 위탁연구과제 건수는 효율성 감소(-)에 영향을 미치는 것으로 나타났다.
6 %) 순으로 나타났다. 프로그램 AR은 EFFICIENCY(15.8 %), EFFECTIVENESS(5.3 %), APPLICABILITY(0 %) 모두 효율적인 DMU 비율이 낮게 나타나 4개 프로그램 중 가장 비효율적인 연구개발 형태의 특징을 보이고 있다.
프로그램 SR은 효율적인 DMU 비율에 따른 성과 측면에서는 중위권으로 분류되었으나, Specialist, Realist 유형에서는 가장 우수한 연구개발 형태로 분류되었다. 프로그램 AR은 효율 적인 DMU 비율에 따른 성과 측면에서 가장 비효율 적인 연구개발 형태로 분류되었고, Specialist, Realist 유형에서도 가장 낮은 성과를 보였다.
프로그램 SR은 효율적인 DMU 비율에 따른 성과 측면에서는 중위권으로 분류되었으나, Specialist, Realist 유형에서는 가장 우수한 연구개발 형태로 분류되었다. 프로그램 AR은 효율 적인 DMU 비율에 따른 성과 측면에서 가장 비효율 적인 연구개발 형태로 분류되었고, Specialist, Realist 유형에서도 가장 낮은 성과를 보였다.
먼저 연구개발 형태별 성과를 비교해 보면 프로그램 ED는 효율적인 DMU 비율에 따른 성과 측면에서 가장 우수한 연구개발 형태의 성과를 보였으나 성과 유 형에서는 중위권으로 분류되었다. 프로그램 SR은 효율적인 DMU 비율에 따른 성과 측면에서는 중위권으로 분류되었으나, Specialist, Realist 유형에서는 가장 우수한 연구개발 형태로 분류되었다. 프로그램 AR은 효율 적인 DMU 비율에 따른 성과 측면에서 가장 비효율 적인 연구개발 형태로 분류되었고, Specialist, Realist 유형에서도 가장 낮은 성과를 보였다.
Table 14는 성과 유형에 따른 DMU의 비율을 통해 연구개발 형태별 성과를 비교한 결과이다. 프로그램 SR이 Specialist(22.2 %), Realist(30.6 %) 유형에서 가장 우수한 성과를 보였으며, 프로그램 AR은 Scientist(52.6 %) 유형에서는 우수한 성과를 보였으나 Specialist, Realist 유형에서는 가장 낮은 성과를 보였다.
Table 16은 토빗 회귀분석에 사용된 변수들 간의 상관 관계를 분석한 결과이다. 회귀분석에서 사용된 변수들 간의 다중공선성을 확인하기 위해 공선성 통계량을 측정한 결과, 분산팽창계수(Variation Inflation Factor, VIF)가 1.082(국외협력)~1.405(민간분야 적용성)의 값을 가져 변수들간의 다중공선성 문제는 없는 것으로 나타났다.(일반적으로 VIF가 10 미만이면 다중공선성의 문제가 없다고 판단)

후속연구

이러한 한계는 지속적인 연구를 통해 수정 보완하고자 한다. 둘째, DEA 분석을 위한 변수 선정 시 단순히 논문, 특허 건수의 양적인 측면을 고려하였으나, 논문 게재 저널의 영향력 지수(Impact Factor), 특허의 피인용 수, 품질지표 등의 질적 측면을 추가 고려하여 평가 결과에 대한 신뢰성 제고가 필요하다. 셋째, 자료 확보 제약으로 인해 국방핵심기술 연구개발사업에 대한 정적 효율성 분석만을 수행하였으나, 향후에는 시계열(time-series) 자료를 이용하여 시간의 변화에 따른 효율성의 동태적인 변화를 파악할 수 있는 WINDOW 모형^[35] 등을 활용한 동적 효율성 분석에 대한 추가 연구가 필요하다.
본 연구는 기존의 국방핵심기술 연구개발사업에서 수행되었던 투입 대비 산출 측면만을 강조한 효율성 (EFFICIENCY) 관점의 성과평가와 더불어 실제 무기체계 적용 등의 실용화를 통해 창출되는 실질적인 성과를 고려한 다양한 관점에서의 성과를 측정하고 한정된 자원의 효율적 활용과 성과 제고를 위한 핵심기술기획에 시사점을 제시하였다는데 의의가 있다. 또한 도출된 시사점을 과제 성과관리에 활용하고 기술기획 환류를 통해 과제기획 단계에 반영하는 선순환 구조 확립을 위한 유용한 정보로 활용될 수 있을 것으로 본다.
이와 같은 성과평가를 통해 기존의 국방핵심기술 연구개발사업에서 수행되었던 투입 대비 산출 측면만 을 강조한 효율성(EFFICIENCY) 관점의 성과평가와 더불어 다양한 관점에서의 성과를 측정하고 한정된 자원의 효율적 활용과 성과 제고를 위한 핵심기술기획에 시사점을 제공할 수 있다. 또한 도출된 시사점을 성과관리에 활용하고 기술기획 환류를 통해 과제기획 단계에 반영하는데 유용한 정보로 활용될 수 있다.
본 연구는 국방핵심기술 연구개발을 통해 산출되는 직접적 측면의 과학․기술적 연구성과와 이를 활용하여 실제 무기체계 적용 등의 실용화를 통해 창출되는 간접적 측면의 실질적인 성과를 측정하여 매트릭스 형태의 성과 모형을 통해 다양한 관점에서 연구개발 성과를 분석한다는 측면에서 기존 연구와 차별화된다고 할 수 있다.
또한 국방핵심기술 연구개발 형태별, 기술분야별 효율성 분석 및 매트릭스 형태의 성과 모형을 통해 다양한 관점에서 효율성을 분석하고 주요 시사점을 논의하고자 한다. 본 연구는 도출된 시사점을 과제 성과관리에 활용하고 기술기획 환류를 통해 과제기획 단계에 반영하는데 활용될 수 있을 것이다.
둘째, DEA 분석을 위한 변수 선정 시 단순히 논문, 특허 건수의 양적인 측면을 고려하였으나, 논문 게재 저널의 영향력 지수(Impact Factor), 특허의 피인용 수, 품질지표 등의 질적 측면을 추가 고려하여 평가 결과에 대한 신뢰성 제고가 필요하다. 셋째, 자료 확보 제약으로 인해 국방핵심기술 연구개발사업에 대한 정적 효율성 분석만을 수행하였으나, 향후에는 시계열(time-series) 자료를 이용하여 시간의 변화에 따른 효율성의 동태적인 변화를 파악할 수 있는 WINDOW 모형^[35] 등을 활용한 동적 효율성 분석에 대한 추가 연구가 필요하다.
따라서 국방핵심기술개 발사업의 연구개발 형태와 사업별 특성에 맞게 구분한 후에 어느 정도 동질성이 확보된 사업형태 내에서 상대적인 성과를 비교할 필요가 있다. 이러한 한계는 지속적인 연구를 통해 수정 보완하고자 한다. 둘째, DEA 분석을 위한 변수 선정 시 단순히 논문, 특허 건수의 양적인 측면을 고려하였으나, 논문 게재 저널의 영향력 지수(Impact Factor), 특허의 피인용 수, 품질지표 등의 질적 측면을 추가 고려하여 평가 결과에 대한 신뢰성 제고가 필요하다.
이상의 상관관계 분석결과를 종합해 볼 때, 투입변수(input)를 공유하는 EFFICIENCY 효율성 점수는 APPLICABILITY 효율성 점수와 다른 양상을 보이므로 기존의 국방분야 효율성 분석 연구에서 수행되었던 EFFICIENCY 중심의 성과평가와는 별도로 핵심기술 개발의 최종 목표인 무기체계 적용을 통해 창출되는 실질적인 성과를 측정할 수 있는 APPLICABILITY 측면의 성과평가가 필요함을 보여준다.
본 연구는 다음과 같은 한계점을 가지고 있으며, 이를 보완하기 위한 후속 연구가 필요하다. 첫째, 효율성 분석을 위해 선정한 DEA 모형, DMU 설정 방법 등에 따라 분석 결과가 달라질 수 있으므로 분석 결과의 신뢰성 제고를 위해 해당 사업의 특성을 고려한 보다 정밀한 보완분석이 필요하다. 본 연구에서는 신뢰성 있는 성과분석 결과를 위해서 논리모형 기반의 동일한 프로세스(투입-산출-성과) 단계별 공통 성과지표를 반영한 조사표에 근거하여 수집된 데이터를 바탕으로 성과분석을 수행하였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	DEA란 어떤 측정 방식인가?	DEA는 선형계획법(Linear Programming, LP)에 바탕을 둔 효율성 측정개념으로 평가대상의 투입물과 산출물 간의 자료를 이용하여 가장 효율적인 프론티어를 도출한 후, 다른 평가대상들이 이 프론티어로부터 얼마나 떨어져 있는지의 거리(distance)를 측정하여 상대적인 방식으로 비효율성을 측정하는 방법이다[4,5].
	최근 국방연구개발 예산의 증액 요구가 증대되고 있는 데에는 어떤 이유가 있는가?	최근에는 우주, 무인․로봇 등 과학기술 기반 전쟁양상으로 변하하는 미래전에 대비할 수 있는 핵심기술 및 미래 첨단무기 독자개발능력 확보를 위해 연구개발 예산의 증액 요구가 증대되고 있다. 또한 국방 선진국 들의 국방기술 통제 강화에 따라 기술이전 및 판매를 기피하는 핵심기술 확보를 위한 예산 요구도 증가하고 있는 실정이다. 이러한 국가안보 및 첨단무기체계 독자 개발능력 확보 요구에 따른 필요한 재원을 확보하기 위해 국방연구개발 예산의 투자에 대한 효율성 제고가 매우 중요하게 부각되고 있으며, 전략적 예산 배분․조 정 등 한정된 국방연구개발 예산의 효율적 활용을 위한 성과분석에 대한 중요성도 함께 증대되고 있다.
	국방핵심기술 개발이 중요한 이유는 무엇인가?	국방핵심기술 개발은 기술자립과 경제효과로 파급되어 국가산업 전반에 영향을 미치는 역할뿐만 아니라 독자적인 첨단무기 개발능력 확보를 통해 방위산업의 해외 의존도를 줄일 수 있다는 차원에서 매우 중요하다. 국방과학기술 선진국의 경우에는 대규모 연구개발 투자와 국방기술 혁신의 노력으로 독자적인 기술력을 확보하고, 새로운 첨단무기를 개발하여 자국의 안보는 물론 방산수출을 통한 국가경제에도 기여하고 있다[1].

참고문헌 (36)

S. Park, J. Na, "A Study on the Efficiency Analysis of Defense R&D Project by using DEA Model : Focusing Application and Testing Technology," Korean Association of Industrial Business Administration, Vol. 30, No. 3, pp. 57-84, 2015.
S. Choi, H. Cho, J. Kang, J. Han, B. Kim, Y. Seo, J. Lee, "A Study on the Efficiency Reward and Improvement Patterns for Enhancing National R&D Performance," Seoul : Ministry of Education. University of Seoul, 2011.
H. Lee, S. Yang, "Efficiency Analysis of Defense Technology R&D Project," Korea Technology Innovation Conference Annual Conference, Vol. 23, No. 1, pp. 92-105, Fall, 2014.
Y. Park, "Technology and Management for Engineers," Life and Power Press, Gyeonggi-do, 2011.
M. Park, "Efficiency and Productivity Analysis," Korea Scholarship Information, Gyeonggi-do, 2008.
E. C. Wang and W. Huang, "Relative Efficiency of R&D Activities: A Cross-country Study Accounting for Environmental Factors in the DEA Approach," Research Policy, Vol. 36, No. 2, pp. 260-273. 2007.

상세보기
M. J. Farrell, "The Measurement of Productive Efficiency," Journal of the Royal Statistical Society, Series A, Vol. 120, No. 3, pp. 253-290, 1957.

상세보기
Charnes, A., Cooper, W. and Rhodes, E., "Measuring the Efficiency of Decision-making Units," European Journal of Operational Research, Vol. 2, No. 6, pp. 429-444, 1978.

상세보기
Banker, R. D., Chanes, A. and Cooper, W. W., "Some Models for Estimating Technical and Scale Inefficiency in Data Envelopment Analysis," Management Science, Vol. 30, No. 9, pp. 1078-1092, 1984.

상세보기
S. Jung, H. Yu, "Operational Efficiency Analysis of Defense Industry using Fuzzy-DEA," Journal of Korea Association of Defense Indusry Studies, Vol. 18, No. 2, pp. 62-80, 2011.
S. Park, K. Kim, S. Jung, "The Study on the Analysis of Efficiency of Governmental R&D Programs Regarding to the S&T Outcomes," Journal of Korea Technology Innovation Society, Vol. 14, No. 2, pp. 205-222, 2011.
S. Park, S. Hong, "R&D Efficiency and Productivity Analysis by OECD Countries using Non-parametric Methods," Journal of Technology Innovation, Vol. 11, No. 2, pp. 151-174, 2003.
H. Lee, Y. Park, "An International Comparison of R&D Efficiency: DEA Approach," Asian Journal of Technology Innovations, Vol. 13, No. 2, pp. 207- 222, 2005.

상세보기
S. Byun and J. Han, "Efficiency Estimations for the Government Driven R&D Projects in IT Industries," Hannam Journal of Law and Technology, Vol. 15, No. 2, pp. 179-206, 2009.
T. Kim, I. Kim, S. Ahn, K. Lee, "A Way to Enhance Efficiency of Nuclear Program in Korean R&D Program by Data Envelopment Analysis," Journal of Korea Technology Innovation Society, Vol. 12, No. 1, pp. 70-87, 2009.
C. Lee, K. Cho, "Efficiency Analysis and Strategic Portfolio Model of National Health Technology R&D Program using DEA : Focused on Translational Research," Journal of the Korean Institute of Industrial Engineers, Vol. 40, No. 2, pp. 172-183, 2014.

원문보기 상세보기
I. Um, C. Baek, S. Hong, "The Efficiency Analysis of National R&D Program for Drug Development using Range Adjusted Measure," Journal of Korea Technology Innovation Society, Vol. 19, No. 4, pp. 711-735, 2016.
Hsu, F. M. and Hsueh, C. C., "Measuring Relative Efficiency og Government sponsored R&D Projects: A Three-stage Approach," Evaluation and Program Planning, Vol. 32, No. 2, pp. 178-186, 2009.

상세보기
G. Jeong, "The Efficiency Analysis of European Defense Industry using DEA Model," Master Thesis in Defense, 2005.
S. Hong, J. Seo, S. Shim, "An Analysis of Application Performance of Defense R&D Technologies Acquired by Offset Programs," Journal of Technology Innovation, Vol. 22, No. 2, pp. 1-30, 2014.
H. Lee, "A Study on Analyzing the Efficiency of Defense R&D Projects : DEA Approach," Ph.d Thesis in Konkuk, 2015.
K. Jun, S. Jung, H. Yoo, "Analysis of the Efficiency of Domestic Defense Industries Considering a Return to Scale : Focused on Production Costs and R&D Inputs," Journal of Korea Association of Defense Indusry Studies, Vol. 19, No. 2, pp. 1-19, 2012.
S. Hwang, et. al., "Efficiency of National R&D Investment," STEPI Policy Research Vol. 4, pp. 197-218, 2009.
J. Kim, J. Hong, "Global Competitiveness Analysis of National Defense Industry : DEA and Malmquist Production Analysis," Journal of the Korea Academia-Industrial Cooperation Society, Vol. 16, No. 12, pp. 8378-8385, 2015.

원문보기 상세보기
S. Byun, J. Han, "Efficiency Estimations for the Government Driven R&D Projects in IT Industries," Institute for Law of Science and Technology, Vol. 15, No. 2, pp. 179-206, 2009.
"OECD Science, Technology and Industry Scoreboard," Paris, 2001.
Raggi, A., "Technological Growth in the Italian Economy : Some Indicators Compared," Technovation, Vol. 13, No. 1, pp. 3-15, 1993.

상세보기
Chen, Y., Shu, Z., F., Hu, F., Meyer, Z., Martin, M., and Bhattacharya, S., "A Patent Based Evaluation of Technological Innovation Capability in Eight Economic Regions in PR China," World Patent Information, Vol. 31, No. 2, pp. 104-110, 2009.

상세보기
I. Jeon, H. Lee, "Performance Evaluation of R&D Commercialization : A DEA-Based Three-Stage Model of R&BD Performance," Journal of the Korean Institute of Industrial Engineers, Vol. 41, No. 5, pp. 425-438, 2015.

원문보기 상세보기
Keh, H. T. and Chu, S., "Retail Productivity and Scale Economies at the Firm Level : A DEA Approach," Omega, Vol. 31, No. 2, pp. 75-82, 2003.

상세보기
Keh, H. T., Chu, S., and Xu, J., "Efficiency, Effectiveness and Productivity of Marketing in Services," European Journal of Operational Research, Vol. 170, No. 1, pp. 265-276, 2006.

상세보기
Jeon, J., Kim, C., and Lee, H., "Measuring Efficiency of Total Productive Maintenance : A Three-Stage Data Envelopment Analysis Approach," Total Quality Management and Business Excellence, Vol. 22, No. 8, pp. 911-924, 2011.

상세보기
S. Lee, T. Kim, H. Lee, "Measuring the Dynamic Efficiency of Government Research Institutes in R&D and Commercialization by DEA Window Analysis," Korean Management Science Review, Vol. 32, No. 4, pp. 193-207, 2015.

원문보기 상세보기
Chun, H. and Lee, H., "A DEA-Based Portfolio Model for Performance Management of Online Games," Journal of the Korean Institute of Industrial Engineers, Vol. 39, No. 4, pp. 260-270, 2013.

원문보기 상세보기
Cooper, W. W., Seiford, L. M. and Tone, K., "Data Envelopment Analysis : A Comprehensive Text with Models, Applications, References and DEA-Solver Software," Second Edition, New York: Springer, 2007.
Kao, C. and Hwang, S. N., "Efficiency Decomposition in Two-Stage Data Envelopment Analysis : An Application to Non-lifeinsurance Companies in Taiwan," European Journal of Operational Research, Vol. 185, No. 1, pp. 418-429, 2008.

상세보기

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증