선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 이러한 실증분석 결과를 볼 때 높은 기술료수입을 창출하는 기관의 기술은 더 높은 가격으로 기술시장에서 거래될 수 있다고 볼 수 있다. 따라서 기술개발기관의 명성에 따라 영향을 받는 기술의 수익성을 고려하기 위해 기술수익지수를 개발하였다.
- 본 연구에서도 델파이기법, 요인분석 및 AHP를 활용하여 국방 R&D기술 평가 시 반드시 고려해야 할 평가항목을 개발하였고 이를 통해 전문가 의견을 점수화하여 반영할 수 있도록 하였다. 또한 본 연구에서는 정량적 데이터를 다중회귀모형을 통해 분석하여 기술개발기관의 기술 수익창출력을 고려한 기술 등급평가가 가능하도록 하였다.
- 본 연구에서는 국방 R&D기술 평가 시 기술이 창출하는 수익을 고려하고 기술에 대한 전문가 의견을 반영할 수 있는 등급평가모형을 제시하였다.
- 본 연구에서는 기술이 창출하는 수익을 고려하는 동시에 전문가들의 평가대상기술에 대한 의견을 정량화하여 반영할 수 있는 방법론을 개발하였다. 기술이 창출하는 수익을 고려하기 위해서 기술료수입을 종속변수로 하는 다중회귀모형을 구성하였고, 도출한 다중회귀식을 통해 기술료수입의 예측치를 산출한 후 그 값을 기술수익지수 도출에 활용하였다.
- 본 장에서는 국방 R&D기술 등급평가 방법론을 적용한 기술 등급평가 사례를 간략히 살펴보고자 한다.
- 앞서 도출한 평가항목들은 기술평가 시 반드시 고려해야 할 항목이므로, 해당 항목들로 구성한 설문지를 전문가들에게 배포, 평가대상기술에 대한 각 세부항목들의 평가점수 및 항목별 중요도에 대한 가중치에 대한 응답을 받았다. 가중치는 일반적인 AHP계산방식에 따라 쌍대비교 설문의 결과를 행렬화한 후 행렬의 곱으로 계산하였다.
- 감시·정찰 무기체계와 관련하여 국내 주요 연구기관이 연구개발하여 보유 중인 국방기술 A를 대상으로 평가를 수행하였다. 이러한 간략한 모형 적용 연구를 통해 방법론의 실무 적용가능성 및 타당성을 검증하고자 하였다.
- 이에 본 연구에서는 국방 R&D기술에 대한 체계적 평가를 수행하여 기술의 중요도에 따른 등급을 산출할 수 있는 방법론을 제시하였다.
제안 방법
- 1차 델파이 설문조사 결과 도출된 평가지표들에 대해 전문가들이 부여하는 중요도를 살펴보고자 2015년 8월6일에서부터 8월 13일까지 2차 델파이 설문조사를 실시하였고, 해당 평가항목의 중요도 설문을 위해 9점 리커트(Likert) 척도를 활용하였다. 9점 리커트(Likert) 척도활용을 통해 보다 구체적인 전문가 의견을 반영할 수 있었다.
- 1차 델파이 설문조사 시 국방 R&D기술 평가에 사용가능한 56개항목이 검토되었으며, 전문가들의 설문 응답을 종합하여 그 중에서도 중요하게 고려되어야 할 항목을 예비평가항목으로 선정하였다.
- 또한 전문가들의 평가대상기술에 대한 의견을 정량적으로 반영하기 위해 델파이법을 활용하여 기술평가 시 반드시 고려되어야 할 평가항목을 선정하였으며, 요인분석을 통해 각 평가항목들을 설명할 수 있는 5개 요인을 추출하였다. AHP를 활용하여 5개요인은 대항목으로, 각 요인으로 설명가능한 14개 항목은 세부항목으로 설정하여 평가항목을 구조화하였다. 구조화된 평가항목들은 기술평가 시 반드시 고려해야 할 항목이므로, 해당 항목들로 구성한 설문지를 전문가들에게 배포, 평가대상기술에 대한 각 세부항목 평가점수 및항목별 중요도에 대한 가중치를 구하여 평가대상기술의 기술력평가지수를 산출한다.
- 가중치는 일반적인 AHP계산방식에 따라 쌍대비교 설문의 결과를 행렬화한 후 행렬의 곱으로 계산하였다. 가중치 산출 시 CR(일관성 지수)를 고려하였다.이러한 방식으로 전문가들이 설문에 응답한 결과를 종합하여 평가대상기술에 대한 기술력평가지수를 산출한다.
- 산출된 기술수익지수와 기술력평가지수의 가중평균에 대해 Table 7과 같은 등급표를 적용하여 점수별 기술등급을 도출한다. 과거 문헌 및 사례조사를 참조하여 등급표를 구성하고 10명의 기술가치평가 전문가들의 의견을 참조하여 최종 확정하였다.
- AHP를 활용하여 5개요인은 대항목으로, 각 요인으로 설명가능한 14개 항목은 세부항목으로 설정하여 평가항목을 구조화하였다. 구조화된 평가항목들은 기술평가 시 반드시 고려해야 할 항목이므로, 해당 항목들로 구성한 설문지를 전문가들에게 배포, 평가대상기술에 대한 각 세부항목 평가점수 및항목별 중요도에 대한 가중치를 구하여 평가대상기술의 기술력평가지수를 산출한다. 다중회귀분석을 통해 도출한 기술수익지수와 전문가의견 반영을 통해 산출한 기술력평가지수의 가중평균을 구한 후, 가중평균의 크기에 따라 기술 등급을 도출한다.
- 국방 R&D기술 가치에 대한 전문가 의견을 다각적 측면에서 반영하기 위한 평가요소로 기술력평가지수를 개발하였다.
- 국방 R&D기술 평가항목을 개발하기 위해서 델파이기법을 적용하여 전문가들의 의견을 반영하였고, AHP 및 요인분석기법을 적용하여 평가항목을 구조화하였다.
- 기술개발기관이 기술을 통해 수익을 창출하는 능력을 반영하기 위해 기술수익지수를 개발하였다. 기술개발기관의 기술료수입을 종속변수로 하는 다중회귀모형을 적용하여 도출하는데, 모형을 통해 예측되는 기술료수입이 클수록 높은 기술수익지수가 산출된다.
- 기술수익지수와 기술력평가지수를 가중평균하여 산출된 점수를 기준으로 기술등급을 도출한다. 만약 기술수익지수에 0.
- 기술수익지수와 기술력평가지수의 중요도를 고려하여 두 지수의 가중평균을 구하고, 그 크기에 따라 기술등급을 산출한다.
- 본 연구에서는 기술이 창출하는 수익을 고려하는 동시에 전문가들의 평가대상기술에 대한 의견을 정량화하여 반영할 수 있는 방법론을 개발하였다. 기술이 창출하는 수익을 고려하기 위해서 기술료수입을 종속변수로 하는 다중회귀모형을 구성하였고, 도출한 다중회귀식을 통해 기술료수입의 예측치를 산출한 후 그 값을 기술수익지수 도출에 활용하였다. 또한 전문가들의 평가대상기술에 대한 의견을 정량적으로 반영하기 위해 델파이법을 활용하여 기술평가 시 반드시 고려되어야 할 평가항목을 선정하였으며, 요인분석을 통해 각 평가항목들을 설명할 수 있는 5개 요인을 추출하였다.
- 구조화된 평가항목들은 기술평가 시 반드시 고려해야 할 항목이므로, 해당 항목들로 구성한 설문지를 전문가들에게 배포, 평가대상기술에 대한 각 세부항목 평가점수 및항목별 중요도에 대한 가중치를 구하여 평가대상기술의 기술력평가지수를 산출한다. 다중회귀분석을 통해 도출한 기술수익지수와 전문가의견 반영을 통해 산출한 기술력평가지수의 가중평균을 구한 후, 가중평균의 크기에 따라 기술 등급을 도출한다.
- 대상 기술인 A기술에 대한 국방 전문가집단의 의견을 체계적으로 반영하기 위해, 앞서 도출한 14개의 평가항목을 활용하여 전문가 설문을 실시하였다. 전문가 설문을 통해 평가된 점수는 100점을 기준으로 80점이 산정되었으며 구체적인 결과는 Table 8에 제시하였다.
- 독립변수는 연구개발비,발명건수, 기술홍보자료건수 및 업적반영률(R&DExpenses, Invention Report, PR 및 Scoring Rate)이다.
- 기술이 창출하는 수익을 고려하기 위해서 기술료수입을 종속변수로 하는 다중회귀모형을 구성하였고, 도출한 다중회귀식을 통해 기술료수입의 예측치를 산출한 후 그 값을 기술수익지수 도출에 활용하였다. 또한 전문가들의 평가대상기술에 대한 의견을 정량적으로 반영하기 위해 델파이법을 활용하여 기술평가 시 반드시 고려되어야 할 평가항목을 선정하였으며, 요인분석을 통해 각 평가항목들을 설명할 수 있는 5개 요인을 추출하였다. AHP를 활용하여 5개요인은 대항목으로, 각 요인으로 설명가능한 14개 항목은 세부항목으로 설정하여 평가항목을 구조화하였다.
- 이에 최종적으로 158개 기관의 2012년 공공기술이전·사업화 현황 데이터 사용하여 다중회귀분석을 수행하였다. 본 연구에서는 기술개발기관의 연간 기술료수입(Royalty Income)을 종속변수로 두고, 기술료수입에 통계적으로 유의미한 영향을 미치는 독립변수들을 추출하여 다중회귀모형을 구성하였다. 독립변수는 연구개발비,발명건수, 기술홍보자료건수 및 업적반영률(R&DExpenses, Invention Report, PR 및 Scoring Rate)이다.
- 본 연구에서는 기술료수입을 종속변수로 둔 후, 기술료수입에 통계적으로 유의미한 영향을 미치는 독립변수들을 활용하여 다중회귀모형을 구성하였다. 회귀분석한 결과는 Table 4와 같다.
- 본 연구에서도 델파이기법, 요인분석 및 AHP를 활용하여 국방 R&D기술 평가 시 반드시 고려해야 할 평가항목을 개발하였고 이를 통해 전문가 의견을 점수화하여 반영할 수 있도록 하였다.
- 요인분석 시 요인 추출에는 주축요인추출법을 사용하였고,요인 회전에는 일반적으로 널리 쓰이는 배리맥스(Varimax) 직각회전을 적용하였다. 분석결과, 고윳값(Eigenvalue)이 최소 1.0 이상인 요인들을 선정하였으며,선정된 요인 내에서 요인적재값(Factor Loading)이 0.5이상인 평가항목들을 유의미한 항목으로 보고 구조화하였다. 최종적으로, 평가항목의 요인분석 결과는 Table 6과 같다.
- 선정된 전문가들에게 본 연구에 대한 설명을 하고 사전에 관련 문헌을 공유한 후, 2015년 7월 15일부터 7월31일까지 1차 델파이 설문조사를 실시하였다. 1차 델파이 설문조사 시 국방 R&D기술 평가에 사용가능한 56개항목이 검토되었으며, 전문가들의 설문 응답을 종합하여 그 중에서도 중요하게 고려되어야 할 항목을 예비평가항목으로 선정하였다.
- 요인분석 결과를 바탕으로 5개 요인을 대항목으로 설정하였고, 5개 요인으로 설명 가능한 14개 항목을 세부항목으로 설정하여 평가항목을 구조화하였다. 평가항목을 구조화한 결과는 Fig.
- 가중치 산출 시 CR(일관성 지수)를 고려하였다.이러한 방식으로 전문가들이 설문에 응답한 결과를 종합하여 평가대상기술에 대한 기술력평가지수를 산출한다.
- 전술한 전문가 설문을 통해 선정된 국방 R&D기술 평가용 항목들을 대상으로 요인분석을 실시하여, 평가항목들을 상호연관성에 따라 구조화·계층화하는 작업을 수행하였다.
- 즉, 국방 R&D기술 평가 시, 기술수익지수와 기술력평가지수를 각각 산출한 후, 두 지수의 가중평균을 계산하여 그 크기에 따라 등급을 산출한다.
- 이삼열 외[12]는 국내 정보통신 분야의 대표적인 평가시스템이라 할 수 있는 정보통신 이전기술 등급평가를 연구대상으로 선정하여 해당 평가지표를 개선하였다. 축적된 3개년 기술평가 데이터를 대상으로 탐색적 요인분석 및 확증적 요인분석을 실시하여 해당 평가지표들이 가지고 있는 문제점을 분석하였고, 최종적으로 기술성,시장성, 규제요인의 3요인 평가지표 체계를 제시하였다.
- 국방 R&D기술 평가항목을 개발하기 위해서 델파이기법을 적용하여 전문가들의 의견을 반영하였고, AHP 및 요인분석기법을 적용하여 평가항목을 구조화하였다. 평가항목 구조화 결과를 바탕으로 최종적인 대항목과 세부항목을 확정하였다.
대상 데이터
- 2013년 산업통상자원부가 종합한 공공기술이전·사업화 현황 데이터(2012년 연말 기준 데이터, 총 275개 기관) 중 공공기술이전·사업화를 통한 기술료수입이 있는 160개 기관 데이터를 예비 분석 대상으로 하였다.
- 감시·정찰 무기체계와 관련하여 국내 주요 연구기관이 연구개발하여 보유 중인 국방기술 A를 대상으로 평가를 수행하였다.
- 전문가 의견 반영을 위해 1차, 2차에 걸쳐 진행한 설문조사는 국방 분야 전문가 31명이 참여하였다. 국방 분야 정부부처 및 공공기관에서 국방기술 전문가 7명, 국방기술평가 전문가 7명이 참여하였고, 방산제품을 생산하는 대기업 및 중소기업에서 17명의 전문가가 참여하였다.
- 33이상(설문대상 30명 기준 최솟값)인 평가항목을 적절한 항목으로 판단하였다. 그리고 적절하다고 판단된 평가항목 중 중요도가 높다고 평가된 상위 20개의 평가항목을 요인분석 대상 평가항목으로 선정하였다.
- 이에 최종적으로 158개 기관의 2012년 공공기술이전·사업화 현황 데이터 사용하여 다중회귀분석을 수행하였다.
- 전문가 의견 반영을 위해 1차, 2차에 걸쳐 진행한 설문조사는 국방 분야 전문가 31명이 참여하였다. 국방 분야 정부부처 및 공공기관에서 국방기술 전문가 7명, 국방기술평가 전문가 7명이 참여하였고, 방산제품을 생산하는 대기업 및 중소기업에서 17명의 전문가가 참여하였다.
- 1차 델파이 설문조사 시 국방 R&D기술 평가에 사용가능한 56개항목이 검토되었으며, 전문가들의 설문 응답을 종합하여 그 중에서도 중요하게 고려되어야 할 항목을 예비평가항목으로 선정하였다. 총 39개의 예비평가항목이 선정되었으며 해당 항목들은 2차 델파이 설문조사에서 재검토되었다.
데이터처리
- 앞서 도출한 평가항목들은 기술평가 시 반드시 고려해야 할 항목이므로, 해당 항목들로 구성한 설문지를 전문가들에게 배포, 평가대상기술에 대한 각 세부항목들의 평가점수 및 항목별 중요도에 대한 가중치에 대한 응답을 받았다. 가중치는 일반적인 AHP계산방식에 따라 쌍대비교 설문의 결과를 행렬화한 후 행렬의 곱으로 계산하였다. 가중치 산출 시 CR(일관성 지수)를 고려하였다.
- VIF분석결과, 연구개발비, 발명건수, 기술홍보자료건수 및 업적반영률의 VIF는 2이하의 값을 가져 다중공선성 문제가 없음을 확인하였다. 이에 상기의 독립변수들을 모두 사용하여 다중회귀분석을 진행하였다. VIF분석 상세결과는 Table 3과 같다.
이론/모형
- 요인분석은 내재된 요인추출, 요인 수 결정, 요인 회전, 결과 분석 및 해석의 과정으로 구성된다. 요인분석 시 요인 추출에는 주축요인추출법을 사용하였고,요인 회전에는 일반적으로 널리 쓰이는 배리맥스(Varimax) 직각회전을 적용하였다. 분석결과, 고윳값(Eigenvalue)이 최소 1.
성능/효과
- 9점 리커트(Likert) 척도활용을 통해 보다 구체적인 전문가 의견을 반영할 수 있었다. 2차 델파이 설문조사 결과, 추가적인 설문 필요를 판단하는 변이계수의 경우, 모든 평가지표에 대해 0.5이하로 계산되어 추가적인 설문은 불필요한 것으로 판단되었다. 한편, 평가지표가 평가하고자 하는 내용을 얼마나 잘 대표하는지 평가하는 내용타당도(CVR)가 0.
- VIF(분산팽창계수)가 10 이상이면 다중공선성이 변수 삭제를 고려해볼 만큼 높은 수준임을 의미한다[14]. VIF분석결과, 연구개발비, 발명건수, 기술홍보자료건수 및 업적반영률의 VIF는 2이하의 값을 가져 다중공선성 문제가 없음을 확인하였다. 이에 상기의 독립변수들을 모두 사용하여 다중회귀분석을 진행하였다.
- 기술개발기관의 연구개발비, 발명건수, 기술홍보자료건수 및 업적반영률을 활용하여 기술료수입 예측치를 계산한 결과 3,265백만원이 도출되었다. 실제 기술료수입 데이터의 분포 상에서 봤을 때 3,265백만원의 백분위는 91이다.
- 성웅현[11]은 기존 평점평가의 문제점을 보완하고 개선하기 위해서 기술종합지수를 개발하였다. 기술평가에서 널리 사용되는 평점평가방법은 해당 기술의 절대적인 경쟁력을 평가하는데 유용하게 사용될 수 있으나, 기술의 상대적인 경쟁력을 표현하기 위해서 기술종합지수를 함께 적용하는 것이 보다 적절하다는 결론을 제시하였다.
- 네 번째 요인은 가동률 향상, 방위산업 수출역량 향상 항목이 포함되어 ‘산업성’으로 정의 하였다.
- 두 번째 요인은 무기체계 성능향상, 국산화기여도, 무기체계 개량 능력 향상 항목이 포함되어 ‘파급성’으로 정의하였다.
- Cohen[15]에 따르면 결정계수가 13%이상이면 회귀모형이 유효하다. 또한 모든 독립변수들(연구개발비, 발명건수, 기술홍보자료건수, 업적반영률) 각각이 2이상의 높은 t값을 가져 기술료수입에 통계적으로 유의한 영향력을 갖는 변수임을 알 수 있다.따라서 도출한 다중회귀모형은 기술료수입을 설명하기에 적절한 모형이라고 할 수 있다.
- 세 번째 요인은 기술의 혁신성, 수입 대체성, 신규 제품개발 가능성 항목이 포함되어 ‘시장성’으로 정의하였다.
- 다중공선성은 회귀분석에서 독립변수들 간의 다중적인 상관관계이다.즉, 다중공선성의 정도를 살펴본다는 것은 두 변수의 상관계수를 계산하는 것보다 넓은 개념으로, 특정 독립변수가 다른 독립변수들에 의해 설명되는 부분이 크다면 다중공선성이 심각하게 존재하여 그 변수를 독립변수로 사용할 필요가 없다는 결론을 내릴 수 있다.
- 첫 번째 요인은 전력증강 기여도, 작전 능력 증대, 전력 효율성 향상, 전투효과 향상의 세부평가항목이 포함되어 ‘군사안보성’으로 정의하였다.
- 5이하로 계산되어 추가적인 설문은 불필요한 것으로 판단되었다. 한편, 평가지표가 평가하고자 하는 내용을 얼마나 잘 대표하는지 평가하는 내용타당도(CVR)가 0.33이상(설문대상 30명 기준 최솟값)인 평가항목을 적절한 항목으로 판단하였다. 그리고 적절하다고 판단된 평가항목 중 중요도가 높다고 평가된 상위 20개의 평가항목을 요인분석 대상 평가항목으로 선정하였다.
후속연구
- 그리고 본 방법론을 통해 체계적으로 기술을 평가한 결과를 활용하면, 보다 공정한 기술거래가 이루어질 수 있으므로 국방 R&D분야의 기술이전 활성화 업무에도 적용할 수 있을 것이라 판단된다.
- 또한 본 연구를 통해 개발된 국방 R&D기술 등급평가 방법론을 실무에 적용하게 되면, 국방 연구개발 관련 정책담당자에게 객관적이고 정량적인 기술의 가치 판단 기준을 제공하여 핵심기술 조기 발굴 및 효율적인 R&D예산 배분에 기여할 수 있다.
- 본 연구로 개발된 국방 R&D기술 등급평가 방법론을 적용하게 되면 핵심기술 조기 발굴 및 효율적인 R&D예산 배분에 기여할 수 있으며, 국방 R&D분야의 기술이전 활성화 업무에도 활용할 수 있을 것이라 판단된다.
- 이러한 등급평가방법을 통해 국방기술에 대한 보다 신속하고도 체계적인 평가가 가능해질 것이고, 평가결과는 국방 R&D예산 배분 및기술이전 사업화 등 국방 분야의 다양한 업무에 활용될 수 있을 것이다.
- 박종오[10]는 기술의 권리적 측면, 경제적 측면, 환경적 측면 등 세 가지 항목으로 구성된 기술등급평가모델을 제시하고, 이를 적용한 실제 평가결과를 제시하였다.평가결과를 살펴보면 모델의 변별력이 약해 평가요소와 실제 경쟁력간의 인과관계 등에 대한 보다 집중적인 연구가 필요함을 알 수 있다.
- 향후, 본 방법론을 활용하여 다양한 국방 R&D기술을 시범적으로 평가한 후, 개선 및 보완사항을 파악하여 보다 정교한 국방 R&D기술 등급평가 방법론을 개발하고자 한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.