[논문]델파이 및 AHP를 활용한 연구개발 주관기관 선정에 관한 연구

김진현; 이호진

doi:10.5762/kais.2019.20.10.179

델파이 및 AHP를 활용한 연구개발 주관기관 선정에 관한 연구
A Study on Selection of R&D Supervision Institution of Weapon Systems Using Delphi and AHP 원문보기

한국산학기술학회논문지 = Journal of the Korea Academia-Industrial cooperation Society, v.20 no.10, 2019년, pp.179 - 186

김진현 (국방기술품질원 기술기획본부) , 이호진 (국방기술품질원 기술기획본부)

초록
AI-Helper

국내 무기체계 연구개발은 사업의 특성을 고려하여 정부 출연 연구소 또는 국내 업체 중 한 곳이 주관하여 추진한다. 그러나 그동안 연구개발 주관기관 선정을 위한 평가항목 및 절차 등에 대한 연구는 부족하였다. 이에 본 연구에서는 연구개발 주관기관 선정에 필요한 절차, 항목 등이 포함된 방법론을 제시하고자 한다. 먼저 연구개발 주관기관 평가항목을 객관화하기 위해 과거 사례 조사, 전문가 자문을 통해 평가항목 후보군을 작성하였다. 델파이 설문을 통해 최종적으로 '핵심기술 보유/준비 현황' 등 5개의 항목이 선정되었으며, 계층분석법(AHP: Analytic Hierarchy Process, 이하 AHP)을 통하여 평가항목 간 가중치를 설정하였다. 가중치는 대분류에서 '기술적 요소', '사업적 요소'로 분류하였으며, '기술적 요소'의 하위요소는 '핵심기술 보유/준비현황', '유사체계 경험'으로, '사업적 요소'의 하위요소는 '위험요소 관리', '사업수행 기반 여건', '사업참여의지'로 분류하였다. 각 평가항목의 최종가중치는 '핵심기술 보유/준비현황(0.405)'이 가장 높게 나타났으며, 그 다음으로 '유사체계 경험(0.297)', '위험요소 관리(0.127)', '사업수행 기반 여건(0.124)', '사업참여의지(0.047)'의 순으로 나타났다. 도출된 평가항목은 00 체계의 사례에 적용하여 그 결과를 확인하였다.

Abstract ▼ AI-Helper

Based on the characteristics of the weapon system, a government-funded research institute or a defense industry company is selected as the R&D supervision institution. On the other hand, research for the selection of a R&D supervision institution has not been conducted actively. This paper proposes a methodology for selecting R&D supervision institutions, such as procedure and indices. First, candidates of the index were obtained using data investigation and consulting, and five indices were deduced using Delphi. The weight of the indices was set using AHP. The high element consisted of 'Technical elements' and 'Business element'. The low element of 'Technical elements' consisted of 'Possession and readiness of critical technology' and 'Experience of similar R&D'. The low element of 'Business element' consisted of 'Base circumstance of the project', 'Risk management', and 'Will for the project'. The total weights of the indices were 'Possession and readiness of critical technology' 0.405, 'Experience of similar R&D' 0.297, 'Base circumstance of the project' 0.124, 'Risk management' 0.127, and 'Will for the project' 0.047. The indices were applied to the 00 weapon system and the result was deduced.

주제어

표/그림 (11)

그림 Fig. 1. Process of Alternative Selection
표 Table 1. Investigation of past preliminary studies
표 Table 2. Index for supervision institution analysis
표 Table 3. Respondents for delphi
그림 Fig. 2. Categorization of final index
표 Table 4. CVR Min value
표 Table 5. Index for 2nd delphi
표 Table 6. Respondents of delphi
표 Table 7. Weight of indexes
표 Table 8. Result of AHP(Gov Institute vs Company)
표 Table 9. Change of method

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 과거에 수행된 선행연구 자료조사, 민간분야 유사연구 자료조사, 설문조사, 전문가 의렴수렴 등을 통해 무기체계 연구개발 주관기관 선정 방안을 구조화 하고 객관화 하여 평가항목을 선정하며, 선정된 평가항목을 무기체계에 적용해 보고자 한다.

제안 방법

‘그리고 기술의 난이도’와 ‘연구개발 경험’은 각각 4회와 6회 사용되었으며, ‘투자비 회수 용이성’, ‘사업의 특수성’, ‘사업참여 의지’, ‘시험평가 관리/능력’, ‘예산 집행의 효율성’은 각각 1회씩 사용되었다.
2차 델파이 설문을 수행하기에 선정된 항목의 수가 적어, 과반수 이상이 타당하다고 제시된(CVR > 0) 5개 항목에 대한 추가 여부를 검토하였다.
5개의 평가항목을 Fig. 2와 같이 기술적 요소와 사업적 요소로 분류하여 AHP 설문을 실시하였다. AHP 설문은 실무지식과 전문적 경험이 있는 집단의 특성이 동질적일 때는 10명 이내로도 충분하며[8], Table 6과 같이 교수, 정부출연연구원, 현역, 공무원 등 10명으로 구성하였다.
선행연구 사례조사를 통해 연구개발 주관기관 선정과 관련하여 기존에 정형화된 평가항목이 없으며, 연구를 주관하는 연구자에 따라 다양한 평가항목이 활용되는 것을 확인하였다. 과거 연구된 선행연구 사례 조사를 위하여 총 39건의 선행연구, 사업분석 결과보고서를 조사하였으며 각각의 보고서에서 연구개발 주관기관 선정을 위해 활용하였던 평가항목들을 식별하였다. 항목을 종합해본 결과 중복된 항목을 포함하여 총 168건의 평가항목이 사용된 것을 확인하였으며, 각 과제별로 연구개발 주관기관 선정을 위해 적게는 2개에서 많게는 8개의 평가항목이 사용되었다.
나머지 “유사체계 경험”, “사업참여 의지”, “사업수행 기반여건”은 2차 델파이 설문 항목으로 추가하여, Table 5와 같이 2차 델파이 설문 항목을 구성하였다.
넷째, 도출된 평가항목 및 가중치를 00 무기체계에 적용하였다. AHP 설문을 위해 가중치 설정과 동일하게 정부출연연구원, 현역 군인, 공무원, 사업지원 관련기관 소속 직원 등 10명으로 구성된 전문가 집단을 활용하였다.
둘째, 앞서 도출된 전문가 인터뷰 등을 통해 수집된 평가항목을 통합, 삭제, 추가하는 과정을 거쳐 평가항목 선정을 위한 평가항목 후보군을 도출하였으며, 평가항목 후보군에 대한 델파이 설문을 진행하여 내용타당도(CVR: Content Validity Ratio, 이하 CVR)를 기준으로 최종적인 평가항목을 선정하였다. 델파이 설문은 무기체계 사업관리자, 연구개발 경험이 있는 정부출연연구원, 무기체계 사용자인 소요군, 정책을 수립하고 시행하는 공무원, 사업지원 관련기관 소속 직원 등 46명으로 구성된 전문가 집단을 대상으로 하였으며, 전자우편을 이용하여 총 2회 실시하였다.
무기체계 연구개발 주관기관으로 정부출연 연구소와 업체 중에 하나를 선정하며, 지금까지는 이를 선정하는 방법론에 대한 연구가 없었다. 따라서 본 연구에서는 국방 무기체계 연구개발 주관기관 선정을 위한 절차 및 항목 등이 포함된 방법론을 제안하였고 이를 00 체계에 적용하여 연구개발 주관기관을 선정하였다.
본 연구에서 제안한 방법론은 기존에 연구자가 평가항목을 선정하던 방법과 달리 다수의 전문가에 대한 델파이 설문을 통해 보다 더 객관적인 평가항목 선정이 가능하다. 또한 전문가 AHP 설문을 통해 평가항목은 모두 동일가중치가 아닌 항목의 중요도에 따라 가중치를 차등설정되도록 하였다. 마지막으로 연구개발 주관기관 선정에 있어서 연구자의 판단으로 평가하는 것이 아닌 전문가 AHP 설문을 통해 평가결과의 객관타당성을 향상시켰다고 할 수 있다.
본 연구에서 제안한 방법론은 기존에 연구자가 평가항목을 선정하던 방법과 달리 다수의 전문가에 대한 델파이 설문을 통해 보다 더 객관적인 평가항목 선정이 가능하다. 또한 전문가 AHP 설문을 통해 평가항목은 모두 동일가중치가 아닌 항목의 중요도에 따라 가중치를 차등설정되도록 하였다.
사업 특성상 비밀내용을 다루게 되며, 이로 인해 알게된 비밀을 누설하는 일이 없어야하므로 ‘군자료 접근성, 보안사고 발생가능성’을 평가항목으로 추가하였다.
사업수행을 위한 예산은 투자주체 또한 사업 주관기관 선정에 영향을 미칠 수 있으므로 ‘투자주체’를 평가항목 후보로 추가하였다.
선정된 평가항목은 실제 사례인 00 체계에 적용하여 연구개발 주관기관을 평가하였다. 평가 결과 정부출연 국방연구소(0.
설문지에는 Table 2의 16개 항목에 대하여, 전자우편을통해 총 2회 설문을 실시하였으며, 2차 설문시에는 1차 설문의 결과를 참고할 수 있도록 같이 제시하였다. 설문은 5점 척도를 사용하였으며 설문지에는 의견 작성란을 제공하여 전문가의 평가항목에 대한 의견을 수렴하였으며, 이를 평가항목 제외 및 명세 수정 등에 활용하였다.
AHP 설문은 실무지식과 전문적 경험이 있는 집단의 특성이 동질적일 때는 10명 이내로도 충분하며[8], Table 6과 같이 교수, 정부출연연구원, 현역, 공무원 등 10명으로 구성하였다. 설문은 공개적인 회의를 통해 평가항목에 대한 대면 설명 후, 개인별 설문을 실시하였다.
전문가는 Table 3과 같이 교수, 정부출연연구원, 현역, 공무원 등 총 46명으로 구성하였다. 설문지에는 Table 2의 16개 항목에 대하여, 전자우편을통해 총 2회 설문을 실시하였으며, 2차 설문시에는 1차 설문의 결과를 참고할 수 있도록 같이 제시하였다. 설문은 5점 척도를 사용하였으며 설문지에는 의견 작성란을 제공하여 전문가의 평가항목에 대한 의견을 수렴하였으며, 이를 평가항목 제외 및 명세 수정 등에 활용하였다.
델파이 설문은 무기체계 사업관리자, 연구개발 경험이 있는 정부출연연구원, 무기체계 사용자인 소요군, 정책을 수립하고 시행하는 공무원, 사업지원 관련기관 소속 직원 등 46명으로 구성된 전문가 집단을 대상으로 하였으며, 전자우편을 이용하여 총 2회 실시하였다. 설문지에는 의견 작성란을 제공하여 전문가의 평가항목에 대한 의견을 수렴하였으며, 이를 평가항목 제외 및 명세 수정 등에 활용하였다.
성공적인 연구개발을 위해서는 전문성이 높은 인력 및 개발과 연관된 시설 및 설비, 시험장비 등이 바탕이 되어야 하므로 ‘사업수행 기반여건’을 평가항목 후보로 추가하였다.
셋째, 선정된 평가항목을 특징별로 계층구조도를 설정하였으며, AHP 설문을 통해 평가항목간의 가중치를 부여하였다. AHP 설문을 위해 교수, 민간 연구원, 정부출연연구원, 현역 군인, 공무원 등 10명으로 구성된 전문가 집단을 활용하였다.
앞서 조사된 항목 이외에도 추가 항목들을 도출하기 위해서 3차례의 전문가 자문회의를 수행하였으며, 자문의견에 대한 검토를 통해 6개 항목(Table 2의 11-16)을 추가 선정하였다.
연구개발 주관기관 선정을 위해 AHP 설문을 실시하였다. 연구개발 주관기관 선정 평가는 평가항목 가중치 설정과 동일하게 정부출연연구원, 현역 군인, 공무원, 사업지원 관련기관 소속 직원 10명을 대상으로 AHP 설문을 실시하였다. 전문가의 우선순위 판단을 위한 기초자료로 업체와 정부출연 국방연구소로부터 사전에 5개 평가항목에 대한 자료를 협조 받아 설문 대상자들에게 원본과 요약본을 제공하였으며, 쌍대비교를 위한 설문은 9단계 척도를 적용하였다.
연구개발 주관기관 선정 평가항목을 객관화하기 위해 39건의 선행연구 및 사업분석 결과보고서를 조사하여 168건의 평가항목이 사용된 것을 식별하였으며, 전문가 자문을 통해 평가항목의 통합, 삭제, 추가를 통해 16개의 평가항목 후보군을 구성하였다. 평가항목은 후보군에 대한 2회의 델파이 설문을 통해 핵심기술 보유/준비 현황(CVR=0.
연구개발 주관기관 선정을 위해 AHP 설문을 실시하였다. 연구개발 주관기관 선정 평가는 평가항목 가중치 설정과 동일하게 정부출연연구원, 현역 군인, 공무원, 사업지원 관련기관 소속 직원 10명을 대상으로 AHP 설문을 실시하였다.
연구개발간에 발생되는 다양한 문제를 사전에 식별하고 해결하는 능력은 매우 중요하므로 ‘위험요소 관리’를 평가항목 후보로 추가하였다.
이렇게 작성된 16개의 예비 평가항목은 전문가 자문을 통해 항목명과 정의를 작성하였으며, 평가항목 선정을 위한 델파이 조사를 수행하였다.
연구개발 주관기관 선정 평가는 평가항목 가중치 설정과 동일하게 정부출연연구원, 현역 군인, 공무원, 사업지원 관련기관 소속 직원 10명을 대상으로 AHP 설문을 실시하였다. 전문가의 우선순위 판단을 위한 기초자료로 업체와 정부출연 국방연구소로부터 사전에 5개 평가항목에 대한 자료를 협조 받아 설문 대상자들에게 원본과 요약본을 제공하였으며, 쌍대비교를 위한 설문은 9단계 척도를 적용하였다.
1과 같다. 첫째, 과거에 수행된 선행연구와 사업분석 39건의 연구개발 주관기관 선정에 활용된 평가항목을 조사하였다.
최종적으로 전체 14개의 항목이 10개의 항목(Table 2의 1-10)으로 조정되었으며, 의미 명확화를 위하여 ‘기술 보유/준비 수준’은 ‘핵심기술 보유/준비 현황’으로 ‘기술난이도(복잡도)’는 ‘무기체계의 복잡성’으로, ‘유사 연구 개발 경험’은 ‘유사체계 경험’으로 수정하였다.
타 기관과의 협조를 통해 보유하지 못한 기술을 활용하는 능력 및 연구개발간 예상치 못한 문제점 발생시, 다른 기관과의 협조를 통해 연구개발을 성공적으로 이끌어 내기 위한 능력이 중요하므로 ‘관련기관/업체간 상호협력성’을 평가항목으로 추가하였다.

대상 데이터

2와 같이 기술적 요소와 사업적 요소로 분류하여 AHP 설문을 실시하였다. AHP 설문은 실무지식과 전문적 경험이 있는 집단의 특성이 동질적일 때는 10명 이내로도 충분하며[8], Table 6과 같이 교수, 정부출연연구원, 현역, 공무원 등 10명으로 구성하였다. 설문은 공개적인 회의를 통해 평가항목에 대한 대면 설명 후, 개인별 설문을 실시하였다.
넷째, 도출된 평가항목 및 가중치를 00 무기체계에 적용하였다. AHP 설문을 위해 가중치 설정과 동일하게 정부출연연구원, 현역 군인, 공무원, 사업지원 관련기관 소속 직원 등 10명으로 구성된 전문가 집단을 활용하였다. 대안별 평가의 가중치 판단을 위한 기초자료로 활용하기 위해, 정부출연 국방연구소와 사업참여 의사를 가진 민간의 H社에 각각의 평가항목에 대한 현황 자료를 요청하였다.
셋째, 선정된 평가항목을 특징별로 계층구조도를 설정하였으며, AHP 설문을 통해 평가항목간의 가중치를 부여하였다. AHP 설문을 위해 교수, 민간 연구원, 정부출연연구원, 현역 군인, 공무원 등 10명으로 구성된 전문가 집단을 활용하였다.
대안별 평가의 가중치 판단을 위한 기초자료로 활용하기 위해, 정부출연 국방연구소와 사업참여 의사를 가진 민간의 H社에 각각의 평가항목에 대한 현황 자료를 요청하였다. 각 기관에서 제출된 자료를 정리하여 전문가 집단에 대안별 평가를 위한 기초자료로 제공하였으며, 대안별 전문가 AHP 설문 결과를 종합하여 연구개발 주관기관을 선정하였다.
둘째, 앞서 도출된 전문가 인터뷰 등을 통해 수집된 평가항목을 통합, 삭제, 추가하는 과정을 거쳐 평가항목 선정을 위한 평가항목 후보군을 도출하였으며, 평가항목 후보군에 대한 델파이 설문을 진행하여 내용타당도(CVR: Content Validity Ratio, 이하 CVR)를 기준으로 최종적인 평가항목을 선정하였다. 델파이 설문은 무기체계 사업관리자, 연구개발 경험이 있는 정부출연연구원, 무기체계 사용자인 소요군, 정책을 수립하고 시행하는 공무원, 사업지원 관련기관 소속 직원 등 46명으로 구성된 전문가 집단을 대상으로 하였으며, 전자우편을 이용하여 총 2회 실시하였다. 설문지에는 의견 작성란을 제공하여 전문가의 평가항목에 대한 의견을 수렴하였으며, 이를 평가항목 제외 및 명세 수정 등에 활용하였다.
델파이 설문 조사시 국방연구개발에 경험이 많은 전문가를 선정하였다. 전문가는 Table 3과 같이 교수, 정부출연연구원, 현역, 공무원 등 총 46명으로 구성하였다. 설문지에는 Table 2의 16개 항목에 대하여, 전자우편을통해 총 2회 설문을 실시하였으며, 2차 설문시에는 1차 설문의 결과를 참고할 수 있도록 같이 제시하였다.
연구개발 주관기관 선정 평가항목을 객관화하기 위해 39건의 선행연구 및 사업분석 결과보고서를 조사하여 168건의 평가항목이 사용된 것을 식별하였으며, 전문가 자문을 통해 평가항목의 통합, 삭제, 추가를 통해 16개의 평가항목 후보군을 구성하였다. 평가항목은 후보군에 대한 2회의 델파이 설문을 통해 핵심기술 보유/준비 현황(CVR=0.783), 유사체계경험(CVR=0.696), 사업참여 의지(CVR=0.304), 위험요소 관리(CVR=0.609), 사업수행 기반여건(CVR=0.478)의 5개 항목이 선정되었다.

성능/효과

AHP 설문을 적용하여 평가항목별 가중치를 검토한 결과 ‘핵심기술 보유/준비현황(0.405)’, ‘유사체계 경험(0.297)’, ‘위험요소 관리(0.127)’, ‘사업수행 기반 여건(0.124)’, ‘사업참여의지(0.047)’의 순으로 나타났다.
Expert Choice 11 프로그램을 통한 가중치 분석 결과 Table 7과 같이 대분류에서 기술적 요소가 0.702로 가장 중요하게 평가되었으며, 사업적 요소가 0.298로 평가되었다. 이는 연구개발을 하는데 있어서 사업 위험을 줄이기 위하여 기술적 요소가 더 중요하다고 판단한 것이다.
또한 전문가 AHP 설문을 통해 평가항목은 모두 동일가중치가 아닌 항목의 중요도에 따라 가중치를 차등설정되도록 하였다. 마지막으로 연구개발 주관기관 선정에 있어서 연구자의 판단으로 평가하는 것이 아닌 전문가 AHP 설문을 통해 평가결과의 객관타당성을 향상시켰다고 할 수 있다.
항목별로 보면 정부출연 국방연구소는 유사 무기체계 개발 주관을 통해 위험관리 및 유사체계 개발 경험 측면에서 업체에 비해 상대적으로 높은 점수를 얻었으나, 핵심기술 보유 측면에서는 업체에 비해 미흡한 것으로 평가되었다. 업체는 00 체계 연구개발을 사전에 준비하여 핵심기술 보유 측면에서 정부출연기관보다 높은 점수를 얻었으나, 유사체계 개발 경험 및 위험관리 측면에서 정부출연기관에 비해 미흡한 것으로 평가되었다. 사업수행 기반여건과 사업참여의지는 업체가 정부출연 국방연구소보다 높은 점수를 얻었으나 점수 격자는 0.
조사된 항목을 분류한 결과 ‘기술 보유/준비 수준’ 30회, ‘사업관리 능력’ 27회, ‘정책방향과의 일치성’ 26회로 가장 많이 사용되었으며, ‘기술적/경제적 파급효과’ 11회, ‘전력화시기’ 17회, ‘개발성공 가능성’ 10회, ‘소요비용’ 14회 등도 다수 사용되었다.
선정된 평가항목은 실제 사례인 00 체계에 적용하여 연구개발 주관기관을 평가하였다. 평가 결과 정부출연 국방연구소(0.55)가 업체(0.45)보다 근소하게 높게 나와 정부출연 국방연구소 주관 연구개발이 적절한 것으로 분석되었다.
항목별로 보면 정부출연 국방연구소는 유사 무기체계 개발 주관을 통해 위험관리 및 유사체계 개발 경험 측면에서 업체에 비해 상대적으로 높은 점수를 얻었으나, 핵심기술 보유 측면에서는 업체에 비해 미흡한 것으로 평가되었다.
과거 연구된 선행연구 사례 조사를 위하여 총 39건의 선행연구, 사업분석 결과보고서를 조사하였으며 각각의 보고서에서 연구개발 주관기관 선정을 위해 활용하였던 평가항목들을 식별하였다. 항목을 종합해본 결과 중복된 항목을 포함하여 총 168건의 평가항목이 사용된 것을 확인하였으며, 각 과제별로 연구개발 주관기관 선정을 위해 적게는 2개에서 많게는 8개의 평가항목이 사용되었다.

후속연구

본 연구결과는 00 체계에 적용하여 가능성을 확인하였으므로 유사 운용특성과 성능을 가진 지상무기체계에는 수정 없이 바로 적용 가능하나 성격이 전혀 다른 체계로의 적용은 제한 될 것으로 예상된다. 그러나 제안된 방법론의 항목선정, 가중치 결정, 평가 등의 절차를 준용하여 적용한다면 다양한 체계에서도 활용이 가능할 것이다.
무기체계는 지상, 해상, 공중 등 다양한 환경에서 용도에 맞게 운용되므로 무기체계별 특성이 서로 상이하다. 본 연구결과는 00 체계에 적용하여 가능성을 확인하였으므로 유사 운용특성과 성능을 가진 지상무기체계에는 수정 없이 바로 적용 가능하나 성격이 전혀 다른 체계로의 적용은 제한 될 것으로 예상된다. 그러나 제안된 방법론의 항목선정, 가중치 결정, 평가 등의 절차를 준용하여 적용한다면 다양한 체계에서도 활용이 가능할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	평가항목은 후보군에 대한 2회의 델파이 설문을 통해 선정된 항목은?	연구개발 주관기관 선정 평가항목을 객관화하기 위해 39건의 선행연구 및 사업분석 결과보고서를 조사하여 168건의 평가항목이 사용된 것을 식별하였으며, 전문가 자문을 통해 평가항목의 통합, 삭제, 추가를 통해 16개의 평가항목 후보군을 구성하였다. 평가항목은 후보군에 대한 2회의 델파이 설문을 통해 핵심기술 보유/준비 현황(CVR=0.783), 유사체계경험(CVR=0.696), 사업참여 의지(CVR=0.304), 위험요소 관리(CVR=0.609), 사업수행 기반여건(CVR=0.478)의 5개 항목이 선정되었다.
	평가항목의 특성은?	다수의 대안에 대한 우선순위를 결정하기 위해서는 평가를 위한 판단 기준이 필요하며, 평가항목을 어떻게 선정하는지에 따라 평가 결과에 큰 영향을 미치게 된다. 따라서 연구개발 주관기관 선정을 위해서는 합리적이고 객관적인 평가항목을 선정해야하며, 적절한 평가항목을 선정하기 위해서는 대표성 (representative), 측정가능성(measurable), 신뢰성(reliable), 연관성(relevant), 재활용성(reproducible) 등 평가항목의 특성을 만족해야 한다[5].
	평가를 위한 판단 기준에 알맞은 평가항목은?	다수의 대안에 대한 우선순위를 결정하기 위해서는 평가를 위한 판단 기준이 필요하며, 평가항목을 어떻게 선정하는지에 따라 평가 결과에 큰 영향을 미치게 된다. 따라서 연구개발 주관기관 선정을 위해서는 합리적이고 객관적인 평가항목을 선정해야하며, 적절한 평가항목을 선정하기 위해서는 대표성 (representative), 측정가능성(measurable), 신뢰성(reliable), 연관성(relevant), 재활용성(reproducible) 등 평가항목의 특성을 만족해야 한다[5].

참고문헌 (9)

Defense Science and Technology Glossary[Internet], Defense Agency for Technology and Quality, c2013 [cited 2013 December 16], Available From : http://dtims.dtaq.re.kr:8070/search/main/index.do (accessed Aug. 21, 2019)
Defense Acquisition Management Regulation, Defense Acquisition Program Administration, Korea, 2019.
M. C. Seong, 18-22 Defense Industry Development Master Plan, Policy Report, Defense Acquisition Program Administration, Korea, pp.38-74.
K. W. Park, K. Y. Lee, C. H. Kim, S. Y. Choi, "A study on knowledge-based alternatives analysis model(KAAM) for the best decision making in weapon systems acquisition", Journal of the Military Operations Research Society Of Korea, Vol.33, No.1, pp.1-18, June. 2007.
G. A. Wilson, H. Buller, "The use of socio- economic and environmental indicators in assessing the effectiveness of EU agri-environmental policy", European Environment, Vol.11, No.6, pp.297-313, Nov. 2001. DOI: https://dx.doi.org/10.1002/eet.273

상세보기
S. Park, Y. W. Hong, J. K. Na, "A method for selecting the evaluating index of defense R&D project by AHP", Journal of Korean Data & Information Science Society, Vol.23, No.5, pp.961-970, 2012. DOI: https://dx.doi.org/10.7465/jkdi.2012.23.5.961

원문보기 상세보기
C. H. Lawshe, "A quantitative approach to content validity", Personnel Psychology, Vol.28, No.4, pp.563-575, 1975. DOI: https://dx.doi.org/10.1111/j.1744-6570.1975.tb01393.x

상세보기
C. H. Lee, "Group Decision Theory", Sejong Publishers, p.312, 2010
2013 Defense Acquisitions Assessments of Selected Weapon Programs, Report to Congressional Committees, Government Accountability Office, USA, p.132.

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증