[논문]군수품 조달을 위한 물품적격심사기준의 조달특성 및 심사분야 배점의 적절성에 관한 연구

안남수; 여용헌

doi:10.9709/jkss.2020.29.4.065

[국내논문] 군수품 조달을 위한 물품적격심사기준의 조달특성 및 심사분야 배점의 적절성에 관한 연구
A Study on the Product Qualification Criteria through Monte-Carlo Simulation and Association Rule Analysis 원문보기

한국시뮬레이션학회논문지 = Journal of the Korea Society for Simulation, v.29 no.4, 2020년, pp.65 - 72

안남수 , 여용헌 (국방기술품질원 전투물자센터)

초록
AI-Helper

본 연구에서는 방위사업청의 물품적격심사기준을 대상으로 몬테카를로 시뮬레이션 및 연관도 분석을 통해 조달 특성 및 심사분야 배점의 적절성을 분석하고자 한다. 먼저 유사 공공 기관들의 물품적격심사기준 제도를 조사하여, 방사청의 물품적격심사기준이 어떠한 특징을 지니는지 분석하였다. 이어서 다수의 공급자가 조달에 참여한다고 가정하고, 업체는 심사영역별로 심사기준에 의거하여 점수를 획득하여 가장 높은 점수를 얻은 업체가 계약건을 수주하는 상황을 시뮬레이션을 통해 묘사하였다. 약 500여 회 시뮬레이션을 통해 생산시스템의 성능지표 및 심사분야 관점에서 어떠한 강점을 지니는 업체가 선정되는지를 분석하였다. 또한 연관도 분석을 통해 심사분야 배점의 적절성에 대해 확인해 보았다. 연구결과를 요약하면, 신인도 관련항목이 심사 항목수로는 가장 다수를 차지하지만 실제 입찰 결과에는 영향을 못 미치며, 경영상태 및 기술능력 심사영역의 배점을 현재보다 높이는 것이 바람직한 것으로 분석되었다.

Abstract ▼ AI-Helper

The purpose of this study is to analyze the adequacy of product qualification criteria through Monte-Carlo simulation and association rule analysis. We first surveyed the similar procurement systems, then we simulated the bid situation that randomly generated several vendors participated in a bid, and they obtained the score according to the product qualification criteria's judgement area. Then, the company with the highest score will win the bid, and further analysis was performed in terms of performance indicator and satisfaction ratio. The results of this study can be summarized as follows; Although the items related to the credibility accounted for the largest number items, it did not affect the actual bid results. It was analyzed that it is desirable to increase the allocation points in the area of business status and technical capability review than the current one.

주제어

표/그림 (8)

그림 Fig. 1. Procurement process of military supplies
그림 Fig. 2. Comparison of sum of scores among institutions
표 Table 1. Comparison of product qualification criteria
표 Table 2. Classification of judgement items in terms of performance indicator(PI)
그림 Fig. 3. Analysis of successful bidder in terms of ranking
표 Table 3. Explanation of judgement item in terms of allocated score, grade and obtainable maximum score
그림 Fig. 4. Analysis of successful bidder
표 Table 4. Value of support, confidence and lift

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

가장 최근의 연구로는 16년도에 수행된 연구(Park 2016) 가 있으며, 해당 연구는 기연구한 AHP(Park 2015)를 활용하여 부실업체에 대한 예측모형을 설계하고, 예측 모형에서 부실이 발생하지 않은 기업들을 부실이 발생하지 않을 것으로 예측한 비율과 실제 부실이 발생한 기업들을 부실이 발생할 것으로 예측한 비율을 비교․평가하는 연구를 수행하였다.
첫 번째는 낙찰된 업체는 물품적격심사 5대 심사분야와 생산시스템 성능지표 중 어떤 분야에 강점을 가지는 업체가 선정되는지에 대한 확인이다. 두 번째는 각 심사분야는 낙찰 업체를 결정하는데 어떠한 영향을 미치는지 확인하는 것이다. 만일 특정 심사분야가 낙찰 업체를 결정하는데 너무 큰 영향을 주거나 혹은 전혀 영향을 미치지 않는다면 해당 분야의 배점 조정이 필요할 것이다.
그리고 시뮬레이션 결과 역시 원가에서 경쟁력을 지닌 업체가 낙찰이 되는 경향이 높았다. 따라서 본 연구에서는 각 기관에서 희망하는 조달업체의 생산시스템 성능지표간 우선순위를 먼저 결정하고, 이 순위를 통해 배점을 할당하는 형태의 물품적격심사기준을 제안하고자 한다(즉, 품질에 강점을 지닌 업체의 선정을 원한다면 품질관련 배점에 최고점을 부여).
다만, 원가에서 경쟁력을 지닌 업체가 일방적으로 낙찰되는지 여부는 실제 응찰한 업체의 획득 점수 및 선정 결과를 알아야 확인이 가능하다. 따라서 본 연구에서는 심사항목별 획득점수를 난수를 통해 생성하고 수많은 반복실험을 통해 경향을 분석할 수 있는 몬테카를로 시뮬레이션을 통해 낙찰업체의 특성을 추정해 보고자 한다.
하지만 실제 입찰정보는 현실적으로 외부기관에서 접근이 제한됨에 따라 본 논문에서는 몬테카를로 시뮬레이션을 통해 낙찰 결과의 예측 및 분석을 시도해 보고자 한다. 또한 현재의 심사분야별 배점 분석을 통해 방사청은 어떠한 업체가 낙찰되는 것을 선호하는지 가정한 후, 시뮬레이션 및 연관도 분석을 통해 낙찰업체 결과분석 및 심사분야 배점의 적절성에 대해 논하고자 한다.
본 논문에서는 군수품 물품적격심사기준에서 제조 부분을 대상으로 어떠한 특성을 지니는 업체가 조달 업체로 선정되는지에 관한 연구를 수행하고자 한다(심사 분야는 크게 당해물품 납품이행 능력, 입찰가격, 신인도, 결격사유로 구성된다.).
본 논문에서는 방사청 물품적격심사기준에 따른 조달 특성 및 심사분야 배점 적절성을 검토하기 위해 일차적으로 타 기관의 물품적격심사기준과 비교를 실시하였고, 유사 선행연구를 조사하였다. 이차적으로 물품 적격심사기준 심사항목을 생산시스템 성능지표 7가지(Q, C, D, S, P, F, G)차원으로 구분해보고 몬테카를로 시뮬레이션을 통해 낙찰된 업체의 특징을 분석해 보았다.
본 연구에서는 먼저 현재의 물품적격심사기준은 생산시스템의 어떤 성능지표에 강점을 가지는 업체를 선정하는지 분석해 보고자 한다. 하지만 실제 입찰정보는 현실적으로 외부기관에서 접근이 제한됨에 따라 본 논문에서는 몬테카를로 시뮬레이션을 통해 낙찰 결과의 예측 및 분석을 시도해 보고자 한다.
본 절에서는 군수품을 조달하는 방사청(DAPA, Defense Acquisition and Procure Administration), 정부 및 관련기관 물자를 조달하는 조달청(PPS, Public Procurement Service), 그리고 대표적인 공공기관 ○○의 물품 적격심사기준 심사항목 및 배점을 비교해 보고자 한다(APT 2019; PGS 2019; PG 2019).
반면, 이러한 군수품 조달의 기준이 되는 물품적격심사기준에 관한 연구는 활발하지 않은 편이다. 이는 관련 자료(실제 업체가 제출한 입찰가격 및 사후 납품결과 등) 접근성 제한 등의 사유로 외부에서는 어떠한 가설을 수립하여도 실제 검증이 어렵기 때문으로 판단된다(그렇기 때문에 본 연구에서는 몬테카를로 시뮬레이션을 통해 가설의 수립 및 분석을 수행하고자 한다.).
이어지는 2장에서는 방사청뿐만 아니라 다른 공공기관의 물품 적격심사기준이 어떠한 심사항목과 배점으로 구성되어있는지 살펴보고, 기존 유사 선행연구의 성과들을 고찰해보고자 한다. 3장에서는 생산시스템 성능지표 차원에서 물품 적격심사기준의 심사항목과 배점을 분류해 보고, 4 장에서는 경쟁입찰 상황묘사를 위한 시뮬레이션 설계 및 구현 방법을 기술한다.
분석해 보고자 한다. 하지만 실제 입찰정보는 현실적으로 외부기관에서 접근이 제한됨에 따라 본 논문에서는 몬테카를로 시뮬레이션을 통해 낙찰 결과의 예측 및 분석을 시도해 보고자 한다. 또한 현재의 심사분야별 배점 분석을 통해 방사청은 어떠한 업체가 낙찰되는 것을 선호하는지 가정한 후, 시뮬레이션 및 연관도 분석을 통해 낙찰업체 결과분석 및 심사분야 배점의 적절성에 대해 논하고자 한다.

가설 설정

또한 신인도의 경우 적합 업체 선정과 오히려 독립적인 성향을 띠는 것으로 나타났다. 두 번째는 경영상태 및 기술능력의 심사 배점은 납품실적의 배점보다 높으나, 적합업체 선정과의 연관도는 오히려 낮다는 점은 두 심사분야의 배점을 조정해야 한다는 점을 가리킨다.
본 연구에서는 심사분야의 배점 크기를 고려하여 다음과 같은 가정을 충족시 낙찰된 업체가 만족스럽지못하다고 가정하였다. 심사분야 별 배점의 크기는 입찰가격(40점), 경영상태(30점), 기술능력(20점), 납품실적점수 (10점), 신인도(-5.
본 연구에서는 심사분야의 배점 크기를 고려하여 다음과 같은 가정을 충족시 낙찰된 업체가 만족스럽지못하다고 가정하였다. 심사분야 별 배점의 크기는 입찰가격(40점), 경영상태(30점), 기술능력(20점), 납품실적점수 (10점), 신인도(-5.0~4.2점)순이므로, 낙찰 업체의 입찰가격 점수가 응찰한 업체들 중 2위 이하인 경우 또는 낙찰업체의 경영상태 점수가 응찰한 업체 중 3위 이하인 경우 또는 낙찰 업체의 기술능력 점수가 응찰한 업체 중 4위 이하 일 경우에 낙찰업체가 기대에 못 미친다고 가정하였다. 시뮬레이션 결과를 토대로 심사분야와 낙찰결과 적합성 간 연관도 분석의 계산결과는 Table 4와 같다 (S는 지지도, C는 신뢰도, Le 향상도를 의미한다.
총 500회 실험을 실시하였으며, 입찰가격은 평균이 3.85이고 표준편차가 0.1인 정규분포를 따른다고 가정하고 점수를 생성하였다. 먼저 낙찰된 업체의 심사 분야(입찰가격, 경영상태, 기술능력, 납품실적 점수, 신인도) 별평균 순위는 아래 Figure 3과 같다.
현실적인 경쟁입찰 규모를 고려하여 입찰에 참가하는 업체의 수는 2~4개로 가정하였으며, 적격심사 기준을 준수하여 획득한 점수의 합이 제일 높은 업체가 낙찰되는 방식으로 설계하였다. 본 연구에서는 심사항목 등급의 수가 적은 경우, 예를 들어, 생산기술 축적정도 심사항목의 경우 3년 이상시 2점, 2년 이상 3년 미만시 1.

제안 방법

이때 심사 항목 중, 기존 생산시스템 성능지표로는 구분하기 힘든 항목들이 다수 존재했는데, 이는 정부 시책과의 부합여부를 측정하는 항목들(근로시간 단축 조기도입 업체, 가족친화 우수기업 등) 이었다. 따라서 본 논문에서는 해당항목들을 구분하기 위해 별도의 성능지표, G(Government)를 신설하였다. 단, 급식류에만 적용되는 심사항목 5가지(경고장, 접경 지역지원, 농수산물 원산지 표시에 관한 법률위반, 식품위생법 및 축산물위생관리법 위반, 안전관리능력보유 등) 는연구대상에서 제외하여, 총 33가지 심사항목에 대해서 분류한 결과는 아래 Table 2와 같다.
3장에서는 생산시스템 성능지표 차원에서 물품 적격심사기준의 심사항목과 배점을 분류해 보고, 4 장에서는 경쟁입찰 상황묘사를 위한 시뮬레이션 설계 및 구현 방법을 기술한다. 또한, 시뮬레이션 결과에 대한 해석, 연관도 분석 결과, 그리고 시사점을 정리하였다. 마지막 5장에서는 본 연구의 요약 및 향후 연구방향에 대해 논하고자 한다.
먼저 심사항목을 생산시스템의 성능지표 6가지(Q, C, D, S, P, F) 관점에서 구분해 보았고 성능지표 별로 항목 수와 배점을 비교해 보았다. 이때 심사 항목 중, 기존 생산시스템 성능지표로는 구분하기 힘든 항목들이 다수 존재했는데, 이는 정부 시책과의 부합여부를 측정하는 항목들(근로시간 단축 조기도입 업체, 가족친화 우수기업 등) 이었다.
본 연구에서 지지도는 전체 시뮬레이션 횟수중 각 심사 분야 1순위 업체가 선정이 되고, 선정된 낙찰업체 역시 적합했던 횟수의 비율로 계산하였다. 신뢰도는 각 심사항목 1 순위 업체가 선정된 횟수 중 각 심사항목 1순위 업체가 선정이 되고 선정된 낙찰업체도 적합한 횟수의 비율을 계산하였다.
선행연구를 조사하였다. 이차적으로 물품 적격심사기준 심사항목을 생산시스템 성능지표 7가지(Q, C, D, S, P, F, G)차원으로 구분해보고 몬테카를로 시뮬레이션을 통해 낙찰된 업체의 특징을 분석해 보았다.
적용하였다. 전문가로는 방사청 국내계약 담당원 및 군수품의 정부 품질보증을 담당하는 국방기술품질원 연구원을 대상으로 설문조사를 실시하여 새롭게 배점을 제시하였다. 또한, 적격심사 적중률의 상승과 적격업체 중 하자 미발생 업체의 비율이 증가함을 연구 성과로 제시하였다.

데이터처리

횟수의 비율로 계산하였다. 신뢰도는 각 심사항목 1 순위 업체가 선정된 횟수 중 각 심사항목 1순위 업체가 선정이 되고 선정된 낙찰업체도 적합한 횟수의 비율을 계산하였다. 마지막으로 향상도는 각 심사항목 1순위 업체가 선정이 되는 사건과 선정된 낙찰업체 역시 적합한 사건과의 관계 독립성 여부를 나타내는 지표이다 (두 사건이 독립일시에는 1의 값을 가지며, 1보다 클 경우에는 양의 상관관계, 1보다 작을시에는 음의 상관관계를 갖는 것을 의미한다.

성능/효과

2020). 개선방향의 첫 번째는 저급한 보급품으로 인식되던 군용물자의 품질을 높이는 것이고, 두 번째는 군수업체의 계약이행 여부를 철저히 현장에서 확인할 것이며, 마지막으로 불공정 행위에 대해서는 엄정한 대처를 약속하였다. 하지만 이러한 개선 노력이 실제 의도한 효과를 거둘 수 있을지는 향후 낙찰된 업체의 납품 성과분석을 통해 알 수 있을 것이다.
높았다. 그리고 시뮬레이션 결과 역시 원가에서 경쟁력을 지닌 업체가 낙찰이 되는 경향이 높았다. 따라서 본 연구에서는 각 기관에서 희망하는 조달업체의 생산시스템 성능지표간 우선순위를 먼저 결정하고, 이 순위를 통해 배점을 할당하는 형태의 물품적격심사기준을 제안하고자 한다(즉, 품질에 강점을 지닌 업체의 선정을 원한다면 품질관련 배점에 최고점을 부여).
납품실적, 입찰가격, 경영상태, 기술능력, 신인도 순으로 평균 순위가 높은 것을 알 수 있었다. 신인도의 경우 낙찰된 업체의 등수가 상대적으로 낮음을 확인할 수 있었다.
예를 들어, 여성기업, 장애인기업, 고용창출 평가에 동일 인물이 중복되는 경우에는 가장 높은 평점 한 가지만 적용한다는 형태의 주의 사항들이 물품적격심사기준에 다수 존재한다. 두 번째는 심사결과 종합평점이 95점 이상인 입찰자를 낙찰자로 결정하며, 95점 미만일 경우에는 차순위 입찰자 순으로 심사하여 낙찰자를 결정한다는 점이다. 상당수 입찰 업체는 자신의 심사항목별 점수를 먼저 계산 후 낙찰을 위한 입찰가격을 결정할 것이기 때문에 95점 미만의 업체가 낙찰되는 경우는 드물 것이라 판단하였다.
상당수 입찰 업체는 자신의 심사항목별 점수를 먼저 계산 후 낙찰을 위한 입찰가격을 결정할 것이기 때문에 95점 미만의 업체가 낙찰되는 경우는 드물 것이라 판단하였다. 따라서 시뮬레이션을 통해 생성된 특정 업체의 획득점수 총점이 95점 미만이면, 모든 심사항목의 점수를 다시 생성하여 95점 이상을 획득토록 설계하였다.
또한 시뮬레이션 결과 두 가지 구체적인 시사점을 얻을 수 있었는데, 첫 번째는 신인도 심사분야의 경우 응찰업체 중 2위인 업체가 낙찰이 되는 경향이 높았으며 이는 모든 심사분야에서 고득점을 획득하는 것이 현실적으로 어렵다면 신인도 항목의 점수 획득에는 소극적으로 대응할 수 있다는 가능성을 시사한다. 또한 신인도의 경우 적합 업체 선정과 오히려 독립적인 성향을 띠는 것으로 나타났다.
전문가로는 방사청 국내계약 담당원 및 군수품의 정부 품질보증을 담당하는 국방기술품질원 연구원을 대상으로 설문조사를 실시하여 새롭게 배점을 제시하였다. 또한, 적격심사 적중률의 상승과 적격업체 중 하자 미발생 업체의 비율이 증가함을 연구 성과로 제시하였다. 하지만 원가와 품질만을 핵심지표로 삼는 집단을 설문 응답집단으로 구성함에 따라 응답결과가 편향 될 수 있다는 점은 극복해야 할 과제일 것이다.
생산시스템 성능지표 관점에서 분석결과 심사항목 수로는 G가 가장 많았으나 실제 배점은 C관련 항목이 압도적으로 높았다. 그리고 시뮬레이션 결과 역시 원가에서 경쟁력을 지닌 업체가 낙찰이 되는 경향이 높았다.
보였다. 이후 납품실적, 경영상태, 기술능력, 신인도 순으로 적합 업체 선정과의 연관도가 높았다. 특이한 점은 현재 기준으로는 경영상태 및 기술능력의 배점이(각 30점 및 20점) 납품실적의 배점보다(10점) 높으나, 적합업체 선정과의 연관도는 오히려 낮다는 점이다.
입찰가격이 1위인 업체와 적합업체 선정과의 연관도가 압도적으로 높았으며 향상도 역시 높은 값을 보였다. 이후 납품실적, 경영상태, 기술능력, 신인도 순으로 적합 업체 선정과의 연관도가 높았다.

후속연구

다만, 본 연구는 입찰상황을 시뮬레이션으로 묘사한 결과를 바탕으로 분석함에 따라 명확한 한계가 존재한다. 향후 관련 자료가 공개된다면 보다 구체적이고 실질적인 연구 확대가 가능할 것으로 기대한다.
개선방향의 첫 번째는 저급한 보급품으로 인식되던 군용물자의 품질을 높이는 것이고, 두 번째는 군수업체의 계약이행 여부를 철저히 현장에서 확인할 것이며, 마지막으로 불공정 행위에 대해서는 엄정한 대처를 약속하였다. 하지만 이러한 개선 노력이 실제 의도한 효과를 거둘 수 있을지는 향후 낙찰된 업체의 납품 성과분석을 통해 알 수 있을 것이다.
존재한다. 향후 관련 자료가 공개된다면 보다 구체적이고 실질적인 연구 확대가 가능할 것으로 기대한다.

참고문헌 (15)

Acquisition Planning Team(APT). 2019. "Criteria for product qualification." Defense Acquisition and Program Administration(DAPA). Established rule 600.
Acquisition Planning Team(APT). 2020. "Improvement of military material procurement system." Defense Acquisition and Program Administration(DAPA). Press release(20.2.4).
Chungnam National University (CNU) Industry-Academic Cooperation Foundation. 2013. "A study on improving procurement system for effective military budget execution" Policy Research.
Defense Acquisition and Program Administration(DAPA). www.dapa.go.kr. access March 2020.
Eom, Wonyoung. 2016. "Association Analysis for MRA Results of Defense R&D." Journal of the Korean Society for Quality Management, 45(3), 309-326.

원문보기 상세보기
Jang, Heeseon and Park, Myongsub. 2011. "Analysis of the Weight Method for the Qualification System using AHP." Korean Association of Defense Industry Studies, 18(1), 62-84.
Korea Institute of Construction Technology(KICS). 2013. "A study on the performance analysis and improvement plan of the lowest bidding system and the qualification screening system." Policy Service Report, 176-201.
Lee, Jinseek, Youn, Younsuck and Sohn, Sangkyun. 2015. "Qualification Examination and Cost Stickiness Behavior in the Defense Industry." Accounting Information Review, 33(1), 159-177.
Lee, Wonsuk. 2015. Analysis of association rules and frequent items, Chaos Book.
Park, Byungin, and Bae, Jongwook. 2012. "The New Service Quality Assessment System for Gwangyang Container Port." Journal of Korea Port Economic Association 28(2), 95-111.
Park, Hyungtaek, Lee, Sukjun, Jeong, Sukjae. 2014. "Suggestions on Selecting the Weight of Evaluation Criteria of Qualification System in Defense Industry." Korean Association of Defense Industry Studies, 21 (1), 73-91.
Park, Hyungtaek, Jeong, Sukjae. 2016. "Study on the Post Evaluation of Qualification Examination Process in Defence Industry using Logit Model." Korean Journal of Military Art and Science, 72(1), 231-248

상세보기
Power generation Co. 2019. "Criteria for product qualification." Release(19.4.3).
Procurement General Section(PGS). 2019. "Criteria for product qualification." Public Procurement Service (PPS) Guideline 3820.
Stevenson, W. J. and Chuong, S. C. 2015. Operations Management, McGraw-Hill.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증