지휘ㆍ통제ㆍ통신 체계와 같이 보안이 요구되고, 새로운 기술을 적용하여 새롭게 개발되어야 하는 무기체계의 업체선정은 정성적 평가인 제안서평가를 주로 적용하고 있다. 제안서평가의 주요 문제는 평가자의 주관적 성향에 따라 선호도가 달라 평가위원 구성과 점수 성향에 따라 우선순위가 달라지고, 기술능력평가의 변별력 저하 시 입찰 가격에 의해 업체가 선정된다는 것이다. 따라서 평가자의 주관적 성향을 보정함과 동시에 변별력을 높일 수 있는 방법이 필요하다. 일반적으로 적용되는 표준화 방법은 평균과 편차를 일치시키는 방법이나, 제안서평가와 같이 평가대상이 소규모이고, 평가대상별 수준이 유사한 경우 적용이 제한되었다. 이에 따라 제안서평가에 적용 가능한 새로운 표준화방법을 제시하였다. 이 방법은 평가자의 점수가 아니라 평가대상의 우선순위를 보정하는 방법으로 기존 표준화방법보다 성능이 우수하였고, 원점수를 최대한 반영함으로써 변별력을 높일 수가 있었으며 특히 평가대상수가 소규모인 경우에 더욱 성능이 우수하였다.
지휘ㆍ통제ㆍ통신 체계와 같이 보안이 요구되고, 새로운 기술을 적용하여 새롭게 개발되어야 하는 무기체계의 업체선정은 정성적 평가인 제안서평가를 주로 적용하고 있다. 제안서평가의 주요 문제는 평가자의 주관적 성향에 따라 선호도가 달라 평가위원 구성과 점수 성향에 따라 우선순위가 달라지고, 기술능력평가의 변별력 저하 시 입찰 가격에 의해 업체가 선정된다는 것이다. 따라서 평가자의 주관적 성향을 보정함과 동시에 변별력을 높일 수 있는 방법이 필요하다. 일반적으로 적용되는 표준화 방법은 평균과 편차를 일치시키는 방법이나, 제안서평가와 같이 평가대상이 소규모이고, 평가대상별 수준이 유사한 경우 적용이 제한되었다. 이에 따라 제안서평가에 적용 가능한 새로운 표준화방법을 제시하였다. 이 방법은 평가자의 점수가 아니라 평가대상의 우선순위를 보정하는 방법으로 기존 표준화방법보다 성능이 우수하였고, 원점수를 최대한 반영함으로써 변별력을 높일 수가 있었으며 특히 평가대상수가 소규모인 경우에 더욱 성능이 우수하였다.
Proposal assessments for new weapon system development such as C4I system have been applying a qualitative assessment. The main problem of qualitative assessment is that the results vary depending on the evaluator's subjective preferences and priorities. Also, if there is no discrimination of techni...
Proposal assessments for new weapon system development such as C4I system have been applying a qualitative assessment. The main problem of qualitative assessment is that the results vary depending on the evaluator's subjective preferences and priorities. Also, if there is no discrimination of technical skills degrade, the company will be selected by bid price regardless of technical power. In order to making a fairness, We need a method to compensate for the evaluator's subjectivity and to enhance discrimination. Previous standardization method is limited because targets of the proposal assessment are minority and have similar skill level. So, The new standardized evaluation methods applicable to the proposal was presented. This way is using the priority instead of the score and has better performance than existing methods as the target numbers are smaller.
Proposal assessments for new weapon system development such as C4I system have been applying a qualitative assessment. The main problem of qualitative assessment is that the results vary depending on the evaluator's subjective preferences and priorities. Also, if there is no discrimination of technical skills degrade, the company will be selected by bid price regardless of technical power. In order to making a fairness, We need a method to compensate for the evaluator's subjectivity and to enhance discrimination. Previous standardization method is limited because targets of the proposal assessment are minority and have similar skill level. So, The new standardized evaluation methods applicable to the proposal was presented. This way is using the priority instead of the score and has better performance than existing methods as the target numbers are smaller.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
적용이 제한됨을 확인하였다. 따라서 본 연구에서는 현재 사용 중인 표준화방법의 사례를 살펴보고, 제안서평가에 적용 가능한 점수 표준화 방법을 제시하고자 한다.
본 연구는 제안서평가를 목적으로 하였기 때문에 소규모 평가대상을 단일 그룹으로 평가하는 것으로 하였다. 만약 평가대상이 복수 그룹으로 구성될 경우에는 각 그룹간 평균을 우선적으로 일치시킨 후 우선순위 편차 한계적용법을 적용할 수 있을 것이며 본 연구에서 제시하지는 않았으나, 평균을 일치시킨 후 편차 한계적용법을 적용할 경우에도 평균편차일치법에 비해 성능이 우수함을 확인할 수 있었다.
가설 설정
이에 따라 제안서평가에 적용 가능한 새로운 표준화방법으로 우선순위 편차 한계적용법을 제시하였는데 평균편차일치법이 평가자를 기준으로 보정하는 것이라면 편차한계적용법은 평가대상을 기준으로 보정하는 것이다. 이것은 비록 평가자의 평균과 편차가 서로 다르다고 해도 개인별 평균을 기준으로 평가대상을 바라보는 우선순위와 높낮이는 유사할 것이라고 가정한 것이다. 이 방법은 모든 점수를 보정하는 것이 아니라 극한값만을 보정하기 때문에 원점수를 최대한 반영한다는 장점이 있고, 평가대상별 높낮이를 상대적으로 고려하기 때문에 특정업체에 대해 편파적으로 부여되는 점수를 직접적으로 보정한다는 장점이 있다.
제안 방법
본 논문에서는 제안서평가와 같이 평가대상이 소규모이고, 평가대상별 수준이 유사한 경우 평가자의 주관적 성향을 보정함과 동시에 변별력을 높일 수 있는 점수 표준화 방법을 제안하였다. 일반적으로 성능이 가장 우수한 평균편차일치법은 평가자의 점수가 동일할 경우에는 계산자체가 불가능하고, 평가대상이 2개 일 경우에는 점수의 변별력이 떨어지는 경우가 발생하기 때문에 평가대상의 수가 소규모이고, 수준이 유사한 제안서평가에 적용은 제한된다.
본 연구의 제안서평가는 단일그룹으로 구성되고, 가격점수와의 격차를 고려하여 점수 차이의 변별력이 중요하기 때문에 평균 일치를 생략한 편차 한계적용법만을 제시하였다. 만약 평가대상이 복수 그룹이고, 점수 차이의 변별력보다는 우선순위만을 결정하는 면접과 같은 경우는 각 그룹간 평균을 일치시킨 후 편차 한계적용법을 적용하면 될 것이고, 이 경우에도 평균편차 일치법보다 우수한 성능을 발휘함을 확인할 수 있었다.
우선순위 편차한계적용방법의 성능을 확인하기 위해서 기존 표준화 방법 중 가장 성능과 안정성이 뛰어난 평균편차일치법과 비교를 수행하였다. 입력되는 점수는 표준정규분포와 균일분포 2가지를 적용하여 난수를 생성하였고, 평가자의 수와 평가대상은 무기체계 연구개발사업의 제안서평가 위원의 수와 입찰 참 여수를 고려하여 평가자 10명, 평가대상은 2, 3, 5개로 구분하였다.
표 6에서 보면 산출된 차이값을 평가대상 기준의 세로 방향의 평균과 표준편차를 구한 뒤 편차 한계를 정하고, 차이값을 보정한 것이다. 평가대상별 ｢평균+표준편차｣를 편차 상한 값, ｢평균-표준편차｣를 편차 하한 값으로 설정하고, 원래 차이값이 편차범위내에 위치하면 원래 값을 적용하고, 원래 차이값이 편차 상한 값을 초과 시에는 편차 상한 값을 적용하며, 편차 하한 값 미만 시에는 편차 하한 값을 적용하여 보정한다. 표 6의 보정 결과를 보면 평가자2가 평가대상 A를 평가한 2.
대상 데이터
평균편차일치법과 비교를 수행하였다. 입력되는 점수는 표준정규분포와 균일분포 2가지를 적용하여 난수를 생성하였고, 평가자의 수와 평가대상은 무기체계 연구개발사업의 제안서평가 위원의 수와 입찰 참 여수를 고려하여 평가자 10명, 평가대상은 2, 3, 5개로 구분하였다. 각 경우마다 100회의 반복실험을 하였고, 해당 결과는 SPSS를 이용하여 상관분석 하였고, 입력점수가 서열척도임을 감안하여 Kendal's tau rank correlation coefficient와 Pearson correlation coefficient를 동시에 산출하였다.
데이터처리
입력되는 점수는 표준정규분포와 균일분포 2가지를 적용하여 난수를 생성하였고, 평가자의 수와 평가대상은 무기체계 연구개발사업의 제안서평가 위원의 수와 입찰 참 여수를 고려하여 평가자 10명, 평가대상은 2, 3, 5개로 구분하였다. 각 경우마다 100회의 반복실험을 하였고, 해당 결과는 SPSS를 이용하여 상관분석 하였고, 입력점수가 서열척도임을 감안하여 Kendal's tau rank correlation coefficient와 Pearson correlation coefficient를 동시에 산출하였다. 표 9는 평가 대상수에 따른 표준화 방법별 상관분석 결과이다.
이 방법은 모든 점수를 보정하는 것이 아니라 극한값만을 보정하기 때문에 원점수를 최대한 반영한다는 장점이 있고, 평가대상별 높낮이를 상대적으로 고려하기 때문에 특정업체에 대해 편파적으로 부여되는 점수를 직접적으로 보정한다는 장점이 있다. 객관적인 성능을 입증하기 위해 기존 표준화 방법 중성 능이 가장 우수한 평균편차일치법과 상관계수를 비교하였다. 평가자 수는 10명으로 하고, 입력점수는 표준정규분포와 균일분포, 평가대상은 2, 3, 5개로 구분하여각 경우마다 100회의 반복실험 후 SPSS를 이용하여 상관분석을 하였다.
이렇게 다양한 표준화방법 중 어느 방법을 적용해야 하는가를 제시하기 위해 박철용(2011)은 면접점수의 표준화 방법 모의실험비교에서 Z점수 평균(평균편차 일치법), 순위평균, 절사평균(최댓값, 최솟값 제외 방법) 방법 간 성능을 비교하였고[7], 민대기(2012)는 수능시험의 원점수 순위와 표준점수 순위 비교를 위해 STD(평균편차일치방법), RANGE, MAD(Median Absolute Deviation from Median, 중앙값), IQR(InterquatileRange, 사분위수) 방법 간 안정성을 비교하였다[8]. 이런 연구의 공통점은 성능과 안정성을 비교하기 위해 순위상관계수(Kendal's rank correlation coefficient, Pearson correlation coefficient)를 활용하였고, 비교실험결과 여러 표준화 방법 중 평균/편차 일치법의 성능 및 안정성이 가장 우수하다는 것이다.
객관적인 성능을 입증하기 위해 기존 표준화 방법 중성 능이 가장 우수한 평균편차일치법과 상관계수를 비교하였다. 평가자 수는 10명으로 하고, 입력점수는 표준정규분포와 균일분포, 평가대상은 2, 3, 5개로 구분하여각 경우마다 100회의 반복실험 후 SPSS를 이용하여 상관분석을 하였다. 실험결과 모든 경우에서 우선순위 편차 한계적용법의 성능이 우수함을 확인할 수 있었다.
성능/효과
01에서 우선순위 편차한계적용법의 상관계수가 평균/ 편차일치법보다 높고, 입력점수가 정규분포일 경우보다 균일분포일 때 상관계수가 더 높음을 확인할 수 있다. 또한 평가대상수가 적어질수록 우선순위 편차한계적용법의 상관계수가 평균/ 편차 일치법보다 높다. 평균/ 편차 일치법의 평가대상이 5개에서 2개로 될 때 균일분포의 Kendall tau_b 상관계수가 0.
만약 평가대상이 복수 그룹으로 구성될 경우에는 각 그룹간 평균을 우선적으로 일치시킨 후 우선순위 편차 한계적용법을 적용할 수 있을 것이며 본 연구에서 제시하지는 않았으나, 평균을 일치시킨 후 편차 한계적용법을 적용할 경우에도 평균편차일치법에 비해 성능이 우수함을 확인할 수 있었다.
제시하였다. 만약 평가대상이 복수 그룹이고, 점수 차이의 변별력보다는 우선순위만을 결정하는 면접과 같은 경우는 각 그룹간 평균을 일치시킨 후 편차 한계적용법을 적용하면 될 것이고, 이 경우에도 평균편차 일치법보다 우수한 성능을 발휘함을 확인할 수 있었다.
평가자 수는 10명으로 하고, 입력점수는 표준정규분포와 균일분포, 평가대상은 2, 3, 5개로 구분하여각 경우마다 100회의 반복실험 후 SPSS를 이용하여 상관분석을 하였다. 실험결과 모든 경우에서 우선순위 편차 한계적용법의 성능이 우수함을 확인할 수 있었다. 더구나 평가대상수가 적어질수록 평균/편차일치법의 성능이 떨어지고, 우선순위 편차한계적용법의 성능이 더욱 우수하였다.
860으로 낮아졌다. 이는 평가대상 수가 대규모인 면접과 같은 경우에는 평균/편차 일치법을 적용할 수 있으나, 평가대상수가 적어질수록 평균/ 편차일치법의 성능은 떨어지므로 제안서평가와 같이 평가 대상 수가 소규모인 경우에는 평균편차 일치법보다 편차 한계적용법의 성능이 더 우수함을 보여준다.
더구나 평가대상수가 적어질수록 평균/편차일치법의 성능이 떨어지고, 우선순위 편차한계적용법의 성능이 더욱 우수하였다. 이를 볼 때 평가대상수가 대규모인 면접과 같은 경우에는 평균/편차일치법을 적용할 수 있으나, 제안서평가와 같이 평가대상수가 소규모인 경우에는 평균편차 일치법보다는 편차한계적용법을 적용하는 것이 유리하다는 것을 보여준다.
이와 같이 평균/편차일치법과 우선순위 편차 한계적용법은 보정효과가 유사하지만, 보정대상의 차이가 있음을 확인할 수 있다.
일반적으로 성능과 안정성이 우수하여 널리 사용되는 표준화 방법은 평균과 편차를 일치시키는 방법이나, 제안서평가는 평가대상이 2~5개로 작은 규모이고, 무기체계 개발 특성상 평가대상별 기술력이 유사한 특징이 있어 평균과 편차를 일치시키는 표준화 방법은 제안서평가에 적용이 제한됨을 확인하였다. 따라서 본 연구에서는 현재 사용 중인 표준화방법의 사례를 살펴보고, 제안서평가에 적용 가능한 점수 표준화 방법을 제시하고자 한다.
표 9는 평가 대상수에 따른 표준화 방법별 상관분석 결과이다. 전반적으로 평가 대상수에 관계없이 유의수준 0.01에서 우선순위 편차한계적용법의 상관계수가 평균/ 편차일치법보다 높고, 입력점수가 정규분포일 경우보다 균일분포일 때 상관계수가 더 높음을 확인할 수 있다. 또한 평가대상수가 적어질수록 우선순위 편차한계적용법의 상관계수가 평균/ 편차 일치법보다 높다.
첫째, 평가자의 점수가 동일할 경우 계산자체가 불가능하다. 평균과 편차를 일치시키는 산식은 ｢전체평균 +[(원점수-그룹평균)/그룹 표준편차]*전체표준편차｣이다.
또한 평가대상수가 적어질수록 우선순위 편차한계적용법의 상관계수가 평균/ 편차 일치법보다 높다. 평균/ 편차 일치법의 평가대상이 5개에서 2개로 될 때 균일분포의 Kendall tau_b 상관계수가 0.905에서 0.6으로 급격히 떨어지는데 반해 우선순위 편차 한계적용법은 0.942에서 0.860으로 낮아졌다. 이는 평가대상 수가 대규모인 면접과 같은 경우에는 평균/편차 일치법을 적용할 수 있으나, 평가대상수가 적어질수록 평균/ 편차일치법의 성능은 떨어지므로 제안서평가와 같이 평가 대상 수가 소규모인 경우에는 평균편차 일치법보다 편차 한계적용법의 성능이 더 우수함을 보여준다.
후속연구
위와 같이 편차한계적용법은 평가위원의 성향에 따른 편차와 특정평가대상에 대한 편파적인 점수보정이 가능하여 평가의 공정성과 객관성을 향상시킬 수 있고, 원점수를 최대한 반영하여 평가점수 변별력을 높임으로써 제안서평가에 적용시 기술수준에 따른 합리적인 우선순위 결정에 기여할 수 있을 것으로 기대한다.
보정한다는 것에 의의가 있다. 편차한계 적용법은 평가대상수가 적을수록 평균편차일치법에 비해 우수한 성능을 발휘하고, 전체점수를 보정하는 것이 아니라 특정 점수만을 보정하여 평가자 원점수를 최대한 반영하기 때문에 소규모의 평가대상으로 구성되는 제안서평가에 적용시 평가의 공정성과 객관성, 변별력을 향상시킬 수 있을 것으로 기대된다.
참고문헌 (8)
Defense Acquisition Program Administration Instruction 270, The Instruction for Defense Acquisition Program management, DAPA, 2014.
B. W. Nam, “The Study on Standardization Method of the College Scholastic Ability Test,"Spring Conference Articles of Korean Institute of Industrial Engineers & The Korean Operations Research and Management Science Society, pp. 1085-1092, 2002.
B. K. Moon, "The Study for Problems of Course Evaluations in Mathematics Education," J. Korean Soc. Math. Ed. Ser. E : Communications of mathematical education, vol. 24, no. 4, pp. 909-922, Nov. 2010.
Defense Acquisition Program Administration rule 173, The Guidelines for Proposal Evaluation and Negotiation of Weapon R&D, DAPA, 2014.
The Presidential Decree 24425, The Decree for Official Appointment Test, 2013.
K. H. Cho. "The Performance analysis for government 360 feedback process," Korean Public Personnel Administration Review. vol. 7(1), pp. 229-259, 2008.
C. Y. Park. "Simulation Comparison of Standardization Methods for Interview Scores," Journal of Korean Data & Information Science Society, Vol 22(2), pp. 189-196, 2011.
D. K. Min and J. H. Jung. "The Study of Comparisons of Standardization Methods," Journal of Korean Data & Information Science Society, Vol 23(1), pp. 113-120, 2012.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.