선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- MRL 평가항목에 대한 과거 평가이력을 정량화하기하여 나타내기 위해서, 본 연구에서는 HOM8 값을 8등급으로 구분하여 계량화 하는 것을 제안하고자 한다.
- 제조성숙도평가 현황을 살펴보면 2014년에는 2개 미달성, 4개 조건부 달성, 2015년 0개 미달성, 6개 조건부 달성, 2개 달성 등 2012년 국내 시범적용 이후 MRA 평가결과 점수가 점차적으로 높아지는 점수 인플레이션 현상이 심화되고 있으며, 단순 평가항목에 대한 동일한 가중치를 적용하는 것으로는 내실있는 MRA평가에 한계가 있음을 보여주고 있다. 따라서 본 연구에서는 평가항목 가중치를 구하기 위한 요소를 식별하고, 요소에 대한 측정 가능한 지표를 제안하여 MRL 8 평가항목 고도화에 관한 MRA 가중치 모델을 개발하였다.
- 본 연구는 가중치가 동일한 기존 평가방법 대신 평가 항목에 대한 중요도를 고려하기 위한 네 가지 지표를 선정하고, 정량적인 데이터에 근거한 정밀한 MRL8 평가 모델을 제안하였다. 그러나 지난 MRA 평가결과에는 평가항목에 대한 ‘달성’ 또는 ‘미달성’에 관한 자료만 존재하여, 해당 지표에 대한 정밀한 데이터를 얻지 못하여 평가모델의 신뢰성에 한계점을 가지고 있다.
- 본 연구에서는 MRL 8 평가항목의 과거 업체의 이력, 난이도, 중요도 등을 반영할 수 있도록 지표를 정의하고, 항목별 가중치를 정량적으로 계산한 MWV 방식의 MRL 8에 대한 평가모델을 제안하였다. 기존 MRL 8 평가방식은 항목 간 가중치를 동일하게 부여하여, 달성 또는 미달성으로 전체 평가점수를 산출하는 방식을 따르고 있으나, 평가항목 별 중요도가 고려되지 않은 상태에서 전체적으로 평가점수가 상승하는 점수 인플레이션 현상이 발생하고 있으며, 전체 점수가 80점 이상이면 MRL 8 평가가 조건부 달성되는 점을 고려하여 피평가자 입장에서는 일부 미달성 항목에 대해서는 전략적 선택을 함으로써 전체 평가가 달성되도록 하는 문제점이 식별되었다.
- 본 연구의 목적은 기존에 제도화된 MRA 평가체계에 대해 논하고, 기존 방식에서 탈피하여 과거 업체의 MRA 평가항목 이력을 반영하고, 평가항목 난이도, 평가항목의 중요도 및 사업별 특성 등에 따라 가중치를 적용한 새로운 방식의 MWV(Manufacturing Readiness Level8 Weighted Value)을 이용한 MRA 평가모델을 제안한다. 제안된 모델을 통해 기존에 실시된 4개 사업에 대한 평가항목 간 MWV를 계산하였으며, 이를 통해 제안된 MRL8 평가 방법론의 개선결과를 분석하였다.
가설 설정
- 이러한 요소는 중요도에 동일한 비중으로 영향을 미치는 것은 아니며 사업별 특성 등에 따라 상이할 수 있다. 요소별 가중치는 판단하기 위해서는 각 요소별 중요도를 판단해야 하며 이를 위해서는 별도의 정량적 지표 개발이 필요한 부분으로 앞으로의 연구과제이며 본 연구에서는 동일한 가중치를 가지는 것으로 가정하여 구하였다.
제안 방법
- 2016년 방위사업청으로부터 의뢰된 사업들에 대해 제조성숙도(MRL8)을 기준으로 제조성숙도평가(MRA)를 수행한 결과를 근거로, 본 연구에서 제안된 평가모델을 기반으로 재해석하여 개선정도를 분석하였다.
- 값을 8등급으로 구분하여 계량화 하는 것을 제안하고자 한다. HOM8 값을 구하기 위해서 최근 MRA 평가 횟수 3회를 기준으로 계산하는 모델을 제안한다. 최근 평가결과 3회를 근거로 삼은 이유는 대형 방위산업체를 제외하고는 3회 이상 받은 사례가 흔하지 않고, 3회 이상 평가를 받을 경우 평가의도와 평가방침 등에 대한 정보가 대부분 공개되고 업체 입장에서도 피평가시 노하우가 축적되는 등 그 이상 횟수에 대한 구분은 변별력이 없다고 판단하여 3회로 선정하였다.
- 이를 위해서 평가항목 간의 가중치를 부여하는 방식에 대한 필요성이 제기되었으며, 본 연구에서는 과거 업체의 MRA 평가항목 이력을 반영할 수 있도록 HOM8지표, MRL 8 평가항목 난이도를 정량화하기 위한 지표로 평가시간을 이용하여 DOM8을 제안하였으며 평가항목 고유 중요도와 사업별 중요도를 나타낼 수 있는 ICOM8과 M8RA를 개발하였다. 개발된 지료들을 기반으로 MRL 8 평가항목 가중치 MWV를 산출하여 최종 MRL 8 수준이 달성되었는가를 판단하기 위한 MRL 8 평가모델을 제시하였다.
- 본 연구에서 제안된 평가모델은 이전 MRA평가결과 및 평가팀 의견에 따라 변화하기 때문에, 사업별로 MWV가 변화하는 특성을 가지게 된다. 모델이 개발되기 이전에 수행된 A, B, C 사업의 경우 평가팀이 해체되는 등의 사유로 평가항목 난이도를 나타내는 DOM8 및 사업별 고유 중요도를 나타내는 M8RA에 대한 지표를 차별화하여 나타낼 수는 없었다.
- 본 연구에서는 평가항목 중요도를 정량화하기 위해 Risk Reporting Matrix를 적용하되, 기존 3단계로 구분하였던 수준의 정도를 5단계로 정교화하게 수준을 배치하여 평가항목 위험 분석 매트릭스를 Table 7.과 같이 제안한다.
- 기존 MRL 8 평가방식은 항목 간 가중치를 동일하게 부여하여, 달성 또는 미달성으로 전체 평가점수를 산출하는 방식을 따르고 있으나, 평가항목 별 중요도가 고려되지 않은 상태에서 전체적으로 평가점수가 상승하는 점수 인플레이션 현상이 발생하고 있으며, 전체 점수가 80점 이상이면 MRL 8 평가가 조건부 달성되는 점을 고려하여 피평가자 입장에서는 일부 미달성 항목에 대해서는 전략적 선택을 함으로써 전체 평가가 달성되도록 하는 문제점이 식별되었다. 이를 위해서 평가항목 간의 가중치를 부여하는 방식에 대한 필요성이 제기되었으며, 본 연구에서는 과거 업체의 MRA 평가항목 이력을 반영할 수 있도록 HOM8지표, MRL 8 평가항목 난이도를 정량화하기 위한 지표로 평가시간을 이용하여 DOM8을 제안하였으며 평가항목 고유 중요도와 사업별 중요도를 나타낼 수 있는 ICOM8과 M8RA를 개발하였다. 개발된 지료들을 기반으로 MRL 8 평가항목 가중치 MWV를 산출하여 최종 MRL 8 수준이 달성되었는가를 판단하기 위한 MRL 8 평가모델을 제시하였다.
- 또한, MRA평가를 수행하면서 중요성이 새롭게 부각되는 부분이 식별될 수도 있고, 산학연 전문가 설문을 통해 항목에 대한 중요도에 대한 심층적인 검토는 필요하다고 판단된다. 중요도는 전문가 설문을 통해 파악이 가능하며, 점수 측정이 편의성을 위해 일반적으로 사용되는 5단계 척도를 적용하여 1 ~ 9점 범위 내에서 측정하도록 본 연구에서 제안하고자 한다. 5단계로 구분하여 8점 척도를 사용한 사유는 각 항목들 간의 연관성을 분석하기 위해 전문가 설문을 통해서 산출된 결과를 바탕으로 AHP(Analytic Hierarchy Process) 기법을 적용 후, 본 설문의 일관성 지수를 계산하고, 평가 기법의 객관성을 검증하기 위해서이며 고유 중요도를 파악하기 위한 전문가 설문은 향후 MRA평가모델의 정교화 및 최신화를 위해 정기적으로 실시하는 것이 필요하다.
- 4% 정도이며, 이를 최초 수행할 때 사용하는 초기값으로 정의한다. 평가시간별 가중치를 부여하기 위해 본 연구에서 제안된 또한 최대 평가시간을 측정하기 위해 피평가자 준비시간(t1)과 평가위원 평가시간(t2)을 하나의 대상사업에 적용하여 산출된 유형별 결과를 분석하였다. 2016년도 수행 되었던 D사업에 대해 분석한 결과, 피평가자 준비시간(t1)은 최소 0.
- 3일에서 최대 8일까지 8가지 유형으로 나타났으며, 평가위원 평가시간(t2)은 최소 5분부터 최대 50분까지 9가지 유형으로 나타났다. 평가위원 평가시간중 5분과 8분은 동일한 난이도로 간주하여 DOM8은 총 8가지 유형으로 구분하는 것이 합리적이며 이를 위해 나타난 최소값과 최대값의 차이를 8등분으로 하여 점수표를 본 연구에서 정의하였다. 최소값의 경우 0.
- 평가에 소요되는 자원 중 시간은 피평가자가 자체평가결과를 제출하기 위해 준비한 시간과 평가위원들이 평가항목별 소요된 평가시간의 합으로 산출된다. 피평가자가 준비한 시간은 피평가자 설문을 통해 입수하였다. 피평가자가 준비할한 서류가 많아질수록 평가위원들은 평가를 위해 소요되는 시간은 길어지는 경향이 있다.
대상 데이터
- 위 가이드북에서 위험은 해당 사업을 달성하기 위해 관련된 ‘미래의 불확실성(future uncertainties)’이며 이는 예상치 못한 사건이 발생할 확률과 발생할 경우 예상되는 영향력 및 심각성으로 정의되고 있다[11]. MRL 평가 항목 위험 분석을 위해 MRL8 평가항목 위험 발생가능성과 영향력 평가를 기초자료로 활용하였다. MRL8 평가항목이 위험 발생가능성이란 평가항목이 미충족일 경우 예상되는 위험에 대한 발생 확률을 의미하고, 영향력 평가는 발생된 위험이 미치는 심각도를 의미한다.
- 분석결과 대상은 국방기술품질원 주관으로 수행되었고, 피 평가자는 동일한 하나의 업체를 대상으로 수행된 2013년부터 2016년까지 4개 사업에 대한 항목별 MRA 평가결과를 기준으로 삼았으며, 사업별 MRA결과는 Table 9.와 같다,
데이터처리
- 본 연구의 목적은 기존에 제도화된 MRA 평가체계에 대해 논하고, 기존 방식에서 탈피하여 과거 업체의 MRA 평가항목 이력을 반영하고, 평가항목 난이도, 평가항목의 중요도 및 사업별 특성 등에 따라 가중치를 적용한 새로운 방식의 MWV(Manufacturing Readiness Level8 Weighted Value)을 이용한 MRA 평가모델을 제안한다. 제안된 모델을 통해 기존에 실시된 4개 사업에 대한 평가항목 간 MWV를 계산하였으며, 이를 통해 제안된 MRL8 평가 방법론의 개선결과를 분석하였다.
이론/모형
- 모델이 개발되기 이전에 수행된 A, B, C 사업의 경우 평가팀이 해체되는 등의 사유로 평가항목 난이도를 나타내는 DOM8 및 사업별 고유 중요도를 나타내는 M8RA에 대한 지표를 차별화하여 나타낼 수는 없었다. 따라서 2016년에 수행된 D사업에서 얻어진 지표를 가지고 분석결과를 사용하였다. 변경 가능한 지표는 이전 이력이 남아있는 HOM8을 통해 평가모델의 가중치를 사업별로 나타내었다.
- 에 해당하는 평가항목별 점수를 전문가 설문을 통해 입수한 후, 평균을 구하여 MRL8 평가항목 고유 중요도 점수를 산출한다. 위와 같이 산출된 평가항목 고유 중요도를 MRL8 평가항목의 중요도를 판단하는 지표 중의 하나로 선정하였으며 ICOM8(The Intrinsic Cruciality of MRL8)로 정의한다. ICOM8은 1~8점을 가지며 정규화된 NICOM8(The Normalized Intrinsic Cruciality of MRL8)은 0~1의 값을 가지게 된다.
- 이러한 중요도는 본 평가 시작 전에 평가항목 검토 회의에서 평가위원들이 평가대상 사업에 대한 MRL 평가항목 위험 평가(Risk Assessment)를 수행한다. 위험 평가는 위험 발생 가능성과 예상되는 영향력 및 심각도를 기준으로 정량화된 수치로 산출되며 이러한 수치를 사업별 MRL 평가항목 위험 평가를 사업별 MRL 8 평가항목 간 중요도를 판단하는 지표로 선정하였으며 M8RA(MRL 8 Risk Assessment)로 명명한다.
- 평가항목 위험 영향력 평가도 5단계로 구분하여 사업팀에서 평가항목 검토회의에서 결정하며 해당 기준은 발생 가능성과 동일하게 Risk Management Guidebook 기준을 적용하였으며 Table 6.과 같다.
- 평가항목 중요도를 결정하는 지표인 M8RA를 결정하기 위해서 Risk Management Guidebook의 Risk Reporting Matrix를 적용하여 정량화된 값을 도출하였다. 위 가이드북에서 위험은 해당 사업을 달성하기 위해 관련된 ‘미래의 불확실성(future uncertainties)’이며 이는 예상치 못한 사건이 발생할 확률과 발생할 경우 예상되는 영향력 및 심각성으로 정의되고 있다[11].
성능/효과
- 2013년도 최초 NMWV값은 1점으로 모든 항목에 대한 가중치는 1로 동일하나, 2014년도 NMWV값은 최소 값이 0.65이고, 최대값은 1.55로 항목별 가중치는 최대 2.4배정도였으나, 2016년도 NMWV값은 최소값이 0.35, 최대값이 1.5로서 항목별 가중치는 최대 4.3배로 항목별로 가중치의 차별화가 뚜렷해지고 있음을 확인할 수 있다. 이는 MRA평가횟수가 증가하고, 관련 자료가 축적될 경우 본 연구에서 제안하는 모델을 통해 항목별 가중치가 정교하게 계산되어 평가에 활용될 수 있음을 보여주고 있다.
- 분석결과, 중간값에 해당하는 3점과 4점이 총 47개로 전체의 66%를 차지하여 대부분인 것으로 나타났으며 최저점인 1점에 해당하는 항목은 1개, 최고점에 해당하는 8점인 항목도 2개로 나타났다. 8점에 해당하는 항목들은 최초 평가시 부여하는 4점에 비해 2배의 가중치를 가지는 것으로 나타났으며, 최저점 대비 최대 8배의 가중치 효과를 가지는 것으로 분석되었다.
- MRA 평가에 세 번 참여한 경험을 바탕으로 MRA 평가시 특정 항목은 반나절이 걸리는 경우도 있으며 다른 항목의 경우 30분 이내로 평가가 종료되는 등 평가항목 간의 평가 난이도가 존재하는 것을 확인하였다. 평가에 오랜 시간이 걸리는 항목의 경우 피평가자 입장에서도 평가자료 준비 등 시간이 오래 걸리는 것으로 확인되었고, 평가위원들도 평가 준비자료를 검토하는데 오랜 시간이 걸리는 등 평가항목 난이도에 따라 해당 평가항목의 중요도에 영향을 미칠 수 있다.
- NMWV 값은 0.35에서 1.55의 분포를 보이고 있고, 빈도수는 Table 11과 같이 2014년에는 0.33에서 0.53점의 분포를 가지는 항목은 없으나, 2016년도에는 27항목이 0.53 이하의 가중치를 가지는 것으로 나타났으며, 이는 연도별로 MRA점수가 상승하면서 기준충족을 받는 항목수가 늘어난 것과 밀접한 관련이 있는 것으로 보인다. 본 연구에서 제안된 평가모델을 사용하여 낮은 가중치를 가지는 평가항목에 대해서는 평가의 변별력이 있는지에 대한 여부 및 평가 정의서의 정교화가 요구된다고 할 수 있다.
- 에서 thread 항목의 초기 비중은 현행 MRA평가는 모든 항목에 동일한 가중치를 가지기 때문에, 항목수 대비 전체항목수의 비율로 thread별 가중치를 초기 비중으로 제시하였다. Table 12.의 시계열별 데이터를 분석하면 thread 1 기술 및 산업기반의 경우 전체 thread 중 가장 높은 비중을 보이고 있으며 2016년도 가중치 점수는 초기 비중에 비해 중요도가 35.7% 정도 높다는 것을 확인할 수 있으며, thread 2 설계의 경우 마찬가지로 2016년도 NMWV는 초기 비중 대비 22.7%로 중요도가 높으며 연도별 가중치를 비교해도 점점 중요도가 높아지고 있음을 알 수 있다.
- 기존 MRA 평가에 있어 실제 활용되고 있는 제조성 숙도 MRL8 요구조건의 평가항목은 초도생산을 위한 파일럿 라인에서 양산성을 확인하여, 체계 개발단계의 종료기준으로 활용되며, 양산진입을 위한 모든 설계, 자재, 인력, 제조계획 수립을 확인한다. MRL8의 수준별 표준 평가항목은 Table 1.
- 따라서 HOM8값은 MRA평가 수행시 최근의 3번의 MRA평가결과를 근거로 현재 어떠한 state에 있는가를 판단하여 결정할 수 있고, HOM8은 1~8점을 가진다. 정규화된 NHOM8(The Normalized History of MRL8)은 0~1의 값을 가지게 되며 최초 수행시 NHOM8점수는 1 점이다.
- 따라서 과거의 이력을 조사하여 ‘달성’한 횟수가 높을수록 향후 평가시 해당 항목의 중요도는 낮은 것으로 볼 수 있으며, 평가항목의 가중치는 낮은 쪽으로 영향을 미치게 된다. 따라서 MRL 평가항목별 과거 평가이력을 MRL8 평가항목의 중요도를 판단하는 지표 중의 하나로 선정하였으며 HOM8(The History of MRL8)로 명명한다.
- 여기서 식(3)의 분모2는 전체 평가시간을 0 ~ 1의 값을 가지도록 정규화하기 위해 사용되었다. 따라서 평가항목별 전체 평가시간을 MRL8 평가항목의 중요도를 판단하는 지표 중의 하나로 선정하였으며 DOM8(The Difficulties of MRL8)로 명명한다. 평가에 소요되는 자원 중 시간은 피평가자가 자체평가결과를 제출하기 위해 준비한 시간과 평가위원들이 평가항목별 소요된 평가시간의 합으로 산출된다.
- 4일에 해당한다. 분석결과, 중간값에 해당하는 3점과 4점이 총 47개로 전체의 66%를 차지하여 대부분인 것으로 나타났으며 최저점인 1점에 해당하는 항목은 1개, 최고점에 해당하는 8점인 항목도 2개로 나타났다. 8점에 해당하는 항목들은 최초 평가시 부여하는 4점에 비해 2배의 가중치를 가지는 것으로 나타났으며, 최저점 대비 최대 8배의 가중치 효과를 가지는 것으로 분석되었다.
- 이상 충족으로 평가한다. 이 결과를 바탕으로 전체 75개 평가 항목 중 충족된 평가항목의 비율에 따라 90%를 초과한 경우 해당 제조성숙도 수준을 달성한 것으로 판단하고, 80 ~ 90% 항목이 충족된 경우에는 조건부로 MRL 수준을 달성한 것으로 판정한다.
- 여기서 α1 는 1번 평가항목에 대한 기준충족 여부에 대한 평가점수로 기준충족이면 1점, 기준 미충족이면 0점이다. 최종 MRL 8 평가점수는 0~1점의 범위를 가지게 되며 해당사업의 충족여부를 판단하는 90점 이상은 0.9점 이상일 경우 충족, 0.8~0.9점인 경우 조건부 충족으로 평가결과가 산출된다.
- MRA 평가에 세 번 참여한 경험을 바탕으로 MRA 평가시 특정 항목은 반나절이 걸리는 경우도 있으며 다른 항목의 경우 30분 이내로 평가가 종료되는 등 평가항목 간의 평가 난이도가 존재하는 것을 확인하였다. 평가에 오랜 시간이 걸리는 항목의 경우 피평가자 입장에서도 평가자료 준비 등 시간이 오래 걸리는 것으로 확인되었고, 평가위원들도 평가 준비자료를 검토하는데 오랜 시간이 걸리는 등 평가항목 난이도에 따라 해당 평가항목의 중요도에 영향을 미칠 수 있다. 평가항목 난이도는 피평가자가 평가항목에 대한 증빙자료 작성 등의 피평가자 준비시간(t1)과 평가위원들의 현장평가시 소요되는 평가위원 평가시간(t2)을 측정하여 피평가자 전체 준비시간(T1)과 전체 현장평가시간(T2)의 비율을 산출하여 평가항목별 전체 평가시간(T)는 다음과 같은 식(3)으로 산출한다.
후속연구
- 중요도는 전문가 설문을 통해 파악이 가능하며, 점수 측정이 편의성을 위해 일반적으로 사용되는 5단계 척도를 적용하여 1 ~ 9점 범위 내에서 측정하도록 본 연구에서 제안하고자 한다. 5단계로 구분하여 8점 척도를 사용한 사유는 각 항목들 간의 연관성을 분석하기 위해 전문가 설문을 통해서 산출된 결과를 바탕으로 AHP(Analytic Hierarchy Process) 기법을 적용 후, 본 설문의 일관성 지수를 계산하고, 평가 기법의 객관성을 검증하기 위해서이며 고유 중요도를 파악하기 위한 전문가 설문은 향후 MRA평가모델의 정교화 및 최신화를 위해 정기적으로 실시하는 것이 필요하다. 평가항목별 고유 중요도별 점수는 Table 4.
- 이와 같이 MRA 제도는 효용성이 있음을 보여주었음에도 불구하고 실제 수행 시 나타나는 몇 가지 한계도 발견되었다. MRA 제도의 본질적인 취지는 양산성(producibility)을 진화적으로 성숙시켜 나가는데 있지만, 체계개발 종료시점에서 일회성 이벤트로 실시하는데 그치고 있어 본질적인 한계를 가지고 있으며, 피평가 자가 평가항목에 대해 맞춤형으로 준비를 하면서 평가점수가 점차적으로 높아지는 등 준비상태 점검이라는 본래의 목적과는 달리 점수만 상승하는 평가점수 인플레 현상이 심화되는 문제점이 식별되는 등 본 제도가 운영된 지 5년여가 지난 지금 그동안의 평가결과를 바탕으로 보다 정교한 평가방법론을 개발하는 것이 필요성이 대두되었다.
- thread 4 자재의 경우 점점 가중치가 낮아지고 있다는 점에서 피평가자가 충실한 준비 등을 통해 기준충족률이 높아지고 있음이 추정 가능하다. thread 5 공정능력 및 관리는 시계열 NMWV값은 점차적으로 높아짐을 확인할 수 있으므로 차후 평가 시 더욱 중점적으로 평가해야 할 것이다. thread 6 품질, thread 7 인력, thread 8 설비, thread 9 제조계획 및 일정관리의 경우 연도별 NMWV값이 점차적으로 낮아지고 있어, 대상 항목에 대한 기준충족율이 높아지고 있어 기존의 평가기준을 적용할 경우 NMWV값은 더욱 낮아질 것으로 예상된다.
- 둘째, 평가항목 고유 중요도를 위한 전문가 인재 풀에 대한 외연을 확장시켜 무기체계 양산사업 과정 전반에 관여하는 전문가들의 설문 참여를 확장해야 될 필요가 있으며, 현행 5단계 척도에서 중요도를 파악하기 위해서는 MRA평가에 참여한 사실이 있는 평가팀장과 간사를 대상으로 설문지 질문에 대한 의견 수렴 등의 과정을 통해 고유 중요도를 정밀하게 파악하기 위한 설문지 작성에 관한 연구가 필요하다.
- 본 연구에서 제안된 평가모델에 따라 산출된 NMWV값을 통해 MRA평가 항목 thread별 중요도를 파악하는 것이 가능하며, 점차적으로 가중치가 낮아지는 항목에 대해서는 개선 대상으로 삼아 평가기준을 정교화하고 평가방법론을 개발해야 필요성을 인식할 수 있으며 가중치가 높아지는 항목에 대해서는 보다 중점적으로 평가노력을 기울여 무기체계 품질을 향상시키는데 기여할 수 있다. 또한 이러한 시계열 데이터를 축적하고, 사업별 평가항목 정교화를 통해 MRA평가점수의 인플레이션화를 방지하고 실질적인 MRA평가방법 개선에 기여할 수 있다.
- 마지막으로, 제안된 평가모델에 대한 신뢰성과 객관성을 획득하기 위해서는 현장에서 일어나는 평가과정에서 수집되는 데이터를 근거로 지속적인 지표 개발 및 정교화 과정이 필요하며 현재 수립된 모델을 기준으로 향후 평가대상 사업에 적용하여 효용성을 검증하고, 통신, 유도무기, 기동장비 등 무기체계별로 특화된 모델 개발에 관한 향후 연구가 필요하다.
- 본 연구에서 제안된 평가모델에 따라 산출된 NMWV값을 통해 MRA평가 항목 thread별 중요도를 파악하는 것이 가능하며, 점차적으로 가중치가 낮아지는 항목에 대해서는 개선 대상으로 삼아 평가기준을 정교화하고 평가방법론을 개발해야 필요성을 인식할 수 있으며 가중치가 높아지는 항목에 대해서는 보다 중점적으로 평가노력을 기울여 무기체계 품질을 향상시키는데 기여할 수 있다. 또한 이러한 시계열 데이터를 축적하고, 사업별 평가항목 정교화를 통해 MRA평가점수의 인플레이션화를 방지하고 실질적인 MRA평가방법 개선에 기여할 수 있다.
- 53 이하의 가중치를 가지는 것으로 나타났으며, 이는 연도별로 MRA점수가 상승하면서 기준충족을 받는 항목수가 늘어난 것과 밀접한 관련이 있는 것으로 보인다. 본 연구에서 제안된 평가모델을 사용하여 낮은 가중치를 가지는 평가항목에 대해서는 평가의 변별력이 있는지에 대한 여부 및 평가 정의서의 정교화가 요구된다고 할 수 있다.
- 3배로 항목별로 가중치의 차별화가 뚜렷해지고 있음을 확인할 수 있다. 이는 MRA평가횟수가 증가하고, 관련 자료가 축적될 경우 본 연구에서 제안하는 모델을 통해 항목별 가중치가 정교하게 계산되어 평가에 활용될 수 있음을 보여주고 있다.
- 2016년도 HOM8 점수를 분석해보면, 최하점은 1점에서 최고점은 6점으로 최대 6배의 가중치 차이를 주게 되는 것으로 나타났다. 이는 연속해서 피 평가자가 최종 점수만을 가지고 합격/불합격을 따지는 현행 MRA평가제도 하에서 기준미충족 항목에 대해 선택적으로 노력하지 않고도 합격을 달성할 수 있는 동기를 제거할 수 있고, 기준미충족 항목 미달성에 대한 통제도 강화하여 내실있는 MRA평가준비를 하는데 있어 향상이 기대된다.
- 첫째, 향후 실시될 MRA평가에서는 DOM8지표를 구하기 위해 평가위원 평가시간 및 피평가자 준비시간 등의 구체적인 데이터 측정이 평가사업별로 이루어져야 하며, 평가항목 난이도를 측정하기 위해 시간이라는 변수 이외에 평가항목이 포함하는 평가범위의 크기 또는 평가자가 느끼는 난이도에 대한 정량적 수치화에 대한 연구가 필요하다.
- 해당 모델은 MWV 값이 고정된 것이 아니라 피평가자 평가이력, 전문가 설문 및 사업별 특성 등에 따라 가중치가 동적으로 변경 가능한 장점이 있고, 항목 간 중요도를 시계열로 분석 가능하여 MRL 8 평가항목 중 중점 적으로 평가해야 할 thread가 무엇인지를 파악하는 것이 가능하기 때문에 기존 방법에 비해 MRL8 평가항목들에 대한 피평가자의 전략적인 의사결정을 지양하고, 모든 평가항목에 대한 관심과 노력을 기울이는데 효과적인 활용이 가능할 것으로 기대한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.