선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 따라서 본 연구에서는 Cho(2012)가 제안한 해상교통안전진단제도에 대한 메타평가 분석틀, 즉 ‘PIP’OU 메타평가 모형(PIP’OU Metaevaluation Model)을 적용, 해상교통안전진단제도 전반에 대한 메타평가를 수행하여 진단의 질을 확인하고, 도출된 문제점에 대한 질적 개선을 유도하고자 한다.
제안 방법
- 개방형 문항은 내용분석을 통해 메타평가 항목별로 개선의견을 정리한 후 필요한 경우 면접을 통해 확인·보완하였다.
- 다만, ‘진단보고서의 유용성(0.578)’의 경우, 신뢰도가 0.60 미만이어 삭제하여야 하나 평가지표가 2개뿐이므로 1개 지표를 삭제할 경우 신뢰성 검증이 불가하므로 본 연구에서는 ‘진단보고서의 유용성’을 지표로서 그대로 두기로 하였다.
- 따라서 본 연구에서는 해상교통안전진단에 대한 메타평가 측정척도의 신뢰도를 검증하기 위한 방법으로 Cronbach's α 계수를 확인하여 설문조사 결과의 영역별, 항목별 내적 일관성 정도를 측정하였다.
- 본 연구는 해상교통안전진단 메타평가 모형을 적용, 진단활동 전반에 대한 메타평가를 실시함으로써 다음과 같이 제도의 현황과 문제점을 분석하고 개선방안을 제안하였다.
- 설문조사는 폐쇄형의 질문서로 구성하고, 조사방식은 설문지를 e-mail로 송부하고 접수하는 방식을 사용하였다. 설문조사 결과를 중심으로 2차 자료분석, 면접, 관찰 등을 통해 수집된 자료들을 보충하였다.
- 설문조사는 폐쇄형의 질문서로 구성하고, 조사방식은 설문지를 e-mail로 송부하고 접수하는 방식을 사용하였다. 설문조사 결과를 중심으로 2차 자료분석, 면접, 관찰 등을 통해 수집된 자료들을 보충하였다.
- 설문지는 메타평가 지표별로 Likert 5점 척도법을 적용한 구조화된 문항과 평가개선 우선순위 및 기타 평가개선 의견을 묻는 개방형 문항을 혼합하여 구성하였다.
- 연구방법으로는 해상교통안전진단에 참여하고 있는 관련자를 대상으로 설문조사, 면접 등을 실시하고 그 결과를 바탕으로 검증된 프로그램을 이용하여 메타평가의 양적․질적 분석을 실시하였다(Cho et al., 2013).
- 진단개선 우선순위에 대한 조사는 개방형 문항으로 질의한 ‘현행 진단의 문제점을 개선하기 위해 가장 중요하게 다루어야 할 사항과 관련되는 지표’에 대한 첫 번째, 두 번째, 세 번째 우선순위 응답 빈도를 합산하여 분석하였다.
- 해상교통안전진단에 대한 메타평가 분석, 기존 연구자들이 제시하는 개선방안에 대한 메타평가 분석결과 등을 종합적으로 분석하여 다음과 같이 개선사항을 도출하였다(Cho, 2011; Lee, 2011; Um et al., 2012).
대상 데이터
- 설문대상은 Fig. 1과 같이 제도 시행 이후 평균 2.4년 동안 진단업무를 수행해온 검토기관 39명, 4개 진단대행기관 41명, 12개 처분기관 22명 및 사업자 38명 등 총 140명을 대상으로 2012년 8월 13일 부터 8월 24일까지 실시하였다. 설문지 회수율은 86%(121명)로 검토기관 92%(36명), 대행기관 90%(37명), 처분기관 82%(18명), 사업자 79%(30명)이며, 회수된 설문지는 모두 분석에 활용되었다.
- 4년 동안 진단업무를 수행해온 검토기관 39명, 4개 진단대행기관 41명, 12개 처분기관 22명 및 사업자 38명 등 총 140명을 대상으로 2012년 8월 13일 부터 8월 24일까지 실시하였다. 설문지 회수율은 86%(121명)로 검토기관 92%(36명), 대행기관 90%(37명), 처분기관 82%(18명), 사업자 79%(30명)이며, 회수된 설문지는 모두 분석에 활용되었다.
데이터처리
- 이들 네 집단은 해상교통안전진단을 바라보는 관점이 다를 수 있다. 그 차이분석를 위하여 각 집단의 평균이 얼마나 분산되어 있는지 뿐만 아니라 집단내의 값들이 얼마나 흩어져 있느냐를 동시에 감안하는 기법으로 일원배치 분산분석(One-way ANOVA)을 실시하였다. 이때, 평균과 표준편차는 평가집단별로 값을 산정하였으며, SPSS 20.
- 설문조사 결과 중 구조화된 문항에 대해서는 Microsoft Excel과 SPSS 20.0을 사용하여 평균과 표준편차에 따른 지표별 순위, 차이분석, 상관관계분석, 개선 우선순위 등을 분석하였다. 개방형 문항은 내용분석을 통해 메타평가 항목별로 개선의견을 정리한 후 필요한 경우 면접을 통해 확인·보완하였다.
- 설문조사의 구조화된 문항에 대한 평균값은 메타평가 지표별로 Likert 5점 척도법에 따른 점수 결과를 평균하였고, 평균을 기준으로 각 값들이 어느 정도 떨어져 분포하는지를 나타내기 위해 분산과 표준편차를 추가적으로 분석하였다. 그 결과, Table 2와 같은 평가지표별 평균값이 도출되었다.
- 그 차이분석를 위하여 각 집단의 평균이 얼마나 분산되어 있는지 뿐만 아니라 집단내의 값들이 얼마나 흩어져 있느냐를 동시에 감안하는 기법으로 일원배치 분산분석(One-way ANOVA)을 실시하였다. 이때, 평균과 표준편차는 평가집단별로 값을 산정하였으며, SPSS 20.0 프로그램을 이용하여 분석하였다.
이론/모형
- 이를 포괄하는 방법인 설문조사는 개방형질문과 폐쇄형질문의 설문구성에 따라 해당 프로그램의 전문가, 이해관계자 등 다양한 계층으로부터 의견을 수렴할 수 있다. 이것은 일정한 척도에 의한 양적평가가 가능하므로 본 연구에서는 양적인 평가(설문조사) 결과를 바탕으로 질적인 평가(자료분석, 면접, 관찰 등)를 실시하고, 특히 양적인 평가결과의 도출방법으로 Kim(2009)이 사용한 평가방법을 일부 활용하였다(Ryu, 2007).
성능/효과
- 그 결과 개선이 시급한 지표는 Fig. 3과 같이 P3-①(진단대상의 진단서 제출(면제) 대상여부 검토의 적절성), U1-③(대상사업자의 이행사항에 대한 모니터링 체계의 적정성), I2-①(진단비용 규모의 적정성), I1-②(진단(대행)기관의 중립성과 독립성), P3-②(대상사업 시행 추진 대비 진단대상의 진단시기 적절성), P1-①(진단의 법적․제도적 근거의 명확성), O2-②(진단보고서 내용에 대한 이해의 용이성), P'1-③(신뢰할 수 있는 질적․양적 평가방법 활용의 적절성), P3-③(진단대상의 진단범위 설정 적절성), P1-③(진단항목의 세부 진단기술기준 명확성) 순으로 나타났다.
- 둘째, 평가항목에 대해서는 Table 4와 같이 진단여건(0.001), 진단목표(0.000), 진단대상(0.001), 진단설계(0.000), 진단비용(0.000), 진단보고서 신뢰성(0.000), 진단결과보고(0.003), 진단결과활용(0.004) 항목에서 차이가 있는 것으로 나타났다(유의확률 < 0.05).
- 메타평가 분석 결과, 평점이 낮고 개선이 시급한 15개의 문제 지표를 개선하기 위한 개선우선순위는 Fig. 5와 같이 ⓛ 진단대상사업의 구체화, ② 사후 진단평가 개념 도입, ③ 진단비용 기준의 표준화, ④ 전문기관의 역할 증대, ⑤ 안전진단시기 규정화, ⑥ 진단규정 비용의 명확화, ⑦ 진단사례집 및 홍보 책자 발간, ⑧ 진단기법 다양화, ⑨ 진단항목 및 세부 진단기술기준 내용의 명확화, ⑩ 진단범위의 명확화, ⑪ 충분한 심사시간 확보, 진단 심사위원회 운영개선, ⑫ 사업내용의 명확화, 스코핑 절차 도입, ⑬ 진단소요 비용의 설계용역비 반영, ⑭ 진단수행자들간 역할분담과 권한설정 명확화, ⑮ 진단정보관리시스템 조기 구축 및 운영, 진단대행기관간 주기적인 세미나 개최 등의 순이다.
- 본 연구에서 두 변수간의 상관관계 여부는 그 계산 값이 1.0～0.7의 경우 매우 강한 관련성, 0.7～0.4의 경우 상당한 관련성, 0.4～0.2의 경우 약간의 관련성, 0.2～0.0의 경우 관련이 없음을 나타내는 것으로 해석한다.
- 셋째, 평가지표에 대해서는 Table 5와 같이 ‘P2-① 진단목표의 명료성(0.001)’, ‘P2-② 진단목표의 해상교통안전적 가치고려 부합성(0.000)’, ‘P2-③ 진단목표의 지속가능성과 인근 예정사업간 연관성 고려의 적절성(0.001)’, ‘P3-① 진단대상의 진단서 제출(면제) 대상여부 검토의 적절성(0.003)’, ‘P4-① 대상사업 특성을 고려한 진단계획의 구체성(0.004)’, ‘P4-② 진단 수행자들간 역할분담과 권한의 명확성(0.004)’, ‘P4-③ 사전조사 등을 통한 이해관계자와 요구사항 파악의 정확성(0.000)’, ‘I1-① 진단(대행)기관의 진단기능 부합 여부(0.000)’, ‘I2-① 진단비용 규모의 적정성(0.000)’, ‘I2-② 진단비용의 안정적 지원 여부(0.000)’, ‘O1-① 진단보고서 구성 및 내용의 합리성(0.000)’, O1-② 진단결과․대안제시의 타당성 및 실현 가능성(0.001)‘, U1-③ 대상사업자의 이행사항에 대한 모니터링 체계의 적정성(0.001)’, ‘U2-① 진단(대행)자․검토(심사)자 측면의 진단결과 활용 충분성(0.005)’에서 모두 차이가 있는 것으로 나타났다(유의확률 < 0.05).
- 6과 같다. 여기에서는 개선사항에 있어 평가영역 전체의 절반을 차지하는 진단계획 영역을 보다 중점적으로 개선하는 것이 효과적인 접근임을 알 수 있다.
- 706)이 매우 강한 관련성이 있다. 진단활용(0.674)과 진단결과(0.66)가 상당한 관련성이 있고, 진단투입영역은 진단수행(0.779), 진단계획(0.759), 진단결과(0.751)가 매우 강한 관련성이 있고, 진단활용(0.666)이 상당한 관련성이 있으며, 진단수행영역은 진단결과(0.795), 진단투입(0.779), 진단활용(0.743), 진단계획(0.706) 모두 매우 강한 관련성이 있으며, 특히, 진단결과영역은 진단수행(0.795), 진단투입(0.751), 진단활용(0.732)이 매우 강한 관련성이 있고, 진단계획(0.66)이 상당한 관련성이 있는 것으로 분석되었다.
- 특히, P3-①, U1-③, I2-①, P4-①, I2-②, P4-②에 대해서는 평가지표에 대한 현황 만족도가 떨어지고 개선이 시급한 것으로 평가되나 평가집단 간 차이가 있는 것으로 분석되었다. 즉, 진단에 대한 불만족은 사업자 및 처분기관이 대행기관이나 검토기관이 인식하는 것보다 높은 것으로 특히, 사업자의 진단에 대한 인식이 낮은 편이므로 이들의 시각차를 줄일 수 있는 방안이 필요하다.
- 평가집단별 차이분석 결과, 첫째, 평가영역에 대해서는 Table 3과 같이 평가영역 전체(0.001)에 대해 평가집단별 차이가 있는 것으로 나타났으며, 평가영역별로는 진단계획(0.000), 진단투입(0.001), 진단결과(0.001)에서 평가집단별 차이가 있는 것으로 나타났다(유의확률 < 0.05).
후속연구
- 본 연구는 제도 개선사항의 시급성을 정량화하여 우선순위를 제안함으로써 관련 정책의 체계적인 개선에 활용될 수 있을 것으로 기대된다.
- 아울러, 향후에는 개선사항에 대한 개별 검토와 함께 타 평가와의 비교 등을 통해 보다 실질적이고 효율적인 개선이 될 수 있는 후속 연구가 필요할 것으로 사료된다.
- 진단수행 영역에서는 양적인 평가방법론의 개발에 집중해야 하며, 보다 객관적이고 신뢰할 만한 평가로 인식되기 위해서는 질적인 평가방법과 병행하여 양적으로 평가할 수 있는 평가영역을 설정하고 공통적으로 적용 가능한 양적 평가방법을 확대해 나가야 할 것이다. 이 영역에서는 ⓛ 스코핑절차 도입, ② 대상사업별 진단기준 재설정, ③ 진단기법 다양화, ④ 진단수행자와 이해당사자간 충분한 의견교류 등의 순으로 개선이 필요하다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.