공공하수도 관리대행 성과평가 지표별 가중치분석을 통한 우선순위에 대한 연구 A study on the priorities through weight analysis for each index of performance evaluation of public sewage operation agency원문보기
The 37 indicators for performance evaluation of public sewage management agencies are divided into four major categories (agency manpower management ability, wastewater treatment plant operation and management, sludge and water reuse, service quality) in the first stage, and the necessity and score ...
The 37 indicators for performance evaluation of public sewage management agencies are divided into four major categories (agency manpower management ability, wastewater treatment plant operation and management, sludge and water reuse, service quality) in the first stage, and the necessity and score acquisition for the detailed indicators by each major category in the second stages. Priority was investigated through the Analytic Hierarchy Process (AHP) analysis technique for ease and relevance of company efforts. Also, based on the results of this analysis, integrated type weighting and relative importance were analyzed. As a result of the analysis, the weight and relative importance of the first stage classification were in the order of wastewater treatment plant operation and maintenance, operation agency manpower management ability, sludge and water reuse, and service quality. As a result of analyzing the weights and priorities of the detailed performance indicators in the second stage, it was found that operator's career years, the percentage of certification holding rate in operators, compliance with the effluent water quality standards, training times for operators, and efforts to manage hazardous chemicals were important. Some of the indicators of operation agency performance evaluation may include indicators in which the performance of the company's efforts is underestimated or overestimated. In order to improve this, it is necessary to give weights in consideration of the necessity of the indicator, the relevance of the company's efforts, and the ease of obtaining scores.
The 37 indicators for performance evaluation of public sewage management agencies are divided into four major categories (agency manpower management ability, wastewater treatment plant operation and management, sludge and water reuse, service quality) in the first stage, and the necessity and score acquisition for the detailed indicators by each major category in the second stages. Priority was investigated through the Analytic Hierarchy Process (AHP) analysis technique for ease and relevance of company efforts. Also, based on the results of this analysis, integrated type weighting and relative importance were analyzed. As a result of the analysis, the weight and relative importance of the first stage classification were in the order of wastewater treatment plant operation and maintenance, operation agency manpower management ability, sludge and water reuse, and service quality. As a result of analyzing the weights and priorities of the detailed performance indicators in the second stage, it was found that operator's career years, the percentage of certification holding rate in operators, compliance with the effluent water quality standards, training times for operators, and efforts to manage hazardous chemicals were important. Some of the indicators of operation agency performance evaluation may include indicators in which the performance of the company's efforts is underestimated or overestimated. In order to improve this, it is necessary to give weights in consideration of the necessity of the indicator, the relevance of the company's efforts, and the ease of obtaining scores.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
계층화 분 석법(AHP)은 다수의 목적을 포함하는 의사결정기법으로 의사결정에 영향을 미치는 요인들을 대분류, 중분류 및 소분류의 계층적인 구조로 파악하는 것이 특징으로, 정량적 요소와 정성적 요소를 동시에 평가하는 것이 가능하고, 개인의 판단과 가치들을 논리적인 방법으로 통합함으로써 무형의 것을 측정할 수 있는 척도와 우선순위 설정을 위한 방법을 제공하므로, 상이 한 척도를 가진 요소들의 비교, 통합을 할 수 있다. 또한, 평가자들의 판단에 대한 논리적 일관성을 검증할 수 있어 논리적 일관성 유지 여부를 확인할 수 있다. 마지막으로 계층 화 분석법(AHP)은 다수 평가자의 다양한 의견과 판단을 합의나 수치적 통합을 통해 각 대안의 종합된 최종 우선순위를 도출할 수 있게 해주므로, 의사결정자의 의견을 합리적, 논리적으로 통합하여 집단의 의사결정을 도출할 수 있다.
본 연구에서는 공공하수처리시설을 평가하는 37개 항목에 대해 평가지표의 필요성, 점수 획득 용이성, 업체 노력 연관성으로 구분하여 계층화 분석법을 이용하여 분석하고, 그 결과를 성과평가지표별 우선순위 및 가중치 설정의 합리적 근거를 마련하여, 가중치 조정 등 평가체계 개선에 활용할 수 있도록 하는 데 목적을 두고 있다.
본 연구에서는 현재 적용되고 있는 공공하수처리시설에 대한 성과평가지표 37개 지표에 대한 우선순위 선정을 위해 평가지표의 필요성, 점수 획득용이성, 업체 노력연관성으로 구분하여 계층화 분석법(AHP)을 적용한 결과 다음과 같은 결론을 얻을 수 있었다.
제안 방법
2단계 대분류 내 세부 성과평가 지표의 필요성, 점 수획득용이성과 업체 노력 연관성을 평가하기 위해 각각 5점 척도로 조사하여 빈도 분석 및 평균점수를 분석하였다. 이는 실질적으로 관리대행업체가 평가받는 성과지표에 대한 우선순위를 정하기 위함이다.
계층화 분석법(AHP) 평가를 위한 전문가 설문조사 는 Table 2에서 보는 것처럼 관리대행업체 본사, 사업장, 성과평가 전문기관 평가자 및 성과평가위원 등을 대상으로 실시하였다 (Table 2). 71명의 전문가를 대상으로 설문을 실시하였으며, 불성실하게 응답하였다고 판단되는 3부와 계층화분석법(AHP)을 이용한 분석에 있어 평가한 중요도가 일관성이 있는지 알아보기 위한 일관성 지수가 각 성과평가지표에 공통적으로 10%를 초과한 17부를 제외하고 총 53부를 대상으로 계층화 분석법(AHP)을 실시하였다.
공공하수처리시설 성과평가를 위한 지표에 대하여 계층 분석 구조도를 만들기 위해 상위 수준으로 4개의 카테고리(관리대행업체, 하수처리시설, 하수찌꺼기 및 재이용, 서비스질)을 만들고, 하위 수준으로 카테고리별 성과지표로 구성하였다.
다음으로 1단계 우선순위 분석을 실시하여 높은 중요도를 나타내는 순서대로 2단계 세부평가지표별 우선순위 분석을 실시하였고, 이 분석 결과를 바탕으로 통합 유형가중치 및 상대적 중요도를 분석하였다. 분석결과 37개 세부 유형 중 중요도 상위 5개는 운영요원 근무년수가 0.
공공하수도 관리대행 성과평가제도의 중요성 및 지표 개선을 위한 대분류별 성과지표 1단계 우선순위를 분석한 결과, 하수처리시설 운영관리가 가장 중요하게 나타났으며 그 다음으로 관리대행업체 인력관리 능력, 하수 찌꺼기 및 재이용, 서비스 질순으로 그 결과는 Table 5에 나타내었다. 또한, 설문 응답자들이 설문문항에 일관성 있는 응답을 했는지 알아보기 위해 일관성지수(Consistency Index)를 조사하였다. 일관성 지수는 응답의 논리적 모순을 검증하는 지표로 0.
분석에 사용한 계층화 분석법(AHP)은 서로 비슷한 특징을 가진 요인별로 분류하여 계층화를 하고, 각 요인별 1:1 쌍대비교를 통해 상대적 중요도를 결정한다. 상대적 중요도를 결정한 후 각 요인별 가중치를 산정하고 응답의 일치성을 검증한다.
지표별 우선순위 선정을 위해 1단계로 4개의 대분류(대행업체, 하수처리시설, 하수찌꺼기 및 재이용, 서비스질)로 구분하고, 대분류 내 2단계 세부 항목인 37개 성과지표에 대하여 필요성, 점수 획득 용이성과 업체 노력연관성에 대하여 조사하고, 이를 통합하여 우선순위를 조사하였다.
대상 데이터
계층화 분석법(AHP) 평가를 위한 전문가 설문조사 는 Table 2에서 보는 것처럼 관리대행업체 본사, 사업장, 성과평가 전문기관 평가자 및 성과평가위원 등을 대상으로 실시하였다 (Table 2). 71명의 전문가를 대상으로 설문을 실시하였으며, 불성실하게 응답하였다고 판단되는 3부와 계층화분석법(AHP)을 이용한 분석에 있어 평가한 중요도가 일관성이 있는지 알아보기 위한 일관성 지수가 각 성과평가지표에 공통적으로 10%를 초과한 17부를 제외하고 총 53부를 대상으로 계층화 분석법(AHP)을 실시하였다.
이론/모형
(2007)은 계층 화분석법(AHP)을 통해 도시재생사업의 성과를 위한 평가지료를 토대로 지표별 우선순위를 정하기 위해, 도시재생사업의 지속 및 확산을 위한 평가지료를 도출하였고, 각 평가지표들을 유형화, 계층화하여 평가항목의 상대적인 우선순위를 파악하는 데 활용하기도 하였다. 또한, 지자체에서 관리하는 농업용 저수지의 정기점검 리스트 선정에 있어, 저수지의 파괴 및 손상요인을 종합하여 점검 항목을 결정하는 데 계층화 분석법(AHP)이 이용되었다 (Shin, 2013).
본 연구를 수행하기 위한 방법론인 공공하수도 관리대행 성과 평가 항목에 대한 가중치 및 우선순위를 결정하기 위한 방법으로 계층화분석법(AHP ; Analytic Hierarchy Process)기법을 이용하고자 하였다. 계층화 분 석법(AHP)은 다수의 목적을 포함하는 의사결정기법으로 의사결정에 영향을 미치는 요인들을 대분류, 중분류 및 소분류의 계층적인 구조로 파악하는 것이 특징으로, 정량적 요소와 정성적 요소를 동시에 평가하는 것이 가능하고, 개인의 판단과 가치들을 논리적인 방법으로 통합함으로써 무형의 것을 측정할 수 있는 척도와 우선순위 설정을 위한 방법을 제공하므로, 상이 한 척도를 가진 요소들의 비교, 통합을 할 수 있다.
성과지표에 대한 필요성, 점수 획득용이성과 업체 노 력연관성을 조사하기 위해 ‘전혀 필요 없음’부터 ‘매우 필요’, ‘매우 어려움’부터 ‘매우 용이’까지 5점 척도로 측정하였으며 성과지표의 우선순위를 조사하기 위해 계층화 분석법(AHP)을 활용하였다.
성능/효과
1) 1단계 관리대행 성과지표대 분류별 가중치 및 상대적 중요도는 하수처리시설 운영관리, 관리대행업체 인력관리 능력, 하수 찌꺼기 및 재이용, 서비스 질의 순으로 나타났다.
2) 2단계에서 세부 지표별 가중치 및 상대적 중요도를 고려하여 각 단계별 전체 복합가중치와 우선순위를 분석한 결과 운영요원 근무년수, 운영요원 자격 보유율, 방류수 수질기준 준수, 운영요원 교육시간, 유해화학물질관리노력, 수질분석 및 자료관리순으로 나타났고, 37개 지표에 대해 상대적 우선순위를 도출할 수 있었다.
다음으로 하수처리시설 운영관리의 세부 대책 유형의 필요성을 평가한 결과, 방류수 수질기준 준수가 4.8로 가장 높았으며, 점수 획득의 용이성에 대한 평균점수는 수질분석 및 자료관리가 3.8로 가장 높았고, 업체 노력의 연관성을 평가한 결과, 업체 노력 연관성에 대한 평균점수는 수질분석 및 자료관리가 3.9로 가장 높아, 필요성과 점수 획득용이성, 업체 노력의 연관성과는 차이가 있는 것을 나타내고 있다. 공공하수처리시설의 가장 핵심적인 준수사항은 방류수 수질기준이다.
본 연구에 적용된 계층화 분석법(AHP)은 평가항목 간 가중치 계산 결과에 의해 우선순위가 도출되므로 관리대행 성과 평가에 관련된 각종 전문가들의 의견을 종합하여 반영하는 것이 필요하고 그에 대한 방안으로 결과를 적용하는 것이 가능하다고 판단되었다. 따라서 계층 화 분석법을 1단계로 4개의 대분류(대행업체, 하수처리시설, 하수찌꺼기 및 재이용, 서비스질)에 대하여 평가지표로서의 필요성, 점수 획득용이성, 업체 노력 연관성을 평가하기 위해 각각 5점 척도로 조사하여 빈도분석 및 평균점수를 나타낸 결과, 필요성에 대한 평균점수는 하수처리시설 운영관리가 4.4점으로 가장 높았으며 다음으로 대행업체 인력관리 능력 4.3점, 하수 찌꺼기 및 재이용 3.9점, 서비스 질 3.6점 순으로 나타났다. 이는 공공하수처리시설에서 가장 중요한 부문은 하수처리시설의 운영관리이기 때문이며, 대행업체의 인력관리 능력은 평가지표 37개중 어느 처리시설에서도 빠짐없이 평가되기 때문이라고 판단된다.
마지막으로, 서비스 질 부문의 성과지표에서는 필요성, 점수 획득용이성, 업체 노력연관성 3개 부문에서 위기관리 대처를 위한 지침서 및 훈련이 평균점수 4.4, 4.0, 3.9로 가장 높게 나타났다.
이는 실질적으로 관리대행업체가 평가받는 성과지표에 대한 우선순위를 정하기 위함이다. 먼저, 1단계 대분류의 대행업체 인력관리 능력의 세부 성과 지표중 필요성에 대한 평균점수는 운영요원 자격 보유 율과 운영요원 교육시간이 4.3으로 가장 높게 나타났다. 점수 획득 용이성과 업체 노력 연관성에서도 운영요원 교육시간 성과지표가 4.
본 연구에 적용된 계층화 분석법(AHP)은 평가항목 간 가중치 계산 결과에 의해 우선순위가 도출되므로 관리대행 성과 평가에 관련된 각종 전문가들의 의견을 종합하여 반영하는 것이 필요하고 그에 대한 방안으로 결과를 적용하는 것이 가능하다고 판단되었다. 따라서 계층 화 분석법을 1단계로 4개의 대분류(대행업체, 하수처리시설, 하수찌꺼기 및 재이용, 서비스질)에 대하여 평가지표로서의 필요성, 점수 획득용이성, 업체 노력 연관성을 평가하기 위해 각각 5점 척도로 조사하여 빈도분석 및 평균점수를 나타낸 결과, 필요성에 대한 평균점수는 하수처리시설 운영관리가 4.
다음으로 1단계 우선순위 분석을 실시하여 높은 중요도를 나타내는 순서대로 2단계 세부평가지표별 우선순위 분석을 실시하였고, 이 분석 결과를 바탕으로 통합 유형가중치 및 상대적 중요도를 분석하였다. 분석결과 37개 세부 유형 중 중요도 상위 5개는 운영요원 근무년수가 0.092756으로 가장 중요하다고 나타났으며, 운영요원 자격 보유율이 0.078123으로 두 번째, 방류수 수질기준 준수가 0.070090으로 세 번째, 운영요원 교육시간이 0.062973으로 네 번째, 유해화학물질관리노력이 0.056860으로 다섯 번째였다. 이에 반해 중요도 하위 5개를 살펴보면 주민 친화적 시설 이용이 0.
세 번째, 하수 찌꺼기 및 재이용 부문의 성과지표 필요성에서는 악취 배출시설 기준 준수율이 4.3으로 가장 높았고, 점수 획득 용이성에서도 마찬가지로 악취 배출 준수율이 3.7로 높게 나타났으며, 업체 노력 연관성에서 는 유해화학물질 관리 노력이 3.8로 가장 높았다. 최근의 공공하수도의 과제 중 하나인 악취관리는 처리시설을 운영관리하는데 중요한 요소이다.
그러나 관리대행 시설이 모두 동일한 조건의 시설은 아니기 때문에, 내외부적인 요인에 따라 평가 지표중 일부는 업체의 노력과는 무관하거나 노력에 대한 성과가 과소 또는 과다 평가되는 지표에 대해서는 개선이 필요하다. 이에 대한 개선을 위해 현행 37개 평가지표로서의 필요성, 업체 노력 연관성, 점수 획 득용이성을 고려하여 우선순위를 산정함으로써 지표의 특성을 고려한 관리대행업체의 성과를 측정할 수 있을 것으로 판단되며, 평가지표의 설정과 가중치 부여에 대한 논리적 근거를 제시할 수 있었다.
056860으로 다섯 번째였다. 이에 반해 중요도 하위 5개를 살펴보면 주민 친화적 시설 이용이 0.007741로 가장 덜 중요하다고 나타났으며 민원처리 소요시간 0.008352, 민원발생 감소율 0.009485, 모니터 시행 횟수 0.009712, 환경서비스 질 제고 노력 0.010138순으로 나타났다.
또한, 설문 응답자들이 설문문항에 일관성 있는 응답을 했는지 알아보기 위해 일관성지수(Consistency Index)를 조사하였다. 일관성 지수는 응답의 논리적 모순을 검증하는 지표로 0.1이 하이면 일관성 있게 비교했다는 의미로, 본 연구조사 결과에서는 그 값이 0.0044로 나타나 설문 응답에 있어 일관성이 유지된 것을 알 수 있었다.
3으로 가장 높게 나타났다. 점수 획득 용이성과 업체 노력 연관성에서도 운영요원 교육시간 성과지표가 4.4, 4.3으로 높게 나타났다. 이는 투입된 인력에 대하여 관리대행업체가 통제할 수 있는 지표이기 때문이다.
서비스질의 평가 항목은 운영관리 중인 시설의 관리대행 업무 범위 내에는 들어있지 않지만, 하수도 서비스를 위한 부가적 요인으로 평가받기 때문에 평가 필요성에서 낮게 평가된 것으로 판단된다. 점수획득 용이성 평가에서는, 필요성과 달리 대행업체 인력관리 능력과 서비스 질 부문의 평가지표가 3.4로 공통적으로 높았으며, 다음으로 하수 찌꺼기 및 재이용 3.0, 하수처리시설 운영관리 2.7순으로 나타났다. 이는 하수처리시설의 운영관리에 있어서는 유입하수량, 오염물질부하량, 기타 외부적 환경요인으로 인하여 평가대상년도마다 관리 노력의 차이가 발생하기 때문으로 판단된다.
참고문헌 (9)
Bae, S.K. (2011). A development of the service evaluation indicators for contracting out of sewage facility, J. Korean Soc. Water Wastewater, B-27, 141-142.
Jeong, D.H. (2016). A study on AHP application of selection method for the best treatment technology of public sewage treatment works, J. Korean Soc. Water Wastewater, 30(4), 427-440.
Kang, H.S. (2011). Decision Science, For the correct use of the AHP methodology, http://www.expertchoice.co.kr (October 23, 2020).
Lee, J.D. (2017). A study on the development of assessment index for urban regeneration project using AHP, J. Resid. Environ. Inst. Korea, 15(3), 347-248.
Lim, B.K. (2004). A Study on the Priority Analysis for Socio-Economic Elements of EIA on Dam Project in Korea by Using the AHP Methodology, Master's Thesis, Yonsei University, 26-34.
Lim, J.Y. (2017). The investigation and improvement plan of contracting-out municipal wastewater treatment plant system in Korea, J. Wetl. Res., 19(2), 211-213.
Yoon, Y.C. (2016). Development of a Model for the Efficiency Analysis and Performance Indicator Selection for Sewage Treatment Plant, Doctoral's Thesis, University of Seoul, 14-15.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.