선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 노인 대상의 식품안전·영양관리 프로그램 평가지표를 개발한 본 연구는 보건 사업의 계획과 개발, 보건 사업을 효율적으로 수행하기 위해서는 조직, 인력, 재정 자원의 할당, 시간 관리와 더불어 고객 관점과 자원의 효율적 사용 관점의 평가지표가 필요함을 제시하였다.
- 따라서 본 연구에서는 BSC 개념을 적용하여 노인을 위한 식품안전·영양관리 프로그램 사업을 운영하는데 있어 효과성 및 효율성을 확보할 수 있는 관리 지표를 개발하고자 시도하였다.
- 본 연구는 BSC 개념과 구조·과정·성과 개념을 적용하여 노인을 위한 식품안전·영양관리 교육 사업을 평가하는 체계를 국내 최초로 제시한 점에서 큰 의의가 있다.
- 마지막으로 학습과 성장 관점에서 핵심성공지표는 직원 교체율, 연간 교육건수,직원만족도 지수, 인적자원관리평가지수, 연간 메뉴관련 고객피드백, 급식정보관리지수로 조사되었다. 본 연구는 급식소 운영을 목표로 하기 보다는 영양관리 및 식품안전에 관한 교육서비스, 영양서비스를 목적으로 하기 때문에 평가 관점이 달라서 선행연구와 평가지표간에 차이를 보였다.
- 본 연구에서 전문가 델파이 기법과 Kendall의 W검증을 활용하여 전문가간의 평가항목에 대한 의견일치성을 조사하였다. 이를 통해 노인 대상 식품안전·영양관리 프로그램을 평가할 수 있는 체계를 구축하였다.
- 이를 통해 노인 대상 식품안전·영양관리 프로그램을 평가할 수 있는 체계를 구축하였다.
- 이에 본 연구에서는 노인대상 식품안전·영양관리 교육사업을 평가하는데 있어서 사업 특성을 반영하면서도 다면적이고, 객관적이며, 조직의 목적 달성과 생산성 향상을 가져올 수 있는 전략적인 평가지표 개발이 필요하다는 인식하에 BSC 개념을 적용하여 평가지표를 개발하고자 하였다.
- 주요 목적은 중산층 노인대상 식품안전·영양관리 프로그램의 효과성을 총체적으로 평가할 수 있는 도구를 개발하는데 있다.
제안 방법
- 17,18,21 본 연구에서는 노인대상 식품안전 및 영양관리 교육 사업의 우수성을 평가하는 지표로 위 4가지 관점으로 지표를 산출한 후에 시스템 모델27 개념인 ‘사업 수행에 필요한 투입 자원이 전환 과정을 통해 성과로 산출된다’를 적용하여 사업 운영의 성과측면, 과정측면, 구조측면으로 재구성하였다.
- 첫째, 사업의 구조측면은 BSC관점의 직원 학습과 성장 측면의 지표로 구성된다.19,21 잠재 역량을 갖춘 직원 육성이 프로그램 운영의 필수 요소라는 관점에서 프로그램 계획, 실행, 평가에 참여하는 인적자원의 역량 강화(4항목), 프로그램운영에 적합한 조직구성 (2항목), 정보와 데이터의 원활한 흐름 (3항목), 업무 운영에 필요한 적정시간 제공 (1항목), 물적지원/시설/장비의 지원 (3항목), 프로그램 운영에 필요한 재정적 지원 (4항목), 인적자원 평가시스템 (3항목) 등의 세부 영역으로 나눠 총 20항목의 지표를 구성하였다. 둘째, 사업의 운영 측면은 BSC의 내부 프로세스 지표로 구성하였다.
- 1차 델파이 조사에서 ‘프로그램 관련 불평건수’영역을 지표에서 제외시켰기 때문에 이 영역을 제외하고 2차 델파이 조사 결과의 평균값과 중요도 순위를 기초로 최종 배점은 확정하였다.
- 1차 델파이 조사에서 적합성 점수 3.5점 미만을 보인 항목은 없었지만, ‘프로그램 운영관리’ 영역의 ‘프로그램 담당자의 만족도를 조사한다’의 지표는 성과측면에서 다루어져야 한다는 의견이 나와 이 지표를 제외시켜 총 11개 문항으로 구성하였다 (Table 5).
- 5점을 선별기준으로 삼았고, Kendall의 평균값을 이용해 평가지표의 중요도 순위를 파악하여 유의적으로 높은 순위를 보인 항목을 선별 하였다. 2차 델파이 조사에서는 평가지표의 평균값 3.8이상이고, 평가지표로써의 적합한 정도를 4점 (그렇다)과 5점 (매우 그렇다)으로 응답한 전문가비율이 75% 이상인 지표를 추출하였고, Kendall의 W 검증 후 중요도 순위를 참조하여 최종 지표를 결정하였다. 마지막으로 영역별로 확정된 평가지표들의 신뢰도 분석을 위해 Cronbach's α 계수를 산출하였다.
- 마지막으로 사업 성과 측면은 BSC의 재무관점과 고객관점의 프로그램 효율성, 프로그램의 효과성, 프로그램 관련 불평건수, 프로그램 만족도로 총 36항목으로 구성하였다. BSC의 재무관점은 적은 투입자원 대비 높은 성과를 측정하는 프로그램 효율성을 평가하였다. 세부 항목으로 프로그램 운영비 대비 교육이수자수, 교육개발비 대비 피교육자수, 프로그램 운영비 대비 목표달성율, 교육이수율 등 4항목의 측정지표로 구성하였다.
- 성과측정은 36개 항목으로 구성되며, 사업효율성 5항목, 사업효과성 4항목, 프로그램 운영/담당자 만족도 10항목, 프로그램 대상자 만족도 10항목, 기관장 만족도 3항목, 유관부서 만족도 4항목으로 이루어져 있다. 과정 측면의 평가지표는 총 12개 항목으로 구성하였고, 프로그램 운영계획 4항목과 프로그램 운영관리 8항목으로 구성하였다. 구조측정은 20개 항목으로 구성되며, 인적자원 4항목, 조직구조 2항목, 정보/데이터 3항목, 시설/장비 3항목, 시간관리 1항목, 재정확보 4항목, 제도 3항목으로 세분된다.
- 구조 측면을 평가하는 지표는 인적자원 및 역량 영역, 조직 구조, 정보 및 데이터 영역, 시간 영역, 물리적 지원/시설/기기 영역, 재정적 확보 영역, 시스템 영역 총 6영역 20개 항목으로 구성되었다. 1차 델파이 조사에서 조직구조 영역의 ‘프로그램 참여 내부 인력은 3명 이상’의 지표는 3.
- 는 메타분석을 적용하여 프로그램 관리상의 질적 평가와 건강증진효과를 평가하는 도구를 개발하였다. 구조 평가, 과정 평가, 결과 평가로 나눠 평가 영역을 구성하였다. ‘구조 평가’는 목표 관련 항목, 표적집단, 설계, 직원의 책임, 자원, 조직 등을 다루었다.
- 과정 측면의 평가지표는 총 12개 항목으로 구성하였고, 프로그램 운영계획 4항목과 프로그램 운영관리 8항목으로 구성하였다. 구조측정은 20개 항목으로 구성되며, 인적자원 4항목, 조직구조 2항목, 정보/데이터 3항목, 시설/장비 3항목, 시간관리 1항목, 재정확보 4항목, 제도 3항목으로 세분된다. 따라서 총 68개 항목으로 예비 평가지표를 구성하였다.
- 국내외 학술데이터베이스, 한국학술정보 (KSI KISS),SCIENCE DIRECT, 누리미디어 (DBPIA)에서 “보건사업평가지표” “Elderly Nutrition Program”를 검색하여 선행연구를 고찰하였으며, 선행연구의 평가지표를 참조하여 초안을 작성한 후,6,14,15,18,19,21,23 연구원들 간의 브레인스토밍을 통해 안을 확정하였다.
- 그 결과를 기초로 ‘인적자원/역량’ 7점, ‘조직구조’ 4점, ‘정보데이터’ 4점, ‘시간’ 2점, ‘물적지원/시설/장비’ 4점, ‘재정확보’ 5점, ‘제도’ 4점으로 확정하였고, 총점은 30점이 되도록 하였다 (Table 4).
- 8점 이상을 보인 항목에 대해서 평가지표로 선별하였다. 그 근거는 델파이 연구에서 전문가 합의를 도출하는 기준 비율을 80%를 제시한 예29와 Green 연구30의 70% 적용 연구에 따른 것이며, 본 연구에서는 1차에서는 70%(3.5점), 2차에서는 76%(3.8점)를 적용하였다. 따라서 전문가들의 보수적 관점에서의 합의를 이끈 지표로 평가체계를 완성하였다.
- 본 연구는 균형성과표 (BSC: balanced score card) 개념을 적용하여 내용적으로는 고객관점, 재무관점, 학습과 성장, 내부 프로세스 관점에서 평가지표를 추출하였고, 형식면에서는 성과측면, 과정측면, 구조측면으로 구분하여 노인대상 식품안전 영양관리 교육 프로그램을 평가하는 도구를 개발하였다. 노인 대상 교육 프로그램 평가도구의 초안을 개발하고, 이를 설문지로 전환하여 전문가 집단에게 평가지표에 대한 타당성 평가를 의뢰하였다. 평가지표에 대한 적합성은 1, 2차 결과를 토대로 ‘그렇다 (4점)’, ‘매우 그렇다’ (5점)를 선정한 전문가의 빈도 (백분율)가 75% 이상, 평균점수 3.
- 두 차례에 걸쳐 델파이 그룹의 의견조사를 실시하였다. 설문조사는 설문지를 온라인 (이메일)을 통해 델파이 그룹에 전달하여 시행하였다.
- 구조측정은 20개 항목으로 구성되며, 인적자원 4항목, 조직구조 2항목, 정보/데이터 3항목, 시설/장비 3항목, 시간관리 1항목, 재정확보 4항목, 제도 3항목으로 세분된다. 따라서 총 68개 항목으로 예비 평가지표를 구성하였다.
- BSC의 내부 프로세스 관점은 사업목표 설정과 목표 달성 여부를 측정할 수 있는 지표의 마련, 사업 활동의 구성, 대상 인력의 구체화 등이 필요하다. 따라서 프로그램의 운영계획, 프로그램의 운영관리 영역으로 구분하여 총 12항목의 평가지표로 구성하였다. 프로그램 운영영역은 프로그램 운영계획, 운영위원회 구성을 통한 합리적 의사결정, 프로그램 운영 전략, 교육방법 및 내용의 구상의 4항목을 포함한다.
- 두 번째 영역은 평가지표의 배점 체계 완성을 위한 것이다. 먼저, 구조, 과정, 성과의 대분류 3영역의 점수 합계가 100점이 되도록 영역별로 점수를 기입하도록 전문가에게 요청하였다. 그리고 나서 하부영역별 평가지표에 점수를 할당하게 하였다.
- 우리나라가 고령화 사회에 진입함에 따라 노인 의료비 부담이 증가하고 있으며, 질병을 예방하고 건강 수명을 연장하기 위해서는 공적 사업의 일환으로 식품안전·영양 관리 프로그램을 개발하고 이를 효과적으로 실행하는 방안이 마련되어야 한다. 본 연구는 균형성과표 (BSC: balanced score card) 개념을 적용하여 내용적으로는 고객관점, 재무관점, 학습과 성장, 내부 프로세스 관점에서 평가지표를 추출하였고, 형식면에서는 성과측면, 과정측면, 구조측면으로 구분하여 노인대상 식품안전 영양관리 교육 프로그램을 평가하는 도구를 개발하였다. 노인 대상 교육 프로그램 평가도구의 초안을 개발하고, 이를 설문지로 전환하여 전문가 집단에게 평가지표에 대한 타당성 평가를 의뢰하였다.
- 선행연구를 토대로 BSC 관점 즉, 재무 관점, 고객 관점, 내부 프로세스 관점, 그리고 학습 및 성장 관점으로 구분하여 균형잡힌 성과 측정이 가능하도록 계획하였다. 성과측정은 36개 항목으로 구성되며, 사업효율성 5항목, 사업효과성 4항목, 프로그램 운영/담당자 만족도 10항목, 프로그램 대상자 만족도 10항목, 기관장 만족도 3항목, 유관부서 만족도 4항목으로 이루어져 있다.
- 두 차례에 걸쳐 델파이 그룹의 의견조사를 실시하였다. 설문조사는 설문지를 온라인 (이메일)을 통해 델파이 그룹에 전달하여 시행하였다. 1차 조사는 2012년 7월 9일에서 7월 17일까지 시행하였고, 총 45명이 회신하였다.
- 설문지의 구성은 Table 1과 같이 BSC 관점에서 추출된 학습과 성장, 내부 프로세스, 재무, 고객 관점의 평가지표를 다시 사업의 구조측면, 과정측면, 성과측면으로 재분류하여 설문지를 구성하였다. 설문지 내용은 각 평가지표의 적합성을 묻는 영역과 평가지표별 점수를 묻는 두 가지 영역으로 구성하였다.
- 설문지의 구성은 Table 1과 같이 BSC 관점에서 추출된 학습과 성장, 내부 프로세스, 재무, 고객 관점의 평가지표를 다시 사업의 구조측면, 과정측면, 성과측면으로 재분류하여 설문지를 구성하였다. 설문지 내용은 각 평가지표의 적합성을 묻는 영역과 평가지표별 점수를 묻는 두 가지 영역으로 구성하였다.
- BSC의 재무관점은 적은 투입자원 대비 높은 성과를 측정하는 프로그램 효율성을 평가하였다. 세부 항목으로 프로그램 운영비 대비 교육이수자수, 교육개발비 대비 피교육자수, 프로그램 운영비 대비 목표달성율, 교육이수율 등 4항목의 측정지표로 구성하였다. 한편, BSC의 고객관점에서는 프로그램 효과성 (4항목), 프로그램 불평건수 (1항목), 프로그램의 만족도 (27항목)를 세부 평가영역으로 구분하였고, 프로그램 만족도는 다시 기관책임자, 교육대상자, 프로그램 운영담당자, 프로그램의 영향력으로 세분하여 측정하였다.
- 선행연구에서는 보건사업에서 관리해야 할 영역을 4가지로 보고, 각 영역별 평가지표 53개를 제시하였다. 영역별로는 전략적 기획 14항목, 사업관리 11항목, 모니터링과 평가 13항목, 자원과 정보 15항목을 제시하였다.
- 그리고 나서 하부영역별 평가지표에 점수를 할당하게 하였다. 이 결과를 집계하여 평가영역, 평가지표의 점수할당표를 작성하였다.
- 첫 번째 영역은 노인 대상의 영양관리 및 식품안전 프로그램을 평가하는 지표 68문항에 대해 각 지표의 적합성을 5점척도 (1점; 전혀 그렇지 않다 ~ 5점; 매우 그렇다)로 평가하게 하였다. 첫째, 사업의 구조측면은 BSC관점의 직원 학습과 성장 측면의 지표로 구성된다.
- 연구원들 간의 브레인스토밍을 통해 안을 확정하였다. 총체적인 평가가 가능하도록 이들 평가지표에 균형성과표 (balance score card: BSC)의 개념을 적용하여 재무 관점, 고객 관점, 학습과 성장 관점, 내부 프로세스 관점으로 지표를 분류하였다.19,21 이들 지표는 다시 행정 지원 부문의 구조 측면, 프로그램설계와 관련된 과정 측면, 프로그램 운영과 평가와 관련된 성과 측면으로 구분하여 평가 도구의 초안을 마련하였다(Table 1).
- 특히 ‘프로그램 효과성’ 영역은 프로그램의 목표 달성에 큰 비중을 차지하므로, 세부 지표인 프로그램 달성도에 5점, 행동변화, 지식변화, 태도변화에 각 2점씩을 부여하여 총 11점으로 조정하였다(Table 4).
- 프로그램 운영영역은 프로그램 운영계획, 운영위원회 구성을 통한 합리적 의사결정, 프로그램 운영 전략, 교육방법 및 내용의 구상의 4항목을 포함한다. 프로그램의 운영관리 영역은 프로그램의 문서화, 대상자의 프로그램 접근방법 및 그 용이성, 프로그램의 검토 및 피드백, 프로그램 대외 평판도 관리, 프로그램 홍보 및 통제 등의 8개의 평가지표로 구성하였다. 마지막으로 사업 성과 측면은 BSC의 재무관점과 고객관점의 프로그램 효율성, 프로그램의 효과성, 프로그램 관련 불평건수, 프로그램 만족도로 총 36항목으로 구성하였다.
- 세부 항목으로 프로그램 운영비 대비 교육이수자수, 교육개발비 대비 피교육자수, 프로그램 운영비 대비 목표달성율, 교육이수율 등 4항목의 측정지표로 구성하였다. 한편, BSC의 고객관점에서는 프로그램 효과성 (4항목), 프로그램 불평건수 (1항목), 프로그램의 만족도 (27항목)를 세부 평가영역으로 구분하였고, 프로그램 만족도는 다시 기관책임자, 교육대상자, 프로그램 운영담당자, 프로그램의 영향력으로 세분하여 측정하였다.
대상 데이터
- 설문조사는 설문지를 온라인 (이메일)을 통해 델파이 그룹에 전달하여 시행하였다. 1차 조사는 2012년 7월 9일에서 7월 17일까지 시행하였고, 총 45명이 회신하였다. 2차 조사는 2012년 7월 18일에서 7월 25일까지 총 32명이 회신하였다.
- 1차 조사는 2012년 7월 9일에서 7월 17일까지 시행하였고, 총 45명이 회신하였다. 2차 조사는 2012년 7월 18일에서 7월 25일까지 총 32명이 회신하였다. 1차 델파이그룹 조사에서는 전문가들의 이해를 돕기 위해 간단하게 노인대상 교육 프로그램에 관한 설명글을 첨부하였고, 자유롭게 의견을 제시하도록 하였다.
- 집단 의사 결정 방법 중 하나인 델파이 그룹은 노인 대상 기관에서 충분한 현장 경험을 지녔거나, 노인 영양과 위생에 전문적 지식을 갖춘 전문가로 구성하였다. 관련 학회, 학계, 정부기관 등으로부터 전문가의 명단을 추천 받고 참여 의사를 타진한 후 최종적으로 학계 26명, 중앙정부기관 16명, 지역사회 운영기관 24명 등 총 66인의 전문가 델파이 그룹을 구성하였다. 학계는 식품영양학 전공 교수로 구성하였고, 중앙정부기관은 식품의약품안전처, 보건사회연구원의 전문가로 구성하였고, 지역사회 운영기관은 경로당, 노인종합복지시설의 행정관 혹은 담당자로 구성하였다.
- 8점 이상인 지표로 선별하였다. 델파이 그룹은 학계 전문가 26명, 중앙정부기관 16명, 지역사회 운영기관 24명으로 총 66인으로 구성하였다. 1차, 2차 평가에 모두 참여한 전문가는 총 32명의 의견을 토대로 프로그램의 평가도구를 ‘성과측면’ 28문항, ‘과정측면’ 9문항, ‘구조측면’ 17문항으로 최종적으로 완성하였다.
- 본 연구의 델파이 그룹으로 참여한 전문가 중 1차 응답에 45명이 참가하였고, 2차 응답에서는 최종적으로 참가한 32명 전문가의 일반사항은 Table 2와 같다. 대부분이 여성(91.
- 5점 미만인 항목은 프로그램 효율성 영역의 ‘프로그램 개발비 대비 피교육자수’ 프로그램 불평 영역의 ‘불평건수’로 나타났다. 이 2항목을 제외하고 34항목의 지표가 타당한 지표로 선정되었다 (Table 3). 2차 델파이 조사에서는 총 34항목의 지표 중 평균 3.
데이터처리
- 셋째는 평가지표에 대해 전문가들 간에 의견이 일치되는 정도를 조사하는 방법인 Kendall의 W검증을 적용하였다. 검증 결과 통계적으로 유의적 차이를 보이고, 중요도 순위가 상대적으로 낮은 항목은 평가지표에서 삭제하였다.24 넷째는 평가영역별 구성 지표간의 신뢰도는 Cronbach alpha 값이 0.
- 마지막으로 영역별로 확정된 평가지표들의 신뢰도 분석을 위해 Cronbach's α 계수를 산출하였다.
- 따라서 전문가들의 보수적 관점에서의 합의를 이끈 지표로 평가체계를 완성하였다. 셋째는 평가지표에 대해 전문가들 간에 의견이 일치되는 정도를 조사하는 방법인 Kendall의 W검증을 적용하였다. 검증 결과 통계적으로 유의적 차이를 보이고, 중요도 순위가 상대적으로 낮은 항목은 평가지표에서 삭제하였다.
- 이론적 고찰을 통해 도출된 예비 평가지표들로 설문지를 작성해서 실시한 전문가 델파이 조사를 통해 수집된 자료들의 분석은 SPSS program 18.0을 이용하여 분석하였다. 평가지표의 평균값과 표준편차를 구하였다.
- 전문가들의 의견 일치성 정도를 조사하기 위하여 Kendall의 일치도계수 (Kendall's Coefficient of Concordance)인 W 검증을 실시하였다.
- 0을 이용하여 분석하였다. 평가지표의 평균값과 표준편차를 구하였다. 전문가들의 의견 일치성 정도를 조사하기 위하여 Kendall의 일치도계수 (Kendall's Coefficient of Concordance)인 W 검증을 실시하였다.
이론/모형
- 델파이 그룹 (delphi group)을 이용하여 평가 도구에 관한 정보를 수집하였다. 집단 의사 결정 방법 중 하나인 델파이 그룹은 노인 대상 기관에서 충분한 현장 경험을 지녔거나, 노인 영양과 위생에 전문적 지식을 갖춘 전문가로 구성하였다.
- 본 연구를 수행하는 과정에 평가지표와 그 점수 체계를 합리적으로 결정하기 위하여 과학적인 기법을 활용하였다는 점에서 큰 의미를 갖는다. 첫째는 집단 의사 결정법 중 하나인 델파이 조사기법을 사용하였다. 델파이 조사법의 주요 특성은 전문가 각자의 의견뿐 아니라 다른 패널의 의견 공유와 피드백을 통해 전문가 자신의 의견 수정이 가능하다는 점이다.
성능/효과
- 1차, 2차 평가에 모두 참여한 전문가는 총 32명의 의견을 토대로 프로그램의 평가도구를 ‘성과측면’ 28문항, ‘과정측면’ 9문항, ‘구조측면’ 17문항으로 최종적으로 완성하였다.
- 검증 결과 통계적으로 유의적 차이를 보이고, 중요도 순위가 상대적으로 낮은 항목은 평가지표에서 삭제하였다.24 넷째는 평가영역별 구성 지표간의 신뢰도는 Cronbach alpha 값이 0.64인 두 영역을 제외하고 모두 0.7 이상으로 높게 평가되었다. 이상과 같이 과학적인 연구방법을 적용하여 노인 대상 식품안전 및 영양관리 프로그램을 평가할 수 있는 도구를 개발하였기 때문에 평가지표의 신뢰성을 확보할 수 있었다.
- 노인 대상 식품안전·영양관리 평가체계는 성과 관점 28항목, 과정 관점 9문항, 구조 관점 17문항 등 총 54개 평가지표로 결정되었다.
- 델파이 1차 조사에서 프로그램의 효율성, 효과성, 불평건수, 프로그램 만족도 (부서장, 피교육자, 담당자), 유관조직의 프로그램 평가 지수 부문의 총 36개 문항 중에서 평균 3.5점 미만인 항목은 프로그램 효율성 영역의 ‘프로그램 개발비 대비 피교육자수’ 프로그램 불평 영역의 ‘불평건수’로 나타났다.
- 19,21 잠재 역량을 갖춘 직원 육성이 프로그램 운영의 필수 요소라는 관점에서 프로그램 계획, 실행, 평가에 참여하는 인적자원의 역량 강화(4항목), 프로그램운영에 적합한 조직구성 (2항목), 정보와 데이터의 원활한 흐름 (3항목), 업무 운영에 필요한 적정시간 제공 (1항목), 물적지원/시설/장비의 지원 (3항목), 프로그램 운영에 필요한 재정적 지원 (4항목), 인적자원 평가시스템 (3항목) 등의 세부 영역으로 나눠 총 20항목의 지표를 구성하였다. 둘째, 사업의 운영 측면은 BSC의 내부 프로세스 지표로 구성하였다. BSC의 내부 프로세스 관점은 사업목표 설정과 목표 달성 여부를 측정할 수 있는 지표의 마련, 사업 활동의 구성, 대상 인력의 구체화 등이 필요하다.
- 따라서 구조 관점의 측정지표는 인적자원 영역의 4항목, 조직구조 영역의 2항목, 정보 및 데이터의 2항목, 시간 영역의 1항목, 물리적 지원/시설/기구 영역의 3항목, 재정 확보 영역의 3항목, 제도 영역의 3항목으로 총 17항목으로 결정되었다 (Table 6). 각 영역별 Cronbach's α 계수는 최소 0.
- 고객관점에서는 학생만족도 점수, 교직원만족도 점수, 잔식비율, 영양교육수행건수, 영양교육 평가 지수, 고객불만건수, 고객불만감소율, 학부모 만족도 지수가 주요 지표로 조사되었다. 또한, 내부 운영과정의 관점에서는 영양요구충족량, 영양관리점수, 식중독 발생수, 직원안전사고건수, 위생검열평가점수, 시간당 식수, 전산화율, 운영관리지수, 구매관리 평가지수가 평가지표로 결정되었다. 마지막으로 학습과 성장 관점에서 핵심성공지표는 직원 교체율, 연간 교육건수,직원만족도 지수, 인적자원관리평가지수, 연간 메뉴관련 고객피드백, 급식정보관리지수로 조사되었다.
- 프로그램의 운영관리 영역은 프로그램의 문서화, 대상자의 프로그램 접근방법 및 그 용이성, 프로그램의 검토 및 피드백, 프로그램 대외 평판도 관리, 프로그램 홍보 및 통제 등의 8개의 평가지표로 구성하였다. 마지막으로 사업 성과 측면은 BSC의 재무관점과 고객관점의 프로그램 효율성, 프로그램의 효과성, 프로그램 관련 불평건수, 프로그램 만족도로 총 36항목으로 구성하였다. BSC의 재무관점은 적은 투입자원 대비 높은 성과를 측정하는 프로그램 효율성을 평가하였다.
- 또한, 내부 운영과정의 관점에서는 영양요구충족량, 영양관리점수, 식중독 발생수, 직원안전사고건수, 위생검열평가점수, 시간당 식수, 전산화율, 운영관리지수, 구매관리 평가지수가 평가지표로 결정되었다. 마지막으로 학습과 성장 관점에서 핵심성공지표는 직원 교체율, 연간 교육건수,직원만족도 지수, 인적자원관리평가지수, 연간 메뉴관련 고객피드백, 급식정보관리지수로 조사되었다. 본 연구는 급식소 운영을 목표로 하기 보다는 영양관리 및 식품안전에 관한 교육서비스, 영양서비스를 목적으로 하기 때문에 평가 관점이 달라서 선행연구와 평가지표간에 차이를 보였다.
- 구조 관점은 7영역의 인적자원/역량, 조직구조, 정보 및 데이터, 시간, 물적지원/시설/장비, 재정확보, 제도로 확정되었다. 본 연구 결과는 국내 급식분야에서 학교급식을 대상으로 BSC 개념을 적용한 연구17의 평가지표와 비교할 때 상당한 차이를 보였다. 균형성과표에 근거하여 학교급식을 평가하는 지표는 고객관점, 재무관점, 학습과 성장, 내부 프로세스 관점의 4영역에 걸쳐 12개의 핵심성공지표와 39항목 평가지표로 제시되었다.
- 나머지 절주사업, 고혈압사업, 운동사업, 영양사업은 50점대의 저조한 점수를 보여 사업 전략의 수정이 필요하다고 지적되었다. 본 연구에서는 선행 연구와 달리 성과 영역에 재무적 관점과 고객 관점의 평가지표를 포함시켰고, 총제적으로 평가할 수 있는 구체적인 평가지표를 제시했다는 점과 전문가의견 조사에 근거하여 성과영역에 50점이라는 상당한 비중의 점수를 할당하였다는 점에서 뚜렷한 차이가 있다.
- 국내 연구15에서는 5대 건강증진사업-절주, 금연, 영양, 운동, 고혈압관리-를 평가하는 지표로 구조, 과정, 결과 영역으로 분류하고 구조영역을 30점, 과정영역 30점, 결과를 40점으로 배점하여 100점 만점 기준으로 조사하였다. 이 연구에서는 금연사업이 다른 사업에 비해 높은 평가결과를 보였으며 (74점/100점) 사회적인 관심도가 높은 사업으로 평가되었다. 나머지 절주사업, 고혈압사업, 운동사업, 영양사업은 50점대의 저조한 점수를 보여 사업 전략의 수정이 필요하다고 지적되었다.
- 7 이상으로 높게 평가되었다. 이상과 같이 과학적인 연구방법을 적용하여 노인 대상 식품안전 및 영양관리 프로그램을 평가할 수 있는 도구를 개발하였기 때문에 평가지표의 신뢰성을 확보할 수 있었다.31
- 이상의 결과를 바탕으로 노인 대상 식품안전·영양관리 프로그램을 총체적으로 평가할 수 지표는 성과 영역 28항목 50점, 과정 영역 9문항 20점, 구조영역 17문항 30점으로 완성하였고, 각 지표별 배점은 Table 7과 같다.
- 델파이 조사법의 주요 특성은 전문가 각자의 의견뿐 아니라 다른 패널의 의견 공유와 피드백을 통해 전문가 자신의 의견 수정이 가능하다는 점이다. 즉, 패널간의 효과적인 상호 작용을 통한 합리적인 의사결정을 이끌어 낼 수 있었다.28 둘째, 적합 혹은 매우 적합하다고 응답한 비율이 75% 이상인 항목과 평균 점수 3.
- 본 연구에서 개발된 평가도구는 다음의 분야에 활용할 수 있다. 첫째, BSC를 활용하여 만든 평가체계를 사용하면, 사업 프로그램에 대한 총제적인 평가가 가능하며, 평가 결과를 기초로 지역간, 기관간의 특성을 서로 비교할 수 있다. 특히, 기관별로는 타 기관과 비교하여 해당 기관의 장점과 단점을 규명하고, 부족한 부분에 대한 원인 진단과 개선을 위한 방안 모색과 차별화된 교육 서비스 운영 등을 규명하는데 도움이 된다.
- 첫 번째 영역은 노인 대상의 영양관리 및 식품안전 프로그램을 평가하는 지표 68문항에 대해 각 지표의 적합성을 5점척도 (1점; 전혀 그렇지 않다 ~ 5점; 매우 그렇다)로 평가하게 하였다. 첫째, 사업의 구조측면은 BSC관점의 직원 학습과 성장 측면의 지표로 구성된다.19,21 잠재 역량을 갖춘 직원 육성이 프로그램 운영의 필수 요소라는 관점에서 프로그램 계획, 실행, 평가에 참여하는 인적자원의 역량 강화(4항목), 프로그램운영에 적합한 조직구성 (2항목), 정보와 데이터의 원활한 흐름 (3항목), 업무 운영에 필요한 적정시간 제공 (1항목), 물적지원/시설/장비의 지원 (3항목), 프로그램 운영에 필요한 재정적 지원 (4항목), 인적자원 평가시스템 (3항목) 등의 세부 영역으로 나눠 총 20항목의 지표를 구성하였다.
- 세부적으로 보면, 성과 관점은 6영역 28개 항목으로 구성되었다. 프로그램의 효율성, 프로그램의 효과성, 프로그램 만족도 (프로그램 대상자용, 담당자용, 담당기관장용), 타부서/지역사회의 프로그램 평가 영역으로 결정되었다. 과정 관점은 프로그램 계획, 프로그램 실행 2개 영역으로 결정되었다.
후속연구
- 본 연구는 BSC 개념과 구조·과정·성과 개념을 적용하여 노인을 위한 식품안전·영양관리 교육 사업을 평가하는 체계를 국내 최초로 제시한 점에서 큰 의의가 있다. 그러나 본 연구에서 개발한 평가지표는 국내에 노인 대상의 식품안전 및 영양관리 교육 사업의 초기 단계인 현재 수준을 바탕으로 개발되었으므로 향후 지속적인 보완이 필요할 것 이다. 현재 노인복지시설의 운영은 사업 운영 주체가 영양 전문가가 아니라 보건 행정직 또는 사회복지사에 의해 이루어지고 있는 상황이었고, 영양 및 위생 관련 전문 지식부족으로 사업 추진에 애로점이 많았으며, 전문 인력 및 시간 부족, 재정적 지원, 조직 인프라 구축이 미흡한 상황이었다.
- 특히, 기관별로는 타 기관과 비교하여 해당 기관의 장점과 단점을 규명하고, 부족한 부분에 대한 원인 진단과 개선을 위한 방안 모색과 차별화된 교육 서비스 운영 등을 규명하는데 도움이 된다. 둘째, 이를 기반으로 노인교육에 관한 합리적인 계획 수립, 효율적이고 효과적인 사업 운영 및 지속적인 교육 모니터링이 가능할 것이다. 셋째, 더 나아가 전국 지자체에서 자율적인 식품안전, 영양관리 교육을 확대 실시할 수 있는 전달체계의 규명과 이의 제도적 기반 마련에 활용될 수 있다.
- 현재 노인복지시설의 운영은 사업 운영 주체가 영양 전문가가 아니라 보건 행정직 또는 사회복지사에 의해 이루어지고 있는 상황이었고, 영양 및 위생 관련 전문 지식부족으로 사업 추진에 애로점이 많았으며, 전문 인력 및 시간 부족, 재정적 지원, 조직 인프라 구축이 미흡한 상황이었다. 따라서 본 평가 도구를 적용하여 사업을 평가할 때, 조직구조, 정보, 시간, 재정 확보 부문의 평가지표는 소규모 복지시설의 경우 적용할 수 없는 미흡한 상황일 수도 있고, 반면에 잘 운영되는 대규모 시설에서는 지나치게 단순한 지표로 간주될 수 있음을 평가시 유의하고 활용해야 할 것이다.
- 노인 대상 식품안전·영양관리 교육서비스 확산을 위해서는 효과적으로 평가할 수 있는 평가 도구의 구비가 선행되어야 한다. 본 연구에서 개발한 평가 도구를 활용한다면, 노인대상으로 식품안전 및 영양관리 교육프로그램 사업을 효과적으로 실행하는지를 평가할 수 있으며, 프로그램을 가장 효율적, 효과적으로 전달할 수 있는 경로를 탐색하는데 도움이 될 것으로 기대된다.
- 둘째, 이를 기반으로 노인교육에 관한 합리적인 계획 수립, 효율적이고 효과적인 사업 운영 및 지속적인 교육 모니터링이 가능할 것이다. 셋째, 더 나아가 전국 지자체에서 자율적인 식품안전, 영양관리 교육을 확대 실시할 수 있는 전달체계의 규명과 이의 제도적 기반 마련에 활용될 수 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.