[논문]공공부문 정보보호 교육과정의 평가 : 사례 연구

이송하; 전효정; 김태성

doi:10.9716/kits.2020.19.1.173

공공부문 정보보호 교육과정의 평가 : 사례 연구
Evaluation of Public Information Security Training Programs : A Case Study 원문보기

한국IT서비스학회지 = Journal of Information Technology Services, v.19 no.1, 2020년, pp.173 - 185

이송하 (충북대학교 경영정보학과) , 전효정 (충북대학교 경영정보학과) , 김태성 (충북대학교 경영정보학과, 보안경제연구소)

Abstract ▼ AI-Helper

It is very important to evaluate training because it can systematically grasp the current status of training. Evaluation includes getting ongoing feedback from the learner, trainer and learner's supervisor, to improve the quality of the training and identify if the learner achieved the goals of the training. It also provides a justification for the implementation of training. Nonetheless, there is a lack of studies that attempt to evaluate information security training programs. In this study, we utilize the Philips model to evaluate the public training programs for the people who are in charge of the information security duties in the public sector and propose the training improvement plans. Research result has shown that it is necessary to evaluate the level of the trainees in advance and conduct training programs according to the information security skill level. In addition, it needs to conduct training according to duties such as information security management, information security operate and maintain. The limitation of this study is that each education program was not assessed individually because this study had developed an evaluation tool that could be used comprehensively.

주제어

표/그림 (11)

표 <표 1> 교육평가 관련 연구
표 <표 2> Phillips 5단계 평가모형
그림 [그림 1] 연구의 모형
표 <표 3> 교육평가 도구
표 <표 4> 1차 조사지의 타당성 및 신뢰도 분석
표 <표 5> 2차 조사지의 타당성 및 신뢰도 분석
표 <표 6> 1차 조사 결과 : 반응 및 학습 성취도(n = 114)
표 <표 7> 정보보호 업무에 따른 집단통계량
표 <표 8> 2차 조사 결과 : 현업적용도(n = 33)
표 <표 9> 2차 조사 결과 : 성과 기여도(n = 33)
표 <표 10> 정보보호 업무수행자의 교육 수강 후 줄어든 정보보호 업무 시간(n = 27)

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 국내 공공부문에서 정보보호 관련 업무를 담당하는 재직자들을 대상으로 시행되고 있는 교육을 평가하는 데에 적합한 도구를 제안하고 검증하여 실제 교육평가에 적용하는 사례연구를 진행하였다.
본 연구에서는 무형적 성과뿐만 아니라 생산성향상의 측면에서 성과를 정량적으로 제시해보고자 하였다(레벨 5). 일반적으로 교육의 투자대비효과(ROI)는 식 (1)과 같이 계산한다(Sørensen, 2015; Phillips, 2003).
공공부문에서도 정보보호 인력의 중요성이 증가함에 따라 이들을 위한 다양한 교육이 개설되고 있으나, 교육의 개선을 위한 평가는 미비한 실정이다. 이에 본 연구에서는 공공부문의 정보보호 인력에게 제공되고 있는 정보보호 교육과정의 평가를 위한 도구를 개발하고, 실제 적용해보고, 개선점을 도출하고자 하였다.
추가적으로 정보보호 직무에 따른 평가단계별 목표 달성 수준을 확인해 보았다. 본 연구에서는 정보보호직무를 총 7개로 분류¹⁾하여 측정하였다.

제안 방법

Phillips의 교육평가 방법론의 프로세스는 평가계획, 자료수집, 자료 분석, 보고 등 크게 4개의 단계로 구성되어 있으나, 본 연구에서는 평가를 위한 새로운 도구(설문)의 개발이 중요하기 때문에 도구개발 단계를 부각하여 총 5단계의 프로세스를 지닌 연구모형을 설정하였다.
설문의 응답 대상은 정부출연 연구소 산하 정보보호 전문교육기관 1개소에서 2016년 6월∼2017년 7월 동안 실시된 7개 정보보호 교육과정에 참여한 공공부문 정보보호 업무 수행자이다. 교육과 정의 수료 직후에 실시된 1차 조사(자가 평가)는 교육기관의 교육관리 시스템을 통해 수집하였다. 이후 각 년도별 첫 교육과정의 수료일로부터 약 3개월이 되는 주부터 ‘2차 조사에 동의’한 152명을 대상으로 e-mail(문서 기반 설문지)과 Google 독스(웹 기반 설문지)로 배포하였다.
다양한 선행 연구를 바탕으로 정보보호 교육과정 평가를 위해 개발된 도구(설문)는 <표 3>과 같다. 본 연구에서는 반응, 학습 성취도, 현업적용도, 성과기여도 측정을 위해 7점 리커트 척도를 활용하였다.
*Phillips&Phillips(2016)은 반응은 교육참가자들의 교육에 대한 만족도와 더불어 구체적인 실행계획(Action Plan)을 포함하는 개념이라고 하였다. 본 연구에서는 반응을 교육과정 자체에 대한 만족도와 실행계획으로 구분하여 조사하였다.
추가적으로 정보보호 직무에 따른 평가단계별 목표 달성 수준을 확인해 보았다. 본 연구에서는 정보보호직무를 총 7개로 분류¹⁾하여 측정하였다. 그러나, 운영 및 유지(55명).
레벨 1의 반응 평가는 교육의 내용과 수강생의 현업과의 관계성에 대한 만족도 측정에 목적을 두고 있으며, 설문방식으로 진행한다. 설문항목은 교육훈련 내용과 업무와의 관련성 및 중요성, 교육훈련을 통한 새로운 정보 획득 여부, 타인에게 추천하는 정도 등으로 구성된다.
이에 본 연구에서는 Phillips 모형의 성과 기여도(레벨 4)와 ROI(레벨 5)를 조직 차원에서 금전적 효과 중심으로 산출하지 않고 개인의 차원에서 시간 절감(생산성 향상)을 기준으로 수정하여 적용하였다. 교육으로 개선할 수 있는 성과 중 하나인 생산성 향상은 업무처리에 대한 시간․비용 등의 감소를 통한 업무 효과성과 효율성의 증가를 말한다.

대상 데이터

이후 각 년도별 첫 교육과정의 수료일로부터 약 3개월이 되는 주부터 ‘2차 조사에 동의’한 152명을 대상으로 e-mail(문서 기반 설문지)과 Google 독스(웹 기반 설문지)로 배포하였다. 1차 조사는 119부, 2차 조사는 33부를 회수하였으며 불성실한 응답을 제외하고 최종적으로 1차 조사는 114부, 2차 조사는 33부를 분석에 사용하였다.
설문의 응답 대상은 정부출연 연구소 산하 정보보호 전문교육기관 1개소에서 2016년 6월∼2017년 7월 동안 실시된 7개 정보보호 교육과정에 참여한 공공부문 정보보호 업무 수행자이다.
이후 각 년도별 첫 교육과정의 수료일로부터 약 3개월이 되는 주부터 ‘2차 조사에 동의’한 152명을 대상으로 e-mail(문서 기반 설문지)과 Google 독스(웹 기반 설문지)로 배포하였다.

데이터처리

감독 및 관리(30명)를 제외한 나머지직무는 0명∼20명 사이로 표본이 적어 중심극한정리에서 벗어나기 때문에 분석에서 제외하고 운영 및 유지, 감독 및 관리 업무를 담당하고 있는 두 집단 간의 반응, 학습성취도의 값을 비교하였으며, 통계적으로 차이가 없다는 결과를 도출하였다.
조사에 사용된 도구의 검증을 위해 타당성 분석과 신뢰도 분석을 실시하였다. 먼저 타당성을 검증하기 위해 SPSS 18.0을 활용하여 탐색적 요인분석을 실시하였다. 요인 적재치의 단순화를 위해 직교회전방식(varimax)을 채택하였다.
조사대상인 교육 수강생 표본의 인구통계적 특성을 분석하기 빈도분석을 실시하였다. 교육 직후에 실시된 1차 조사 응답자(114명)의 76%는 실무자급이었으며, 사업책임자급과 중간관리자급이 각각 11% 수준이었다.
조사에 사용된 도구의 검증을 위해 타당성 분석과 신뢰도 분석을 실시하였다. 먼저 타당성을 검증하기 위해 SPSS 18.

이론/모형

0을 활용하여 탐색적 요인분석을 실시하였다. 요인 적재치의 단순화를 위해 직교회전방식(varimax)을 채택하였다. 일반적으로 요인적재치가 0.

성능/효과

1차 조사 결과, 수강생들의 주된 수강목적은 ‘보안기술능력 향상’이며 ‘반응(레벨 1)’에 관한 질문은 대체적으로 높은 점수를 받았으나, 교육내용의 난이도는 타 항목들에 비해 현저히 낮은 점수를 학생의 수준에 따른 난이도의 조절이 필요해 보인다.
92시간 동안 정보보호 업무를 수행하였다.²⁾ 교육 이후에는 월 평균 정보보호 업무를 수행하는데 7.92 시간이 절감된 것으로 나타나 연평균 약 19일의 정보보호 업무시간이 절감되는 것으로 나타났다.³⁾ 생산성 향상(시간 절감)의 측면에서만 볼 경우, 교육과정이 평균 3일 동안 이루어지는 것을 비추어볼 때, 그 효과가 약 4.
2) 응답자들의 대부분이 정보보호 업무를 수행하면서 일반 IT업무도 겸직하는 것으로 추정됨.
2차 조사 결과, 먼저 현업적용도(레벨 3)의 도구활용의 경우 다른 응답에 비해 점수가 현저히 낮은 것으로 나타났다. 이는 도구 활용에 대한 학습 성취도가 낮아 일어난 현상으로 보인다.
3) 생산성 향상(시간 절감)의 측면에서만 볼 경우, 교육과정이 평균 3일 동안 이루어지는 것을 비추어볼 때, 그 효과가 약 4.3배에 해당한다고 볼 수 있다( 참조).
운영 및 유지와 감독 및 관리 등 두 개의 직무로 수강생을 구분하여 비교․분석해 본 결과 교육에 대한 만족도 및 성취도에 있어서 집단 간의 구분에 통계적 유의성이 없는 것으로 나타났다. 이에 현재의 교육․훈련과정은 기초수준의 지식을 가진 사람부터 실무 능력을 지닌 사람들까지 골고루 포용할 수 있는 것으로도 볼 수 있으나, 한편으로는 본 교육기관의 목표가 각 직무에 따른 실무형 인재의 양성이기 때문에 이 같은 결과가 바람직하지 않은 것으로 보이며, 향후에는 직무별로 특화된 교육과정이 개설될 필요가 있는 것으로 나타났다.
이는 도구 활용에 대한 학습 성취도가 낮아 일어난 현상으로 보인다. 전문적 스킬의 경우 학습 성취도가 다소 낮았음에도 불구하고 현업 적용도는 5점대(약간 높음)으로 응답하였으나, 표준편차가 가장 크게 나타났다. 현업적용의 촉진요인으로 학습내용의 유용성 및 새로움이 가장 중요한 것으로 나타났으며, 학습내용의 현업과의 적합성이 두 번째로 중요한 것으로 나타났다.
주요 연구결과로는 평가 대상 교육과정이 수강생들의 참여를 잘 이끌어내고 있으나, 교육내용의 난이도는 다소 조정이 필요한 것으로 나타났다. 국내 행정기관의 정보보호인력 역량강화를 위해서는 정보보호 교육과정이 교육대상을 특정할 수 있도록 과정의 등급화가 필요하다는 지적이 있다(전효정외, 2019).
학습 성취도의 경우 ‘보안인식 및 이해’ 향상에 대한 학습목표를 쉽게 달성함으로써, 정보보호 기본 소양을 기르는 면에서는 현재 시행되고 있는 교육이 적합한 것으로 나타났다.
전문적 스킬의 경우 학습 성취도가 다소 낮았음에도 불구하고 현업 적용도는 5점대(약간 높음)으로 응답하였으나, 표준편차가 가장 크게 나타났다. 현업적용의 촉진요인으로 학습내용의 유용성 및 새로움이 가장 중요한 것으로 나타났으며, 학습내용의 현업과의 적합성이 두 번째로 중요한 것으로 나타났다. 이를 통해 적절한 학습내용의 구성이 매우 중요하다는 것을 알 수 있다(<표 8> 참조).

후속연구

이에 교육으로 인해 변화된 개인 및 조직성과의 측정을 위해서는 단기조사가 아닌 3∼6개월 뒤에도 측정이 가능한 장기조사가 수반되어야 한다. 그러나, 본 연구는 개인정보보호 문제로 익명으로 조사가 이루어져 조사에 대한 회신율이 낮았으며, 추적조사 및 분석이 어렵다는 한계가 있었다. 향후에는 교육 수강생들에 대한 전반적인 이력관리 체계를 구축하여 관리하는 것이 바람직하며, 이력관리를 통해 궁극적으로는 연차별로 수강생들의 요구(needs)에 대한 충족 여부파악 및 교육으로 개선된 역량(지식, 기술, 태도 등)변화에 대한 측정이 이루어진다면 교육의 개선에 큰 도움이 될 것이다.
더불어, 교육 수강 주체가 단일 조직의 구성원일 경우 조직 차원의 성과 평가 및 ROI 산출을 위한 정보를 수집하기가 용이하지만, 본 연구의 경우 교육 수강생들이 소속된 조직이 제각각이고 개인정보보호 차원에서 자료수집이 익명으로 이루어졌기 때문에 수강생들이 실제 소속된 조직이 공공부문이라는 것 외에는 정보를 얻을 수 없으며, 1차 조사와 2차 조사의 응답을 개인별로 매핑(추적조사) 할 수 없다는 한계가 있었다. 더욱이 연구의 대상인 교육과정이 공공예산으로 운영되어 교육에 투입된 예산을 명확히 따지기 어려운 문제가 있다.
본 연구의 한계점으로는 직무별, 직급별, 강좌별 표본의 수가 적어 다양한 분석을 시도하지 못했다는 것이다. 또한 설문을 실시한 6개의 교육과정별로 특성을 살린 학습 성취도와 현업적용도를 제시한 것이 아닌, 통합적으로 사용이 가능한 설문 문항을 개발 및 적용하였기 때문에 개별 교육과정을 평가하지 못했다는 한계가 있다. 후속 연구에서는 단일 교육과정마다 개별 평가 도구를 개발할 필요가 있으며, 현재 개발된 통합형 평가 도구와의 결과 비교를 통해 장단점을 파악해 볼 수도 있을 것이다.
본 연구의 평가대상은 공공부문에서 정보보호업무를 담당하는 인력을 대상으로 이루어지는 교육으로 조직의 정보보호 역량 강화라는 교육목표를 갖기 때문에, 일반적으로 사용되는 조직성과인 영업이익향상, 고객 서비스 만족도 증가 등을 교육성과로 볼 수 없다는 한계가 있었다. 조직의 정보보호 성과로 활용할 수 있는 지표를 마련하더라도 평가 대상인 교육과정이 여러 조직에서 한두명이 참석하기 때문에 수강생들의 성과를 개별 조직의 성과로 보기에는 비약이 있다는 한계가 있었다.
본 연구의 한계점으로는 직무별, 직급별, 강좌별 표본의 수가 적어 다양한 분석을 시도하지 못했다는 것이다. 또한 설문을 실시한 6개의 교육과정별로 특성을 살린 학습 성취도와 현업적용도를 제시한 것이 아닌, 통합적으로 사용이 가능한 설문 문항을 개발 및 적용하였기 때문에 개별 교육과정을 평가하지 못했다는 한계가 있다.
국내 행정기관의 정보보호인력 역량강화를 위해서는 정보보호 교육과정이 교육대상을 특정할 수 있도록 과정의 등급화가 필요하다는 지적이 있다(전효정외, 2019). 앞으로는 교육시작 전 교육과정 참여자들의 정보보호 수준을 사전에 평가하여 각 수준별로 분반하여 수준에 맞는 교육을 수강하도록 한다면 전반적인 만족도 향상에 도움이 될 것으로 보인다. 학습 성취도의 경우 ‘보안인식 및 이해’ 향상에 대한 학습목표를 쉽게 달성함으로써, 정보보호 기본 소양을 기르는 면에서는 현재 시행되고 있는 교육이 적합한 것으로 나타났다.
운영 및 유지와 감독 및 관리 등 두 개의 직무로 수강생을 구분하여 비교․분석해 본 결과 교육에 대한 만족도 및 성취도에 있어서 집단 간의 구분에 통계적 유의성이 없는 것으로 나타났다. 이에 현재의 교육․훈련과정은 기초수준의 지식을 가진 사람부터 실무 능력을 지닌 사람들까지 골고루 포용할 수 있는 것으로도 볼 수 있으나, 한편으로는 본 교육기관의 목표가 각 직무에 따른 실무형 인재의 양성이기 때문에 이 같은 결과가 바람직하지 않은 것으로 보이며, 향후에는 직무별로 특화된 교육과정이 개설될 필요가 있는 것으로 나타났다.
그러나, 본 연구는 개인정보보호 문제로 익명으로 조사가 이루어져 조사에 대한 회신율이 낮았으며, 추적조사 및 분석이 어렵다는 한계가 있었다. 향후에는 교육 수강생들에 대한 전반적인 이력관리 체계를 구축하여 관리하는 것이 바람직하며, 이력관리를 통해 궁극적으로는 연차별로 수강생들의 요구(needs)에 대한 충족 여부파악 및 교육으로 개선된 역량(지식, 기술, 태도 등)변화에 대한 측정이 이루어진다면 교육의 개선에 큰 도움이 될 것이다.
향후에는 교육과정 참여자들의 정보보호 업무와 수준을 사전에 평가하여 직무별로 단계적인 학습이 가능한 분반 형태로 진행하는 것이 바람직할 것이다. 더불어 전문적 스킬 및 도구 활용과 관련하여 기존에 보유한 수준별로 교육을 받을 수 있도록 내용을 재정비하고, 수강생들의 원활한 이해를 위해 교수학습법을 새로이 선정할 필요가 있다.
그러나 국내 정보보호 인력의 낮은 숙련도에 비해 재교육 필요도가 높은 영역으로 침투테스트 도구 및 기법사용 등이 꼽혔으나(전효정, 김태성, 2018), 이를 포함하는 정보보호 관련 SW를 다루는 스킬 혹은 장비활용과 관련된 부분은 현재의 교육과정에서는 쉽게 익힐수 없는 것으로 나타났으며, 전문적 스킬을 향상하는 데에도 어려움이 있는 것으로 나타났다. 향후에는 정보보호관련 SW 및 장비 활용 관련 교육의 이해도를 높일 수 있도록 교재의 개선이나 교수법의 개선이 필요한 것으로 보인다. 특히 교재의 현업과의 관련성은 수강생들이 교육받은 내용을 현업에서 활용하는데 큰 영향을 미치기 때문에 지속적인 개선이 요구된다.
또한 설문을 실시한 6개의 교육과정별로 특성을 살린 학습 성취도와 현업적용도를 제시한 것이 아닌, 통합적으로 사용이 가능한 설문 문항을 개발 및 적용하였기 때문에 개별 교육과정을 평가하지 못했다는 한계가 있다. 후속 연구에서는 단일 교육과정마다 개별 평가 도구를 개발할 필요가 있으며, 현재 개발된 통합형 평가 도구와의 결과 비교를 통해 장단점을 파악해 볼 수도 있을 것이다. 더불어 수강생들이 다수의 기관에서 참석하여 수강생 개인의 성과를 조직의 성과로 확대하여 볼 수 없다는 한계가 있었다.

질의응답

핵심어	질문	논문에서 추출한 답변
	본 연구에서 교육내용의 난이도를 조정해야할 필요가 있는 이유는 무엇인가요?	주요 연구결과로는 평가 대상 교육과정이 수강생들의 참여를 잘 이끌어내고 있으나, 교육내용의 난이도는 다소 조정이 필요한 것으로 나타났다. 국내 행정기관의 정보보호인력 역량강화를 위해서는 정보보호 교육과정이 교육대상을 특정할 수 있도록 과정의 등급화가 필요하다는 지적이 있다(전효정외, 2019). 앞으로는 교육시작 전 교육과정 참여자들의 정보보호 수준을 사전에 평가하여 각 수준별로 분반하여 수준에 맞는 교육을 수강하도록 한다면 전반적인 만족도 향상에 도움이 될 것으로 보인다.
	본 논문에서 정의하는 교육의 평가란 무엇인가요?	교육의 평가는 교육 활동의 결과를 일정한 기준에 따라 판단하는 과정으로, 교육 제공자는 교육평가를 통해 교육목표 달성도와 교육의 효과를 체계적으로 보여줄 수 있고, 진행 중이거나 계획 중인 교육의 미흡한 부분을 점검하고 개선 방향을 도출함으로써 교육의 품질을 향상할 수 있다(Kirkpatrick, 1994; Phillips, 1998; Phillips, 2001; 임효창 외, 2004; 배호순, 2008). 이러한 순기능에도 불구하고 증가하는 교육 투자 비용에 비해 교육 평가는 미비한 수준이다(Saari, 1988).
	현업적용을 저해요인으로 선정된 요소는 무엇인가요?	현업적용을 저해요인으로는 현업적용을 위한 충분한 시간 및 환경부족, 경영진의 관심, 지지, 지원의 부족이 꼽혔다(<표 8> 참조). 현업적용 저해요소는 수강생이 교육을 듣고 각 조직으로 돌아간 뒤에 발생하는 것을 알 수 있다.

참고문헌 (40)

감사원, "감사보고서 : 국가 사이버안전 관리 실태", 2016.
고기순, 김인호, "교육？훈련의 실무전이에 관한 연구", 인사관리연구, 제26권, 제3호, 2002, 25-54.
기획재정부, 2014 공공기관 경영평가편람, 2014.
김광용, 이경락, "교육？훈련활동과 기업성과의 관계", 디지털융복합연구, 제11권, 제5호, 2013, 267-277.

원문보기 상세보기
김동우, 채승완, 류재철, "국내 정보보호 교육체계 연구", 정보보호학회논문지, 제23권, 제3호, 2013, 545-559.

원문보기 상세보기
김소영, 이영민, 최영섭, 홍성민, "CIPP 평가모형과 Kirkpatrick 평가 모형을 활용한 중소기업 훈련 컨소시엄 사업의 성과 평가 연구", 직업교육연구, 제30권, 제1호, 2011, 51-74.
김진모, 박종선, 황영훈, "효과성, 효율성을 활용한 임업훈련원 교육성과평가 모형 개발", 농업교육과 인적자원개발, 제46권, 제2호, 2006, 47-70.
민경석, 최대현, 문경환, "경찰교육훈련 평가지표에 관한 연구 : Kirkpatrick 모형에 기반하여", 경찰학논총, 제10호, 제2권, 2015, 7-33.
박천오, 최호진, "한국 공무원 교육？훈련의 효과성에 관한 실증 조사-공무원의 인식을 중심으로", 한국행정논집, 제14권, 제4호, 2002, 939-959.
배을규, 김대영, "통합적 평가 접근법을 활용한 HRD 프로그램 평가 모형 개발 : 학교 사회 예술강사 기본 연수 평가 모형 개발 사례를 중심으로", HRD 연구, 제16권, 제4호, 2014, 25-50.
배호순, "교육프로그램 평가론", 서울 : 원미사, 2008.
송지준, "논문작성에 필요한 SPSS/AMOS 통계분석방법", 21세기사, 2016.
오성호, "인사행정의 과제와 전망 : 공무원 교육？훈련체계와 그 개선", 한국행정연구, 제6권, 제3호, 1997, 23-40.
이성흠, "교육, 훈련프로그램 반응평가를 위한 평가 범주와질문지개발준거", 교육공학연구, 제21권, 제3호, 2005, 187-214.
이성흠, "교육, 훈련프로그램 반응평가를 위한 평가 범주와 질문지 개발 준거", 교육공학연구, 제21권, 제3호, 2005, 187-214.
이홍재, 박미경, 차용진, "개인정보보호 교육훈련 평가모형 및 측정에 관한 탐색적 연구 : CIPP 평가모형 적용 및 검증을 중심으로", 한국인사행정학회보, 제15권, 제1호, 2016, 61-88.
이홍재, 이현철, 차용진, "지방자치단체 개인정보보호 교육 성과에 관한 연구", 한국행정연구, 제24권, 제1호, 2015, 173-196.
임명성, "정보보안 인식 교육의 효과에 대한 연구", 디지털융복합연구, 제12권, 제2호, 2014, 27-37.

원문보기 상세보기
임효창, 이인석, 박경규, "기업내 e-learning 의 반응, 학습성과 및 전이성과간 관계 : 교육참가자의 개인특성 및 조직환경의 조절효과를 중심으로", 조직과 인사관리연구, 제28권, 2004, 1-32.
전효정, 김태성, "정보보호 업무인력의 경력개발을 위한 재교육 방향", Journal of Information Technology Applications and Management, 제25권, 제4호, 2018, 67-77.

원문보기 상세보기
전효정, 김태성, 박기태, "행정기관의 정보보호 담당인력을 어떻게 관리할 것인가?", 한국IT서비스학회지, 제18권, 제4호, 2019, 55-66.

원문보기 상세보기
Arthur Jr, W., Bennett Jr, W., P.S. Edens, and S.T. Bell, "Effectiveness of training in organizations : A meta-analysis of design and evaluation features", Journal of Applied Psychology, Vol.88, No.2, 2003, 234-245.

상세보기
Chochard, Y. and E. Davoine, "Variables influencing the return on investment in management training programs : a utility analysis of 10 Swiss cases", International Journal of Training and Development, Vol.15, No.3, 2011, 225-243. http://www.solarwinds.com/assets/infographics/cybersecurity-in-the-federal-government.aspx(2019. 8. 1. 방문).

상세보기
Kirkpatrick, D.L. and J.D. Kirkpatrick, Evaluating Training Programs : The Four Levels (3rd Edition), Berrett-Koehler Publisher, Inc., 1994.
National Initiative for Cybersecurity Education (NICE), The National Cybersecurity Workforce Framework 2.0, 2013.
National Institute of Standards and Technology (NIST), A Role-Based Model for Federal Information Technology/Cybersecurity Training (3rd Draft), 2014.
Noe, R.A., "Trainees' Attributes and Attitudes : Neglected Influences on Training Effectiveness", Academy of Management Review, Vol.11, No.4, 1986, 739-749.
Phillips, J.J. and P.P. Phillips, "The ROI methodology", In Handbook of Training Evaluation and Measurement Methods, Routledge, 2016.
Phillips, J.J., Handbook of training evaluation and measurement methods, Routledge, 1991.
Phillips, P.P. and J.J. Phillips, "Symposium on the evaluation of training : editorial", International Journal of Training and Development, Vol.5, No.4, 2001, 240-247.

상세보기
RAND Corporation, H4CKER5 WANTED : An Examination of the Cybersecurity Labor Market, 2014.
ROI Institute Korea, "교육훈련평가와 HRD 성과 측정 전략", HRD포럼, 제290차, 2016.
Saari, L.M., T.R. Johnson, S.D. McLaghlin, and D.M. Zimmerle, "A survey of management training and education practices in U.S. companies", Personnel Psychology, Vol.41, 1988, 731-743.

상세보기
Sevilla, C. and T.D. Wells "Contracting to ensure training transfer", Training and Development, Vol.52, No.6, 1998, 10-11.
Sorensen, S.E., "Comprehensive return on investment evaluation system for local self-government training in bosnia and herzegovina, Case : Project cycle management course", Performance Improvement, Vol.54, No.1, 2015, 14-27.

상세보기
Stufflebeam, D.L., "The CIPP model for evaluation", Evaluation Models, 2000, 279-317.
Subramanian, K.S., V. Sinha, and P.D. Gupta, "A study on return on investment of training programme in a government enterprise in India", Vikalpa, Vol.37, No.1, 2012, 31-48.

상세보기
Van Wart, M., Changing Public Sector Values. Taylor and Francis, 1998.
Watkins, R., D. Leigh, R. Foshay, and R. Kaufman, "Kirkpatrick plus : Evaluation and continuous improvement with a community focus", Educational Technology Research and Development, Vol.46, No.4, 1998, 90-96.

상세보기
Zacharatos, A., J. Barling, and R.D. Iverson, "High-performance work systems and occupational safety", Journal of Applied Psychology, Vol.90, No.1, 2005, 77-93.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증