[논문]공공정보시스템 효과성 측정지표의 타당성 검증에 관한 연구 - 행정정보DB구축사업을 중심으로 -

강동석; 유시형

doi:10.3745/kipstd.2009.16-d.3.417

공공정보시스템 효과성 측정지표의 타당성 검증에 관한 연구 - 행정정보DB구축사업을 중심으로 -
Assessing the Construct Validity of PMIS Effectiveness Measurement - Focusing the Administration DB Construction Projects - 원문보기

정보처리학회논문지. The KIPS transactions. Part D. Part D, v.16D no.3, 2009년, pp.417 - 422

강동석 (한국정보화진흥원 국가정보화사업단) , 유시형 (한국정보화진흥원 국가정보화사업단)

초록
AI-Helper

학술적 중요성 이외에 실무적으로도 정보시스템 효과성 측정을 위한 측정지표의 타당성 검증은 중요하다고 할 수 있다. 최근 정보시스템 또는 정보기술에 대한 투자가 급증함에 따라 민간기업에서도 IT 투자의 비즈니스 가치에 대한 관심이 높아지고 있다. 한편 민간부문뿐만 아니라 공공부문에서도 한정된 국가예산을 가지고 투입되는 정보화 부문에 대한 투자효과 평가의 필요성이 부각되고 있다. 최근 여러 정부부처별로 진행되고 있는 공공 정보화사업의 체계적이고 비교가 가능한 성과평가를 위해서 공공정보시스템 효과성의 개념을 정의하고, 이를 측정하기 위한 측정지표의 개발 및 타당성 검증이 요구되고 있다. 이에 따라 행정정보DB구축사업을 대상으로 공공정보시스템 효과성 측정지표의 타당성을 검증해 보았다.

Abstract ▼ AI-Helper

It is important to verify the validity of indicators assessing PMIS(Public Management Information System) effectiveness in academic research as well as practical affairs. As people invest in the field of Information Technology(IT) or IT system, private corporations are interested in investment in IT and it's business value. Moreover, the need of evaluating effectiveness on the investment in IT with the limited national budget are on the increase in public sector. Therefore, it is necessary to define the construct of PMIS(Public Management Information System) effectiveness so that we systematically compare and measure performance of public informatization project processed by each public organizations. It needs to develop indicators and verify the construct validity of them. we verified the construct validity of indicators assessing PMIS(Public Management Information System) effectiveness on the Administration DB Construction Projects.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 공공정보시스템에 있어 가장 중요한 것은 지표에 대해서 전문가 의견수렴, 관계자 설문조사에 의존할 것이 아니라, 성과평가를 이루는 측정지표에 대해서 체계적이고 통계적인 방법론을 적용하여 타당성 및 신뢰성을 검증하는 것이며, 본 논문은 이러한 방법론을 연구하고 적용방안을 제시하였다.
본 연구에서는 공공정보시스템을 통해 서비스되는 행정정보DB구축사업의 성과평가를 위해 적용된 측정지표들에 대한 타당성 검증을 수행하였다.
본 연구에서는 최근 여러 정부 부처별로 진행되고 있는 공공 정보화사업의 체계적이고 비교가 가능한 성과평가 측정을 위한 측정지표의 타당성을 검증하고 정보시스템 효과성 측정을 위한 타당성 검증의 중요성과 측정지표에 따라 행정정보DB구축사업을 대상으로 타당성을 검증해 보았다.

제안 방법

하지만, 개발된 측정항목이 제대로 정보화 성과를 측정하고 신뢰성이 있는 지표인지에 대한 검증은 성과평가의 신뢰성 측면에서 대단히 중요하다. 그래서 공공부문 정보화사업인 행정정보DB구축사업의 성과평가에 적용된 측정지표의 신뢰성과 타당성 검증을 수행하였다.
내부 이용자와 외부 이용자의 설문조사는 각 행정정보 DB마다 모집단을 파악하여, Random Sampling을 통한 조사를 실시하였다. 일반국민의 설문조사는 조사대상 DB에 접속하여 DB를 이용하는 이용자를 대상으로 한 온라인 조사를 중심으로 하였고, 자료는 26개 사업에 대해 1,468개의 유효한 설문을 분석하였다.
하지만 측정지표에 있어 단일지표를 적용할 경우 측정지표 간 단위변환을 위한 가중치에 주관적 요소가 필수적으로 반영되어야 하는 등, 결과에 대한 객관성을 확보하기 어려운 단점이 있다. 따라서 본 연구에서는 사업 자체의 성과를 측정하는 데 중점을 두어 사업별 성과를 단일화시키는 것은 포함하지 않고 정량적으로 측정 가능한 지표의 경우 백분위 방법에 의한 측정지표 측정방법을 주요하게 적용하였다. 백분위 방법의 측정지표 측정은 성과에 대한 측정이 비교적 용이할 뿐만 아니라 성과에 대한 측정이 비교적 객관적인 방법이 된다.
복합요인신뢰성 방법을 사용하기 위해 각각의 요인적재(Factor roading) 값과 오차(Error term)을 통해서 복합요인신뢰성을 산출하였다. 복합요인신뢰성 산출방식은 다음과 같다.
8 이상 나와 지표들에 대한 신뢰도 또한 높게 평가되었다. 타당성 검증을 위해 기존 연구에서 적용하지 않았지만 신뢰성 검증의 확인을 위해 검증이 필요한 수렴 타당성과 판별 타당성 검증방법을 적용하여 타당성 방법론 시각에서 다양함을 추구하였다.
행정정보DB구축사업에 대한 성과관리모델을 개발하기 위해 정보화추진위원회의 정보화사업평가와 정보통신부의 지식자원관리사업에 대한 평가, 전자정부 성과평가, 공공 BSC(Balanced Score Card) 모델 및 PRM(Performance Reference Model)을 토대로 평가영역을 고객, 업무, 기술 영역으로 구분하였고 각 평가영역에 따라 측정지표와 평가항목을 도출하였다[5].

대상 데이터

내부 이용자와 외부 이용자의 설문조사는 각 행정정보 DB마다 모집단을 파악하여, Random Sampling을 통한 조사를 실시하였다. 일반국민의 설문조사는 조사대상 DB에 접속하여 DB를 이용하는 이용자를 대상으로 한 온라인 조사를 중심으로 하였고, 자료는 26개 사업에 대해 1,468개의 유효한 설문을 분석하였다. 조사된 표본수는 <표 4>와 같다.

데이터처리

첫째 내용 타당성(Content validity)을 검증하기 위해 관련 분야에 대한 문헌연구를 통한 문항 추출, 문항에 대한 전문가 검증 분석, 둘째 신뢰성 검증을 위한 개별항목과 전체항목간의 상관관계 및 크론바하 α(Cronbach alpha)를 통한 내적 일관성(Internal Consistency)과 신뢰도 분석, 셋째 수렴 타당성(Convergent Validity)을 검증하기 위해 구조방정식 모형을 통한 유의미한 요인 적재치에 대한 분석, 넷째 판별 타당성(Discriminant Validity)을 검증하기 위해 요인별 상관분석(Correlation analysis)을 하였다.
판별 타당성을 검증하기 위한 분석으로 잠재변인의 평균추출분산 값과 변인간 상관계수의 제곱값을 비교하였다[22]. 판별타당성을 확보하기 위해서는 각 잠재변인의 평균추출분산 값이 그 변인을 포함하고 있는 모든 상관계수의 제곱 값들보다 높아야 한다.

이론/모형

또한 타당성 검증을 위해 일반적 측정지표 타당성 기준인 SMAAT 모델을 검증기준으로 적용한다. 다섯가지 검증기준 중에서 첫번째는 지표가 구체적이고 명료한지를 판단할 수 있는 구체성이고 두번째는 측정이 가능하고 용이한지를 판단할 수 있는 측정 가능성이며 세번째는 성과목표 달성이 가능한가에 대한 목표달성 가능성, 네번째는 구성원이 쉽게 이해하고 사용하기에 편리한가를 판단하는 수용 가능성, 마지막은 정보화 성과를 나타내고 있는가를 알아볼 수 있는 내용 타당성을 검증하는 것이다.
신뢰성 검증은 복합요인신뢰성(Composite reliability) 방법과 크론바하 α 방법을 사용하여 신뢰성을 검토하였다.

성능/효과

각 항목들의 요인 적재치를 살펴본 결과 모든 문항들이 각각의 잠재요인에서 0.5 이상의 높은 요인 적재치를 보여주었으며, 이들 모두 유의미한 것으로 나타났다. 이러한 결과는 제시된 변인들의 수렴 타당성을 확보할 수 있다는 것을 나타낸다.
05)로 보아도 적합도가 많이 떨어진다[11]. 그래서 모형의 적합도 개선을 위해 수정지수를 살펴본 결과 보수적 기준을 적용하여 수정지수 값을 10이상으로 하게 되면, DB 활용성, 사업 유용성 문항에서 수정지수가 10 이상이 되어 문제가 되는 것으로 나타났다. 이는 이들 2개 문항들이 의도했던 요인 외에 다른 요인들에도 높은 상관정도를 보이는 것을 의미하는 잠재요인들 간의 단일 차원성 형성을 훼손시킬 우려가 있다는 것을 의미한다[21].
또한, 학술적인 접근뿐만 아니라 민간차원에서도 정보시스템의 투자효과를 보여줄 수 있는 지표의 개발이 더욱 더 중요한 시점이라 판단된다. 따라서 본 논문의 기여도차원에서 살펴보면, 측정지표들을 발전시킴으로써 유사분야의 민간부분에 적용할 수 있으며, 공공부분에서는 효과성 측정지표에 대한 사업효과를 객관적으로 도출할 수 있다. 장기적 관점으로는 사업효과간의 비교측면도 가능할 것이라 판단된다.
판별타당성을 확보하기 위해서는 각 잠재변인의 평균추출분산 값이 그 변인을 포함하고 있는 모든 상관계수의 제곱 값들보다 높아야 한다. 분석결과 모든 요인의 평균추출분산 값(0.7～0.9)에 분포들이 각 변인을 포함하고 있는 모든 변인간 상관계수의 제곱 값들(0.4～0.5) 보다 높은 값을 가졌다. 이러한 결과는 본 연구의 주요변인들이 판별 타당성을 확보할 수 있다는 사실을 확인시켜주고 있다.
신뢰성 분석을 통해 내적일관성 여부를 판단하였는데, 조사자료 모두 신뢰성 계수가 높게 나왔다. 또한 복합요인신뢰성이 0.
연구모형의 전체적인 구조 모형(overall model)을 검증한 결과 χ2에 따른 유의도는 .05보다 높아 적합도 유의성은 떨어지며 Q(기준치 ≤2), AGFI(기준치 ≥0.80), CFI(기준치 ≥0.90), RMESEA(기준치 ≤0.05)로 보아도 적합도가 많이 떨어진다[11].
위에서 지적된 2개 문항(DB 활용성, 사업 유용성)을 삭제하고 확인요인분석을 다시 실행한 결과 에서 볼 수 있듯이 수정모형의 적합도 지수가 개선되었다.
<표 10>은 이러한 기존 측정지표 타당성 검증 방법론에 대한 개선정도를 정리하였으며, 이는 기존의 한계점을 대부분 개선하였고 특히, 정성적 지표검증 한계점과 지표개발 이후, 측정지표의 타당성과 신뢰성 검증 부분에 대한 한계점 개선이 크게 나타났다.
적용된 타당성 검증의 정량적 지표검증(신뢰도, 수렴 타당성, 판별 타당성 검증) 결과, 모든 지표에서 타당성은 검증되었다. 그러나 수렴 타당성 부분에서 DB 활용성과 사업 유용성의 지표자체에 대한 내용 타당성 검증이나 지표개선이 필요한 것으로 검토된다.

후속연구

하지만, 본 연구가 다른 공공부문 정보화사업에도 신뢰성이 보장될 수 있는지에 대해서는 추가 연구가 이루어져야 할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	공공정보시스템이란 무엇인가?	공공정보시스템이란 공공정보를 수집·가공·저장·검색하기 위한 기기 및 소프트웨어의 조직화된 체계[25]로서, 공공정보시스템을 통해 서비스되는 행정정보 DB는 기대한 목적을 달성하였는지와 유용성을 평가하여 향후 사업의 지속성에 관한 의사결정에 도움을 주고, 사업 결과물의 수준 및 문제점을 피드백하기 위하여 성과평가를 시행하고 있다.
	공공정보시스템을 통해 행정정보DB구축사업의 성과평가를 위한 타당성을 검증하는 방법으로 어떤 방법을 사용하였는가?	타당성 검증을 하는 방법으로는 다음과 같은 4가지 방법을 사용하여 시행하였다. 첫째 내용 타당성(Content validity)을 검증하기 위해 관련 분야에 대한 문헌연구를 통한 문항 추출, 문항에 대한 전문가 검증 분석, 둘째 신뢰성 검증을 위한 개별항목과 전체항목간의 상관관계 및 크론바하 α(Cronbach alpha)를 통한 내적 일관성(Internal Consistency)과 신뢰도 분석, 셋째 수렴 타당성(Convergent Validity)을 검증하기 위해 구조방정식 모형을 통한 유의미한 요인 적재치에 대한 분석, 넷째 판별 타당성(Discriminant Validity)을 검증하기 위해 요인별 상관분석(Correlation analysis)을 하였다. 내용 타당성 검증은 정성적 분석이 필요한 부분으로 모델개발에 따른 측정지표 개발시에 적용된다.
	행정정보DB구축사업의 고객성과는 무엇을 나타내는가?	행정정보DB구축사업의 고객성과는 DB를 이용하는 국민이나 이용기관에서 이용의 접근성, 이용의 편리성, 정보의 활용성, 이용 만족도 등을 통해 사업의 효과를 점검하는 지표이며, 업무성과는 DB를 활용함으로써 정보의 공유, 사업의 필요성 등을 평가한다. 기술성과는 사용자의 요구 반영이나 구축된 DB에 대한 신뢰도 등을 평가하는 지표이다.

참고문헌 (25)

Straub, D.W. 'Validating Instruments in MIS Research,' MIS Quartely, (13:2), 1989, pp.147-169

상세보기
DeLone, W.H., McLean, E.R., (1992). 'The Delone and McLean model of information systems success: a ten-year update,' Journal of Management information Systems, Vol.19, No.4, pp.9-30, 2003

상세보기
Carr, N.G. 'IT Doesn't Matter,' Harvard Business Review, May, 2003, pp.41-49
행정자치부, .2006년도 행정정보DB구축사업의 성과점검 보고서., 2007
한국전산원, .정보공공활용사업 추진지침 개발., 2000
한국전산원, .행정정보DB구축사업 성과관리모델연구., 2005
(사)한국기업경영학회 춘계 학술발표대회, .정보화지원사업의 통합적 성과평가모형 개발., 2005
Jacoby, Jacob. 'A consumer Research : A state of the Art Review,' Journal of Marketing, 40(July 1976), 17-28
Gilbert A. Churchill, JR. (1979) 'A paradigm for developing better measures of marketing construct' Journal of Marketing Research Vol.XVI(February 1979), pp.64-73

상세보기
Cook, Thomas D. and Donald T.Compbell(1979) Quais-Experimentation ; Design and Anlysis for Field Settings, Chicago:Rand-McNally
Cronbach,Lee J. and R.E. Snow(1977), Aptitudes and Instructional Methods: A Handbook for Research on Interactions.New York:Irvington
Baumgartner and Homburg..C.(1996). Applications of structural equation modeling in marketing and consumer research : A review. Internatioal Journal of Researchin Marketing. 13(2). pp.139-161

상세보기
N. Venkatraman & John H.Grant.(1996). Construct Measurement in Organization Strategy Research :A Critique and Proposal. Academy of Management Review. Vol.11, No.1, pp.71-87

상세보기
Marie-Claude Boudreau, Boudreau et al./ Instrument Va;idation. Vol.25, No.1, pp.1-16, March, 2001
정국환 외, .공공정보화 성과평가 방법론 연구., 2007
임규건 외, .산업인력정보화 성과분석., 2007
송희준 외, .교육정보화 성과분석., 2007
최영찬 외, .농림정보화 성과분석., 2007
유시형, 유해영, '공공 정보화사업에 대한 통합성과평가모델 개발과 적용에 관한 연구', 정보처리학회논문지D, Vol.15-D, No.3, pp.387-389, June, 2008

원문보기 상세보기
Hair, Jr., J. F., Anderson, R. E., Tatham, R. L., Black, W. C. .Multivariate Data Analaysis. Prentice-Hall, 5th ed, 1998
Segars, A(1997). Assessing the unidimensionality of mesearement : A paradigm and illustration within the context of information system research omega, 25(1), pp.107-121

상세보기
Fornell,C..& Larcker,D.F.(1981). Evaluating structurall equation model with unobservable variables and measurement error. Journal of Marketing Research.18(1), pp.39-50

상세보기
Hamilton, S. & N.L Chervany, 'Evaluating Information system effectiveness Part I, II : Comparing Evaluation Approach', MIS Quarterly, 1981
한국법제연구원 .정보시스템 구축.운영과 입법과제., 2005
김상욱 외, .정보시스템과 경영., 2006

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증