선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- VTT는 카이자승(Chi-square) 분포를 따르며, 너무 많은 수의 표본 수는 적은 효과크기(Effect Size)에도 유의한 결과를 도출하기 때문에 150～200개가 적당하다고 한다[14, 34]. 따라서 본 연구에서는 200개를 무작위 추출하여 VTT를 수행했으며, VTT를 계산하기 위해 필요한 것은 모형의 공분산(implied Covariance Matrix)과 표본의 공분산(Sample Covariance Matrix)이기 때문에 SEM 분석 통계패키지인 AMOS 18.0에 의하였다. VTT 분석 결과는 <표 6>과 같으며, ‘시스템 활용도’ 변수는 형성적 구성변수로서 변수의 측정지표들이 1%의 유의수준(p < 0.
- 본 연구는 이러한 한계를 극복하기 위해 앞 절에서 살펴 본 반영적 구성변수에 대비한 형성적 구성변수의 이론적 및 실증분석적 측면의 특성을 감안하여 형성적 구성변수 및 측정지표를 개발하는 이론적으로 타당하고 구체적인 지침을 도출 · 제시하고자 한다.
- 본 연구는 형성적 구성변수와 반영적 구성변수를 정확히 식별하는 방안과 구성변수의 유형에 적합한 타당도 검증 방안을 도출함으로써 정보시스템 연구분야에서 형성적 구성변수 및 측정지표가 합리적으로 개발되고 보다 적정하게 활용될 수 있는 기반을 마련하고자 한다.
- 본 연구의 가장 큰 의의는 구성변수 유형의 식별 규칙과 타당도 검증방법을 학제간 연구를 통하여 체계적으로 정리하여 지침으로 도출·제시하고 정보화지원사업 성과평가시의 평가항목 및 측정지표 개발에 적용해 본 것이다.
- 이러한 문제점을 극복하기 위해 본 연구에서는 현재까지 여러 연구자들이 제시한 형성적 구성변수와 반영적 구성변수간의 차이를 체계적으로 종합함으로써 이론적 측면과 실증분석적 측면에서 두 변수 유형간의 차이를 규명하고 이러한 차이에 근거한 형성적 구성변수 및 측정지표 개발지침을 도출하고자 한다.
제안 방법
- “시스템 활용도” 변수 및 측정지표들의 내용타당도는 본 연구가 2차 자료로서 자료를 획득한 원천 연구의 변수조작화 과정에서 충분한 문헌 및 이론 고찰이 이루어졌기 때문에 이미 내용타당도는 확보되었다고 보았으며, 변수의 구조모형 설정은 “시스템 활용도” 변수가 형성적 구성변수인 것으로 식별되었기 때문에 “시스템 활용도”의 전역 측정지표(global indicator) 1개와 “시스템 활용도” 변수와 인과관계가 있는 다른 두 변수들의 전역측정지표 차용한 MIMIC 모형으로 설정함으로써 공분산기반의 구조모형 적용시에 발생할 수 있는 식별 문제에 대처하였다.
- 그리고 MIMIC 모형검증을 위한 LISREL 명령문(Syntax)을 구현하면 <표 4>와 같으며, 이를 통해 다음의 3단계로 검증을 행한다. 즉, 1) 적합도 지수, 즉 RMSEA, GFI, NNFI, CFI를 각각 확인하여 기준치를 상회하는지 확인한다. 그리고 2) 경로계수 값이 유의미하지 않은 지표는 t값의 절대치가 낮은 순서로 한 번에 하나씩 제거한다.
- 자료 수집 후 단계에서의 절차들인 1) 내적일관성을 검증 2) 구성타당도를 검증 및 3) 외적타당도 검정을 위해 다음의 분석을 실시하였다.
- 그리고 2) 경로계수 값이 유의미하지 않은 지표는 t값의 절대치가 낮은 순서로 한 번에 하나씩 제거한다. 3) 제거 이후 반영적 구성변수로 구성하였을 때 도출된 적합도 지수와 비교하여 향상되었는지 확인한다.
- [4]은 Petter et al.[3]의 검증 단계에 형성적 구성변수 설정 시 발생할 수 있는 문제점 2가지, 해석적 혼돈(interpretational confounding)과 외적 일관성(external consistency)을 고려하고 이러한 문제점을 해결하는 방안을 검증 단계에 포함시켰다. 이 두 연구는 전통적인 반영적 구성변수에 대한 측정모형의 타당도 검증 방법론 못지않게 견고한 지침을 제시했다는 것에 의의가 크다.
- 그리고 MIMIC 모형검증을 위한 LISREL 명령문(Syntax)을 구현하면 와 같으며, 이를 통해 다음의 3단계로 검증을 행한다.
- 각 구성변수에 대한 VTT 결과 p값이 유의한 수준으로 나오면, 그 구성변수는 반영적 구성변수보다 형성적 구성변수의 특징을 가질 개연성이 있다고 볼 수 있다. 따라서 개연성이 있는 구성변수 중심으로 다중공선성 검정을 실시한다.
- 본 연구에서 검증 대상으로 선택한 정보화지원 사업 성과평가항목인 “시스템 활용도”의 변수 유형 식별과 타당도 검증을 위하여 에서 제시한 단계에 따라 분석 및 검증을 실시하였다.
- “시스템 활용도”는 다음의 <표 7>에서 나타난 바와 같이 <표 5>의 4가지 식별규칙에 근거하여 볼 때 “시스템 활용도”를 구성하고 있는 모든 측정지표들에 있어서 ‘아님’(N：No)으로 나타남으로써 “시스템 활용도”와 동 항목 내 측정지표들은 형성적 구성변수 및 측정지표인 것으로 식별될 수 있었다. 식별규칙 적용과정상에서 주관성을 배제하고 객관성을 보장하기 위해 정보시스템 평가 관련 전문가 및 실무자 3명(본 연구자, 경영정보학과 교수 1명, 박사 2명)과 나누어 동시에 분석하였다. 자료수집 전의 두 번째 단계로 “시스템 활용도” 변수의 내용 타당도 검증과 적정한 구조모형 설정을 행하였다.
- 이를 위해 형성적 구성변수에 대한 측정모형의 타당도 검증 시 고려해야 하는 핵심적인 검증사항은 내용 타당도(content validity), 내적 일관성(internal consistency), 구성 타당도(construct validity) 및 외적 타당도(external validity) 등 4가지이며[3, 4], 각 검증사항별로 충족시키는 방안을 도출함으로써 형성적 구성변수 및 측정지표 개발을 위한 지침을 도출하고자 한다.
- 자료수집 전에 실시해야할 절차 중 첫 번째 단계로, 이론적 고려사항을 통해 구성변수의 유형(형성적 또는 반영적 구성변수)을 식별하였다. “시스템 활용도”는 다음의 <표 7>에서 나타난 바와 같이 <표 5>의 4가지 식별규칙에 근거하여 볼 때 “시스템 활용도”를 구성하고 있는 모든 측정지표들에 있어서 ‘아님’(N：No)으로 나타남으로써 “시스템 활용도”와 동 항목 내 측정지표들은 형성적 구성변수 및 측정지표인 것으로 식별될 수 있었다.
- 자료수집 전의 두 번째 단계로 “시스템 활용도” 변수의 내용 타당도 검증과 적정한 구조모형 설정을 행하였다.
- 즉, 반영적 구성변수의 측정지표로는 “시스템 활용도”의 후행변수들로 알려져 있는[1] “운영적 기여도”와 “정책적 기여도”의 측정지표들 중에서 각각 전역측정지표를 선정하였고, “시스템 활용도” 변수의 전역측정지표를 모형내에 포함하였다.
대상 데이터
- 1차 자료는 2002년부터 2004년까지 3년 동안 시행한 정보화지원사업의 지원대상기관(수혜기관)들의 경영층을 대상으로 설문 조사를 통해 수집된 것이다. 우편, 이메일, 팩스 그리고 직접방문 등을 통해 자료를 수집했으며, 총 표본 수는 284개다.
- 본 연구의 검증에 필요한 표본프레임으로는 정보화지원사업 유형들 중 정보시스템과 성과 평가와 관련이 있는 ‘시스템 구축사업’을 선택하였다.
- 상기 도출한 형성적 구성변수 및 측정지표 개발 지침을 정보화지원사업 성과 평가항목 및 측정지표 개발에 적용하기 위해 본 연구에서는 2차 자료(secondary data)를 사용하였다. 즉, 본 연구에서 사용한 2차 자료는 「중소기업 정보화지원정책 성과 평가체계 연구」[1] 결과로부터 수집하였다.
- 1차 자료는 2002년부터 2004년까지 3년 동안 시행한 정보화지원사업의 지원대상기관(수혜기관)들의 경영층을 대상으로 설문 조사를 통해 수집된 것이다. 우편, 이메일, 팩스 그리고 직접방문 등을 통해 자료를 수집했으며, 총 표본 수는 284개다.
- 상기 도출한 형성적 구성변수 및 측정지표 개발 지침을 정보화지원사업 성과 평가항목 및 측정지표 개발에 적용하기 위해 본 연구에서는 2차 자료(secondary data)를 사용하였다. 즉, 본 연구에서 사용한 2차 자료는 「중소기업 정보화지원정책 성과 평가체계 연구」[1] 결과로부터 수집하였다.
데이터처리
- “시스템 활용도”의 외적 일관성과 구성타당도를 검정하고자 LISREL 8.72로 MIMIC 모형 검증을 실시하였으며, 그 결과는 [그림 4]와 같이 나타났다.
- SPSS 18.0을 활용하여 다중공선성 검증을 실시하였다. 분산팽창계수(VIF)가 3.
이론/모형
- 내적일관성을 검증하기 위해 Vanishing Tetrad Test(이하 VTT)를 실시하였다. VTT는 카이자승(Chi-square) 분포를 따르며, 너무 많은 수의 표본 수는 적은 효과크기(Effect Size)에도 유의한 결과를 도출하기 때문에 150～200개가 적당하다고 한다[14, 34].
- 또한 내적 일관성은 구성변수 내에 측정지표들이 서로 상관성이 있는 정도를 측정하는 것으로 형성적 구성변수는 측정 지표들 간에 높은 상관 수준을 가정하지 않는다. 이에 대한 검증방법은 Bollen and Ting[12]의 Vanishing Tetrad Test와 분산팽창지수(VIF)를 확인하는 방법이다.
성능/효과
- 1) “사회적 편견”을 구성하는 측정지표가 성별, 인종, 교육이라고 할 때, 성별, 인종, 교육에 따라 “사회적 편견”이 달라지는 것이지, “사회적 편견”이 성별, 인종 및 교육을 바꾸는 것이 아니다.
- 즉, 1) 적합도 지수, 즉 RMSEA, GFI, NNFI, CFI를 각각 확인하여 기준치를 상회하는지 확인한다. 그리고 2) 경로계수 값이 유의미하지 않은 지표는 t값의 절대치가 낮은 순서로 한 번에 하나씩 제거한다. 3) 제거 이후 반영적 구성변수로 구성하였을 때 도출된 적합도 지수와 비교하여 향상되었는지 확인한다.
- [31]의 SAS 매크로를 제안한다.4) Ting 교수의 VTT 방식은 상쇄되는 Tetrad 값을 육안으로 식별하여 선택하여야 하는데, 새로운 SAS 매크로는 자동화되어 번거롭지 않고, 비율척도 뿐만이 아니라 명목척도를 가진 자료로도 적용할 수 있는 장점이 있다.
- VTT 분석 결과는 과 같으며, ‘시스템 활용도’ 변수는 형성적 구성변수로서 변수의 측정지표들이 1%의 유의수준(p < 0.01) 하에서 내적일관성을 확보하고 있는 것으로 나타났다.
- [8]은 구성변수의 오류분시 I종 오류와 II종 오류가 발생한다고 주장하였고 Petter et al.[3]은 좀 더 자세하게 I종 및 II종 오류가 발생하는 상황을 내생변수와 외생변수로 나누어 구분하였는데 형성적으로 사용해야할 구성변수가 잘못 분류되어 반영적 구성변수로 사용될 경우, 그 구성변수가 내생변수일 경우에는 경로계수 값이 낮아지는 편의(bias)를 가지며(영향이 있음에도 없다고 판정되는 II종 오류), 만약 외생변수일 경우에는 경로계수 값이 높아지는 편의(영향이 없음에도 있다고 판정되는 I종 오류)를 가지게 됨을 밝히고 있다.
- SAS 매크로를 시행할 때 필요한 자료는 implied covariance matrix와 sample covariance matrix로 LISREL이나 AMOS를 사용하면 쉽게 구할 수 있다. 각 구성변수에 대한 VTT 결과 p값이 유의한 수준으로 나오면, 그 구성변수는 반영적 구성변수보다 형성적 구성변수의 특징을 가질 개연성이 있다고 볼 수 있다. 따라서 개연성이 있는 구성변수 중심으로 다중공선성 검정을 실시한다.
- 또한 MIMIC 모형 검증결과, 형성적 구성변수내 모든 측정지표의 경로계수가 잠재변수와 유의한 관계가 있음을 확인함으로써 형성적 구성변수로서의 “시스템 활용도”의 구성타당도가 확보됨이 입증되었고, 전역측정지표로 향하는 경로계수 및 후행변수의 측정지표들로 향하는 경로계수가 모두 통계적으로 유의하게 나타나 “시스템 활용도” 변수 및 측정지표의 외적 타당성이 확보됨을 검증할 수 있었다.
- 게다가 이러한 문제를 타개하고자 연구자들이 형성적 구성변수를 도입하려고 하여도 그 타당성을 검정하는 방법론이 정착되어 있지 않아, 형성적 구성변수라는 주장이 요인분석 실패 시 궁핍한 변명으로 오해를 받을 수 있기 때문에도 많은 연구자들이 형성적 구성변수 도입을 꺼려하는 경우도 있어 왔다. 본 연구결과를 통해 연구자들이 구성변수 타당도 검증시 어려움을 느끼던 구성변수 식별 규칙을 명확히 제시함으로써 연구목적에 부합하는 올바른 구성변수를 선택 혹은 개발할 수 있도록 도움을 줄 수 있으며, 선택된 구성변수의 타당성을 합리적으로 검증할 수 있는 지침을 제시함으로써 현상에 대한 보다 진실에 가까운 측정지표(measurement)를 개발할 수 있는 방법론적 기반을 공고히 하였다고 할 수 있다.
- 본 연구의 가장 큰 의의는 구성변수 유형의 식별 규칙과 타당도 검증방법을 학제간 연구를 통하여 체계적으로 정리하여 지침으로 도출·제시하고 정보화지원사업 성과평가시의 평가항목 및 측정지표 개발에 적용해 본 것이다. 아울러 형성적 구성변수의 단점이 될 수 있는 독특한 특징(해석적 혼돈 및 외적 일관성 등)이 정보화지원사업 성과 평가 영역에 큰 문제가 없음을 검증하였다.
- 그리고 7년 후에 Bollen and Ting[12]은 VTT를 반영적 구성변수와 형성적 구성변수를 판별할 수 있는 형태로 확장하였다. 이 검증 방법의 장점은 형성적 구성변수의 경우, 경로계수의 식별 문제로 일반적인 구조방정식의 적합도 검증 기법을 사용할 수 없었는데, VTT의 경우에는 식별 문제없이 적합도를 검정할 수 있다는 장점이 있다.
- 5) 기술통계 옵션에 ‘다중공선성 진단’을 체크하면 전역변수와의 인과관계와 공차한계 값이 동시에 출력이 된다. 이 결과를 참고하여 각각의 측정지표들이 전역측정지표(global item) 또는 후행지표와 유의한 상관관계와 각각의 공차한계 값이 0.35를 상회하는지를 체크하고 높은 값 순으로 삭제하여 반복 실시한다.
후속연구
- 그러나 본 연구는 조직 및 기업단위의 자료조사가 개인 연구에서는 다소 부담이 되어 2차적 자료를 사용할 수밖에 없는 상황적 한계로 인해 식별 규칙에 근거하여 도출된 구성변수에 정확하게 적합한 자료를 사용하지 못함으로써 본 연구에서 도출된 형성적 구성변수의 개발 지침의 타당성 및 합리성을 확보함에 있어서 한계가 있었다. 즉, 구성변수가 올바르게 설정된 인과모형과 오분류된 인과모형을 서로 대조한 결과를 통계적으로 제시하지 못하였기 때문에 도출된 개발지침 자체에 대한 실증적 타당성을 엄격하게 확보하지 못하였다.
- 이러한 실체 혹은 실물인 합성변수를 기존의 추상적 개념인 반영적 구성변수로 다루는 것은 바람직하지 않다. 따라서 합성변수의 다른 이름, 다시 말해 형성적 구성변수의 타당도를 입증할 수 있는 지침(방법론)을 본 연구에서 제시함으로써 향후 정보화 성과평가분야에 관한 연구가 제1종 오류 또는 제2종 오류를 범하지 않고 적정하게 이루어 질 수 있는 기틀을 마련하였다는데 큰 의미가 있다.
- 이와 같은 본 연구의 한계점을 극복하기 위해 향후 연구에서는 IS 부문의 성과평가와 관련된 구성변수를 형성 및 반영적인 특성을 기준으로 구분하여 새롭게 자료를 수집하여 구성변수 및 측정지표를 개발함으로써 IS 성과 평가에 대한 평가항목 및 측정지표 체계화를 이루고, IS 성과 평가 도메인의 왜곡되지 않은 인과관계를 포착할 수 있는 기반을 만들어 나가야 할 것이다. 또한 본 연구에서 도출 · 제시된 구성변수 및 측정지표 개발지침 자체의 타당성에 대한 실증적 분석에 있어서 통계적 유의성을 확보하여야 할 것이다.
- 이와 같은 본 연구의 한계점을 극복하기 위해 향후 연구에서는 IS 부문의 성과평가와 관련된 구성변수를 형성 및 반영적인 특성을 기준으로 구분하여 새롭게 자료를 수집하여 구성변수 및 측정지표를 개발함으로써 IS 성과 평가에 대한 평가항목 및 측정지표 체계화를 이루고, IS 성과 평가 도메인의 왜곡되지 않은 인과관계를 포착할 수 있는 기반을 만들어 나가야 할 것이다. 또한 본 연구에서 도출 · 제시된 구성변수 및 측정지표 개발지침 자체의 타당성에 대한 실증적 분석에 있어서 통계적 유의성을 확보하여야 할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.