[국내논문]길포드의 지능구조모형에 의한 정보활용능력 검사도구 개발 및 타당성 연구 A Study on the Development and Validation of the Information Literacy Test by Guilford's Structure of Intellect Model원문보기
정보활용교육을 효과적으로 전개하기 위해서는 피교육자의 능력을 진단, 측정하고 교육목표의 도달 여부를 판단할 수 있는 검사도구가 필수적이다. 그럼에도 불구하고 초 중등 학생들의 정보활용능력을 종합적으로 측정할 수 있는 검사도구가 미흡한 실정이다. 이에 본 연구에서는 중학생의 정보활용능력 측정을 위한 웹기반의 표준화된 검사도구를 개발하고, 검사도구의 신뢰도와 타당성을 검증하였다. 검사도구의 개발을 위해서 우선 정보활용능력의 구성요인을 추출하고, 길포드의 지능구조모형과 메이커의 학습능력 측정도구를 바탕으로 정보활용능력 검사도구의 프레임을 개발하였다. 본 연구를 통해 개발한 검사도구는 웹 기반의 선다형 30문항으로 구성되어 있으며, 794명의 중학생들을 대상으로 검사를 시행하여 문항의 난이도, 신뢰도, 변별력 지수, 타당도 등을 분석하였다. 또한, 검사도구를 이용하여 학생들의 정보활용능력을 진단하고, 평가하기 위한 표준 점수를 제시하였다.
정보활용교육을 효과적으로 전개하기 위해서는 피교육자의 능력을 진단, 측정하고 교육목표의 도달 여부를 판단할 수 있는 검사도구가 필수적이다. 그럼에도 불구하고 초 중등 학생들의 정보활용능력을 종합적으로 측정할 수 있는 검사도구가 미흡한 실정이다. 이에 본 연구에서는 중학생의 정보활용능력 측정을 위한 웹기반의 표준화된 검사도구를 개발하고, 검사도구의 신뢰도와 타당성을 검증하였다. 검사도구의 개발을 위해서 우선 정보활용능력의 구성요인을 추출하고, 길포드의 지능구조모형과 메이커의 학습능력 측정도구를 바탕으로 정보활용능력 검사도구의 프레임을 개발하였다. 본 연구를 통해 개발한 검사도구는 웹 기반의 선다형 30문항으로 구성되어 있으며, 794명의 중학생들을 대상으로 검사를 시행하여 문항의 난이도, 신뢰도, 변별력 지수, 타당도 등을 분석하였다. 또한, 검사도구를 이용하여 학생들의 정보활용능력을 진단하고, 평가하기 위한 표준 점수를 제시하였다.
The test instrument utilized to diagnose and evaluate a trainee's ability are necessary for an effective information literacy education. Nevertheless, there is a lack of a standardized test instrument to comprehensively measure students' information literacy. The purpose of this study is to develop ...
The test instrument utilized to diagnose and evaluate a trainee's ability are necessary for an effective information literacy education. Nevertheless, there is a lack of a standardized test instrument to comprehensively measure students' information literacy. The purpose of this study is to develop a standardized test instrument to evaluate the information literacy of middle school students, and to verify the reliability and validity of the test instrument. For this purpose, this study selected factors that can show the information literacy and developed an information literacy test framework that was designed based on Guilford's SOI model and Meeker's SOI-LA test. The test instrument that was developed through this study is a 30-item Web-based multiple-choice test. This study administrated tests in middle school students (794 students joined), and analyzed difficulty, reliability, discrimination index, validity of tests, and reviewed tests items to qualify the standardized test. The cutoff score was also decided when using these tests as a diagnostic information literacy assessment.
The test instrument utilized to diagnose and evaluate a trainee's ability are necessary for an effective information literacy education. Nevertheless, there is a lack of a standardized test instrument to comprehensively measure students' information literacy. The purpose of this study is to develop a standardized test instrument to evaluate the information literacy of middle school students, and to verify the reliability and validity of the test instrument. For this purpose, this study selected factors that can show the information literacy and developed an information literacy test framework that was designed based on Guilford's SOI model and Meeker's SOI-LA test. The test instrument that was developed through this study is a 30-item Web-based multiple-choice test. This study administrated tests in middle school students (794 students joined), and analyzed difficulty, reliability, discrimination index, validity of tests, and reviewed tests items to qualify the standardized test. The cutoff score was also decided when using these tests as a diagnostic information literacy assessment.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서 본 연구 에서는 에 제시된 4개의 요인을 바탕으로 정보활용능력 측정을 위한 지필 검사도구 개발에 활용하고자 한다.
본 연구에서 개발한 검사도구를 통해 개인별 정답 개수는 파악할 수 있으나 자신이 획득한 점수가 어느 정도 수준에 있는가 하는 상대적인 위치 파악이 불가능하다. 따라서 본 연구에서는 특정 집단의 점수분포에서 한 개인의 상대적 위치를 나타내는 백분위수에 의거 표준화 점수를 제시하고자 한다.
검사도 구의 신뢰도를 구하는 방법으로는 상관계수에 의한 방법, 재검사 신뢰도, 동형검사 신뢰도, 반분 신뢰도, 문항내적 일치도 등이 있다. 본 연구 에서는 문항내적 일치도와 반분 신뢰도를 적용하고자 한다. 문항내적 일치도는 한 검사 내에 있는 문항 하나하나를 각각 독립된 별개의 검사로 간주하여 문항 간 일관성을 측정하는 방법이며, 반분 신뢰도는 한 검사 또는 시험을 한 개의 집단에 실시한 다음 그 검사의 문항을 동형이 되도록 두 개의 검사로 나눈 다음 두 부분에서 얻은 점수들이 어느 정도 일치하는가를 상관계수를 통해 추정하는 방법이다.
중학생을 대상으로 실제 검사해 본 결과 각각의 문항이 해당하는 문항 유형에 속하는가를 확인하는 것은 개발한 검사도구의 타당도와 관련되어 있다. 본연구에서는 검사도구의 타당도를 검증하기 위해서 요인분석과 구조방정식 모형에 의한 정보활용능력 검사도구 개발을 위한 프레임을 바탕으로 적합성 분석을 시행하였다.
이에 본 연구는 중학생의 정보활용능력을 종합적으로 측정, 진단할 수 있는 웹 기반의 표준 화된 검사도구를 개발하고, 검사도구의 타당성을 확보하는 데 목적이 있다. 검사도구 개발을 위해서 정보활용과정 모형을 바탕으로 정보 활용능력의 구성요인을 도출하고, 심리학자인 Guilford의 지능구조모형과 이를 응용한 Meeker의 SOI-LA 모형을 바탕으로 정보활용능력을 종합적으로 측정할 수 있도록 검사도구 프레임을 개발하였다.
이에 본 연구는 초․중등학생 특히, 중학생의 정보활용능력을 종합적으로 측정, 진단할 수 있는 웹 기반의 표준화된 검사도구를 개발하고, 검사도구의 신뢰도와 타당도를 분석하는데 목적을 두었다. 일반적인 검사도구는 지능검사(IQ) 와 같이 초등학교 저학년과 고학년, 중학생, 고등학생 등으로 구분하여 정보활용능력 검사도구를 개발해야 하지만 본 연구에서는 우선 중학생 수준의 검사도구를 개발하였다.
제안 방법
12개 유형의 문항을 2개씩 묶어서 6가지 유형으로 구분하고, 정보활용능력의 범위를 정보 탐색 및 접근, 정보분석 및 해석, 정보종합 및 표현 영역으로 구분하여 문항 곤란도를 분석한 결과는 과 같다.
본 연구를 통해 개발한 30문항 4지 선다형 정보활용능력 검사도구는 현행 중학교의 교과서를 참고하여 검사 내용의 난이도를 조절하였으며, 인터넷의 웹을 활용하여 온라인으로 검사할 수 있도록 하고, 웹의 특성을 살려 인쇄자료, 영상자료, 전자자료 등의 정보자료를 검사 문항에 포함시켰다. 개발한 검사도구는 대전․충남지역의 중학생 61명을 대상으로 예비 검사를 실시하여 문항의 난이도와 변별력을 검증한 후 미진한 검사 문항을 수정․보완하였다. 수정․보완한 검사도구는 서울․수도권, 대전․충남권, 대구․경북권, 광주․전남권 등 권역별로 8개 중학교를 선정하 고, 학교별로 2학급(60)을 표집하여 총 794여명의 중학생을 대상으로 검사도구를 적용(본 검사)하였다.
검사기간은 2012년 12월 17일부터 2013년 1 월 5일까지 사서교사의 담당 수업시간이나 학생들의 여건을 고려하여 자유롭게 검사를 실시하였다. 검사시간은 중학교의 1차시 수업 시간을 고려하여 45분 동안에 이루어졌다.
일반적인 검사도구는 지능검사(IQ) 와 같이 초등학교 저학년과 고학년, 중학생, 고등학생 등으로 구분하여 정보활용능력 검사도구를 개발해야 하지만 본 연구에서는 우선 중학생 수준의 검사도구를 개발하였다. 검사도구 개발을 위해서 우선, ISP(Information Search Process), Big Six Skills, ACRL 등의 정보활용과정으로부터 정보활용능력의 구성요인을 추출하고, 심리학자인 Guilford의 지능구조모형을 바탕으로 정보활용능력 구성요인을 재배치하여 정보활용능력을 종합적으로 측정할 수 있도록 검사도구 문항의 프레임(문항 수 결정 및 영역 배치)을 개발하였다. Guilford는 인간의 지적능력 즉, 지능을 내용(투입), 조작(과정), 결과(산 출) 등 세 가지 요소의 상호작용으로 보고, 이를 바탕으로 지능을 측정, 검사할 수 있는 지능구조 모형을 제시한 바 있다.
이에 본 연구는 중학생의 정보활용능력을 종합적으로 측정, 진단할 수 있는 웹 기반의 표준 화된 검사도구를 개발하고, 검사도구의 타당성을 확보하는 데 목적이 있다. 검사도구 개발을 위해서 정보활용과정 모형을 바탕으로 정보 활용능력의 구성요인을 도출하고, 심리학자인 Guilford의 지능구조모형과 이를 응용한 Meeker의 SOI-LA 모형을 바탕으로 정보활용능력을 종합적으로 측정할 수 있도록 검사도구 프레임을 개발하였다. 검사도구 프레임을 바탕으로 검사도구로 활용할 30문항을 개발하고, 예비 테스트를 거쳐 문항 곤란도와 문항 변별도가 떨어지는 7문항을 수정, 보완하였다.
검사도구 문항의 문항곤란도와 문항변별도를 분석하기 위해서 미국 오하이오 주립대학교에서 개발하여 인터넷에 공개한 TAP프로그램을 적용하였다. TAP 프로그램은 문항 분석 도구로서 문항별 정답과 정답지의 개수, 문항별도 피검자들이 반응한 데이터를 입력하고 분석하면 자동으로 문항별 곤란도와 변별도 등을 계산해 준다.
검사도구 개발을 위해서 정보활용과정 모형을 바탕으로 정보 활용능력의 구성요인을 도출하고, 심리학자인 Guilford의 지능구조모형과 이를 응용한 Meeker의 SOI-LA 모형을 바탕으로 정보활용능력을 종합적으로 측정할 수 있도록 검사도구 프레임을 개발하였다. 검사도구 프레임을 바탕으로 검사도구로 활용할 30문항을 개발하고, 예비 테스트를 거쳐 문항 곤란도와 문항 변별도가 떨어지는 7문항을 수정, 보완하였다. 최종적으로 개발한 30개, 4지선다형 문항을 온라인 웹사이트에 탑재한 후 794명을 대상으로 본 검사를 실시하고, 데이터를 수집하였다.
검사도구를 개발하기 위해서 당초 설정한 ‘SOI 모형에 의한 정보활용능력 검사도구의 프레임’은 30개 문항을 문자-수렴-단위(TCU), 문자- 확산-단위(TDU) 등 12개 유형으로 구분하였다.
그 후 1988년에 초기의 SOI 모형을 수정․보완하여 내용 차원을 5개(시각, 청각, 상징, 의미, 행동), 인지적 작용 차원 6개(인지, 기억저장, 기억파지, 확산, 수렴, 평가), 결과의 차원 6개(단위, 종류, 관계, 체계, 변환, 함축)로 분류하여 180(5×6×6) 의 요인으로 구성된 지능구조모형을 제시하였다 (Guilford 1988, 1-4).
다섯째, 3차원 즉, 투입(정보) 차원, 과정(작 용) 차원, 산출(결과) 차원의 하위 요인을 조합 하여 문자-수렴-단위(TCU), 감각-수렴-단위 (MCU) 등 12개의 정보활용능력 검사도구의 문항을 구분하였다.
둘째, SOI 모형의 내용 차원에 포함된 하위 요인 5개를 2개 즉, 문자(Text)와 감각(Multimedia)으로 구분하여 단순화하였다. SOI에서 내용 차원을 시각적, 청각적, 상징적, 의미론적, 행동적 내용으로 구분하고 있으나 이를 모두 반영하여 정보활용능력 검사문항을 개발하는데 어려움이 있고, 실제 5개의 영역을 명확하게 구분하는데 한계가 있음을 고려한 것이다.
이는 본 연구에서 설정한 ‘검사도구의 프레임’의 12가지 유형과는 거리가 있고, 명확하게 요인을 구분하기 어렵다는 한계를 보였다. 따라서 확인적 요인분석만으로 검사도구의 적합성을 검증하는 데 한계가 있어서 AMOS의 구조방정식 모형을 통해 적합도를 검증하였다. <표 2>에서 제시한 12개 유형으로 검증하지 않고, ‘TCU/TDU’, ‘MCU/MDU’ 등 2가지씩 묶어서 6가지 유형으로 구분하여 적합도를 검증하였다.
본 연구를 통해 개발한 정보활용능력 검사도구는 12개 유형으로 구성되어 있으며, 유형 별로 문항을 2-3개씩 배정하여 총 30문항으로 구성하였다. 문항수가 많으면 정보활용능력의 각 유형이나 12개 문항 유형에 따른 다양한 문항을 출제할 수 있다는 장점이 있으나 중학생 수준에서 집중도와 신뢰도가 떨어질 수 있다는 점을 감안하여 30문항으로 출제하였다.
Guilford의 지능구조모 형에 맞춰 정보활용능력 검사도구의 프레임을 형성하면 정보활용능력의 모든 구성요인을 누락시키지 않고, 종합적으로 검사문항을 배치, 개발할 수 있다는 장점이 있다. 본 연구를 통해 개발한 30문항 4지 선다형 정보활용능력 검사도구는 현행 중학교의 교과서를 참고하여 검사 내용의 난이도를 조절하였으며, 인터넷의 웹을 활용하여 온라인으로 검사할 수 있도록 하고, 웹의 특성을 살려 인쇄자료, 영상자료, 전자자료 등의 정보자료를 검사 문항에 포함시켰다. 개발한 검사도구는 대전․충남지역의 중학생 61명을 대상으로 예비 검사를 실시하여 문항의 난이도와 변별력을 검증한 후 미진한 검사 문항을 수정․보완하였다.
kr)에 탑재하여 데이터를 수집하였다. 본 연구를 통해 개발한 정보활용능력 검사도구는 12개 유형으로 구성되어 있으며, 유형 별로 문항을 2-3개씩 배정하여 총 30문항으로 구성하였다. 문항수가 많으면 정보활용능력의 각 유형이나 12개 문항 유형에 따른 다양한 문항을 출제할 수 있다는 장점이 있으나 중학생 수준에서 집중도와 신뢰도가 떨어질 수 있다는 점을 감안하여 30문항으로 출제하였다.
본 연구에서 개발하고자 하는 정보활용능력 검사도구의 기본 프레임은 SOI와 SOI-LA 를 바탕으로 하되, 다음과 같은 원칙을 적용하 였다.
본 연구에서 개발한 정보활용능력 검사문항은 총 30문항으로 구성하였으며, 12개 유형의 프레임에 의거 2-3개씩 문항을 개발하였다. 본 연구에서 개발한 정보활용 능력 검사도구는 중학생을 대상으로 하며, 중학 생용 정보활용능력 검사도구는 수준을 다소 낮추면 초등학생에 적용할 수 있고, 수준을 다소 높이면 고등학생에 적용할 수 있도록 고려하였다.
<표 2>에 제시한 SOI 모형을 응용한 정보활용능력 검사도구의 프레임을 바탕으로 실제 검사 문항을 개발하였다. 본 연구에서 개발한 정보활용능력 검사문항은 총 30문항으로 구성하였으며, 12개 유형의 프레임에 의거 2-3개씩 문항을 개발하였다. 본 연구에서 개발한 정보활용 능력 검사도구는 중학생을 대상으로 하며, 중학 생용 정보활용능력 검사도구는 수준을 다소 낮추면 초등학생에 적용할 수 있고, 수준을 다소 높이면 고등학생에 적용할 수 있도록 고려하였다.
셋째, SOI 모형의 3차원 구조 중 인지적 작용 차원은 과정(작용) 차원으로 명칭을 전환하고, SOI의 6가지 하위 요인을 수렴과 확산으로 압축하였다. 수렴에는 인지, 기억(저장), 기억(파 지), 수렴 활동에 해당하는 요소를 배치하였고, 확산에는 확산 및 평가 활동을 배치하였다. 수렴에 해당하는 검사문항은 주어진 정보의 범위 내에서 정답을 고를 수 있는 것이고, 확산에 해당하는 검사문항은 주어진 정보의 범위를 넘어 창의성을 발휘해야 해결할 수 있는 문항을 배치 하였다.
<표 2>에 제시한 SOI 모형을 응용한 정보활용능력 검사도구의 프레임을 바탕으로 실제 검사 문항을 개발하였다. 본 연구에서 개발한 정보활용능력 검사문항은 총 30문항으로 구성하였으며, 12개 유형의 프레임에 의거 2-3개씩 문항을 개발하였다.
에서 제시한 12개 유형으로 검증하지 않고, ‘TCU/TDU’, ‘MCU/MDU’ 등 2가지씩 묶어서 6가지 유형으로 구분하여 적합도를 검증하였다.
본 연구를 통해 개발한 30문항은 2012년 7월 23일부터 27일에 걸쳐 대전광역시 B중학교 1학급 32명, 충청남도 지역에 소재한 C중학교 1학급 29명 총 61명을 대상으로 예비 테스트를 시행하였다. 예비 테스트 결과 문항곤란도와 문항변별도가 0.2(20%)-0.8(80%)의 범위를 벗어난 2, 3, 4, 11, 15, 16, 30번 등 7문항은 수정, 보완 과정을 거쳐 최종 검사도구의 문항을 개발하였다.
본 검사의 실시는 온라인으로 시행하였으며, 표집 학교의 교사(사서교사)의 도움을 받았다. 온라인으로 검사 데이터를 수집하고, 수집한 데이터를 바탕으로 신뢰도와 타당도를 분석하였으며, 구조방정식 모형(AMOS)을 통해 검사도구의 적합성을 검증하였다.
이 프레임을 바탕으로 정보활용능력을 종합적으로 측정할 수 있는 검사도구 30문항을 개발한 후 현직교사 및 전문 교수의 자문을 통해 문항을 수정, 보완하여 최종 검사문항을 완성하였다. SPSS와 문항분석 도구(TAP; Test Analysis Program)를 활용하여 검사도구 문항의 타당도와 신뢰도 등을 분석하였다.
중등학생 특히, 중학생의 정보활용능력을 종합적으로 측정, 진단할 수 있는 웹 기반의 표준화된 검사도구를 개발하고, 검사도구의 신뢰도와 타당도를 분석하는데 목적을 두었다. 일반적인 검사도구는 지능검사(IQ) 와 같이 초등학교 저학년과 고학년, 중학생, 고등학생 등으로 구분하여 정보활용능력 검사도구를 개발해야 하지만 본 연구에서는 우선 중학생 수준의 검사도구를 개발하였다. 검사도구 개발을 위해서 우선, ISP(Information Search Process), Big Six Skills, ACRL 등의 정보활용과정으로부터 정보활용능력의 구성요인을 추출하고, 심리학자인 Guilford의 지능구조모형을 바탕으로 정보활용능력 구성요인을 재배치하여 정보활용능력을 종합적으로 측정할 수 있도록 검사도구 문항의 프레임(문항 수 결정 및 영역 배치)을 개발하였다.
전국 8개 학교의 중학생으로부터 수집한 데이터는 Win SPSS 한글판 19버전과 AMOS19, 문항분석 도구인 TAP 프로그램으로 분석하였 다. SPSS로는 기본적인 기술통계와 신뢰도 분석을 실시하고, 집단 간의 평균의 차이를 검증하기 위해 일원배치 분산분석(ANOVA) 분석을 시행하였다.
정보활용능력의 구성요인을 추출하고, Guilford 의 지능구조(SOI) 모형을 바탕으로 정보활용능력 검사도구 개발을 위한 프레임을 개발하였다.
현행 중학교의 교과서(국어, 사회, 과학, 예능 등)를 참고하여 검사 내용의 난이도를 조절하였으며, 인터넷의 웹을 활용하여 온라인으로 검 사할 수 있도록 사이트(http://iltest.kr)를 개설하고, 웹의 특성을 살려 인쇄자료, 영상자료, 전자자료 등 모든 형태의 정보자료를 검사 문항에 포함시켰다. 예를 들어서, 웹상에 동영상 자료를 탑재하여 피검사자들이 시청토록 하고, ‘동영상 자료의 중심생각으로 적절한 것은?’과 같이 묻고, 4지선다형 중에 선택할 수 있도록 개발하였다.
대상 데이터
전라지역 등 권역별로 8개 중학교를 선정하고, 학교별로 2-4학 급을 표집하여 총 837명을 대상으로 하였다. 837 명의 중학생으로부터 수집한 데이터 중에서 성의없이 모두 동일한 번호를 체크하거나 중간에 정답이 누락된 항목이 있는 데이터 등 통계분석에 어려움이 있는 43명의 데이터는 삭제하고, 794 명의 학생으로부터 수집한 데이터를 대상으로 분석하였다.
권역별로 선정한 8개의 중학교는 사서교사가 배치되어 있는 학교를 중심으로 선정하였으며, 사서교사로 하여금 본 연구에서 수행하고자 하는 검사의 취지를 충분히 설명하고, 8개 학교의 컴퓨터실이나 학교도서관 등 인터넷이 가능한 PC가 설치되어 있는 곳에서 검사를 진행하도록 하였다.
예를 들어서, 웹상에 동영상 자료를 탑재하여 피검사자들이 시청토록 하고, ‘동영상 자료의 중심생각으로 적절한 것은?’과 같이 묻고, 4지선다형 중에 선택할 수 있도록 개발하였다. 본 연구를 통해 개발한 30문항은 2012년 7월 23일부터 27일에 걸쳐 대전광역시 B중학교 1학급 32명, 충청남도 지역에 소재한 C중학교 1학급 29명 총 61명을 대상으로 예비 테스트를 시행하였다. 예비 테스트 결과 문항곤란도와 문항변별도가 0.
19로 25개 이상을 획득하면 1등 급, 10개 미만을 획득하면 9등급으로 판정할 수 있을 것이다. 본 연구를 통해 개발한 정보활용능력 검사도 구는 중학생을 대상으로 한다. 현장의 사서교사들이 이 검사도구를 활용하여 학생들의 정보활용능력을 측정, 진단함으로써 효과적으로 수업을 설계하고, 수업을 진행한 후에 정보활용교육의 성취도를 평가하는데 도움이 될 것으로 본다.
본 연구에서 사용한 정보활용능력 검사도구는 Guilford의 SOI와 Meeker의 SOI-LA 모형에 의한 프레임을 바탕으로 본 연구자가 개발한 30개, 4지선다형 문항을 온라인 웹사이트 (http://iltest.kr)에 탑재하여 데이터를 수집하였다. 본 연구를 통해 개발한 정보활용능력 검사도구는 12개 유형으로 구성되어 있으며, 유형 별로 문항을 2-3개씩 배정하여 총 30문항으로 구성하였다.
본 연구에서 수행한 정보활용능력 검사는 서울․경기․인천 지역, 대전․충청 지역, 대구․ 경상․울산․부산지역, 광주․전라지역 등 권역별로 8개 중학교를 선정하고, 학교별로 2-4학 급을 표집하여 총 837명을 대상으로 하였다. 837 명의 중학생으로부터 수집한 데이터 중에서 성의없이 모두 동일한 번호를 체크하거나 중간에 정답이 누락된 항목이 있는 데이터 등 통계분석에 어려움이 있는 43명의 데이터는 삭제하고, 794 명의 학생으로부터 수집한 데이터를 대상으로 분석하였다.
서울․경기․인천 지역 등 권역별로 8개 중학교에서 837명의 중학생으로부터 수집한 정보활용능력 검사 데이터 837개 중 무의미한 데이터를 삭제하고, 794명분의 데이터를 분석하였다. 794명의 중학생에 대한 인구학적 특성을 분석한 결과는 <표 4>와 같다.
개발한 검사도구는 대전․충남지역의 중학생 61명을 대상으로 예비 검사를 실시하여 문항의 난이도와 변별력을 검증한 후 미진한 검사 문항을 수정․보완하였다. 수정․보완한 검사도구는 서울․수도권, 대전․충남권, 대구․경북권, 광주․전남권 등 권역별로 8개 중학교를 선정하 고, 학교별로 2학급(60)을 표집하여 총 794여명의 중학생을 대상으로 검사도구를 적용(본 검사)하였다. 본 검사의 실시는 온라인으로 시행하였으며, 표집 학교의 교사(사서교사)의 도움을 받았다.
검사도구 프레임을 바탕으로 검사도구로 활용할 30문항을 개발하고, 예비 테스트를 거쳐 문항 곤란도와 문항 변별도가 떨어지는 7문항을 수정, 보완하였다. 최종적으로 개발한 30개, 4지선다형 문항을 온라인 웹사이트에 탑재한 후 794명을 대상으로 본 검사를 실시하고, 데이터를 수집하였다.
데이터처리
전국 8개 학교의 중학생으로부터 수집한 데이터는 Win SPSS 한글판 19버전과 AMOS19, 문항분석 도구인 TAP 프로그램으로 분석하였 다. SPSS로는 기본적인 기술통계와 신뢰도 분석을 실시하고, 집단 간의 평균의 차이를 검증하기 위해 일원배치 분산분석(ANOVA) 분석을 시행하였다. 검사도구의 적합성을 검증하기 위해서 SPSS로 요인분석을 실시하였고, 요인 분석 외에 검사도구 모형의 적합성을 검증하기 위해서 AMOS의 구조방정식 모형을 추가로 적용하였다.
이 프레임을 바탕으로 정보활용능력을 종합적으로 측정할 수 있는 검사도구 30문항을 개발한 후 현직교사 및 전문 교수의 자문을 통해 문항을 수정, 보완하여 최종 검사문항을 완성하였다. SPSS와 문항분석 도구(TAP; Test Analysis Program)를 활용하여 검사도구 문항의 타당도와 신뢰도 등을 분석하였다.
SPSS로는 기본적인 기술통계와 신뢰도 분석을 실시하고, 집단 간의 평균의 차이를 검증하기 위해 일원배치 분산분석(ANOVA) 분석을 시행하였다. 검사도구의 적합성을 검증하기 위해서 SPSS로 요인분석을 실시하였고, 요인 분석 외에 검사도구 모형의 적합성을 검증하기 위해서 AMOS의 구조방정식 모형을 추가로 적용하였다.
이론/모형
문항 변별도를 계산하는 방법은 다양하나 문항 변별도 지수(Item Discrimination Index; DI)와 양류 상관계수(Point Biserial Correlation Coefficient)로 측정하고자 한다. 문항 변별도 지수는 상위집단에서의 정답자수를 Ru, 하위집단의 정답자수를 Rl, 상위집단과 하위집단의 총사례수를 f라 할 때 문항 변별도 지수는 ‘DI= (RU-RL))/f’로 계산한다.
성능/효과
05 이하로 나타나서 통계적으로 유의하지 않았다. CMIM/DF는 2 이하일 때 연구모형이 적합하다고 판단하며, 본 연구 모형은 1.97로 적합도 기준을 충족하고 있다. RMR과 RMSEA는 0에 가깝고, 0.
넷째, SOI 모형 3차원 구조 중 결과 차원은 산출(결과) 차원으로 명칭을 전환하고, 단위와 종류 요인은 단위로, 관계와 체제는 관계로, 변형 및 함축은 함축으로 단순화하였다.
넷째, 검사도구의 양호도를 분석한 결과, 검사도구 문항의 곤란도는 모두 20-80%의 범위 안에 있어서 양호함을 보이고 있으며, 문항 변별도 또한 모두 .30 이상으로 문제가 없는 것으로 나타났다. 다만, 양류 상관계수가 .
다섯째, 본 연구에서 개발한 검사도구를 통해 수집한 피검사자의 점수를 바탕으로 표준화를 시도한 결과 백분위수 4등급으로 보면 25% 미만의 표준화 점수는 13.19로 매우 미흡에 해당하고, 13-16점은 미흡, 17-19점은 보통, 20-26 점은 우수, 27점 이상은 매우 우수로 판정할 수 있고, 백분위수 9등급으로 보면 90% 이상의 표준화 점수는 25.19로 25개 이상을 획득하면 1등 급, 10개 미만을 획득하면 9등급으로 판정할 수 있을 것이다. 본 연구를 통해 개발한 정보활용능력 검사도 구는 중학생을 대상으로 한다.
둘째, 본 연구를 통해 개발한 검사도구의 크론바하 알파 계수는 .858로 매우 높게 나타났으며, SPSS를 이용하여 반분 신뢰도를 분석한 결과 부분간의 상관계수가 .598로 보통 이상의 일치도를 보이고 있다.
셋째, 본 연구에서 설정한 ‘정보활용능력 검사도구의 프레임’의 적합성을 검증하기 위해서 SPSS를 이용, 요인분석을 시행한 결과, 검사도 구의 30개 문항이 5개 요인으로 구분할 수 있었으나 ‘SOI 모형을 응용한 정보활용능력 검사 도구의 프레임’의 12가지 유형과는 거리가 있고, 명확하게 요인을 구분하기 어려웠다. 따라서 AMOS의 구조방정식 모형을 통해 검사도구 적합성을 검증한 결과, RMSEA 지수 외에 CMIM/DF, RMR, GFI, AGFI, CFI, NFI 지수는 모두 적합한 것으로 나타났다.
따라서 Guilford의 지능구조모형에 맞춰 정보활용능력 검사도구의 프레임을 형성하면 정보활용능력의 모든 구성요인을 누락시키지 않고, 종합적으로 검사문항을 배치, 개발할 수 있다는 장점이 있다. 다만 정보활용능력 측정을 위한 검사도구 개발에 있어서 Guilford가 제시한 180 문항은 다소 문항수가 많기 때문에 구성 요인의 손실을 최소화함과 동시에 적정 문항수를 개발할 수 있도록 검사도구 프레임을 개발할 필요가 있다.
따라서 RMSEA 지수 외에 ‘SOI 모형을 응용한 정보활용능력 검사도구의 프레임’의 적합 성은 높은 수준은 아니지만 수용할 만한 수준에 도달하고 있음을 확인할 수 있다.
598로 보통 이상의 일치도를 보이고 있다. 따라서 검사도구의 문항내적 일치도와 반분 신뢰도를 계산한 결과 검사도구의 신뢰도에는 문제가 없음을 확인할 수 있다.
먼저, SPSS를 이용하여 검사도구의 30개 문항이 동일한 요인으로 묶이는가를 확인하기 위해서 요인분석을 시행한 결과 ‘감각․문자(MT) -확산․수렴(CD)-함축․관계(IR)’, ‘감각․문 자(MT)-확산․수렴(CD)-단위․관계(UR)’ 등 5개 요인으로 구분할 수 있었다.
본 연구에서 개발한 검사도구에 의거 794명의 중학생을 대상으로 정보활용능력을 측정한 결과 평균 30점 만점에 17.39이고 최소값 7, 최대값 30, 중앙값은 18로 각각 나타났다. 이를 바탕으로 4등급과 9등급으로 구분하여 백분위수를 구한 결과는 <표 11>과 같다.
본 연구에서 개발한 검사도구의 문항내적 일치도를 검증하기 위해 크론바하 알파(α) 계수를 적용한 결과는 30문항 전체에 대한 크론바하 알파계수는 .858로 나타났다.
셋째, SOI 모형의 3차원 구조 중 인지적 작용 차원은 과정(작용) 차원으로 명칭을 전환하고, SOI의 6가지 하위 요인을 수렴과 확산으로 압축하였다. 수렴에는 인지, 기억(저장), 기억(파 지), 수렴 활동에 해당하는 요소를 배치하였고, 확산에는 확산 및 평가 활동을 배치하였다.
셋째, 본 연구에서 설정한 ‘정보활용능력 검사도구의 프레임’의 적합성을 검증하기 위해서 SPSS를 이용, 요인분석을 시행한 결과, 검사도 구의 30개 문항이 5개 요인으로 구분할 수 있었으나 ‘SOI 모형을 응용한 정보활용능력 검사 도구의 프레임’의 12가지 유형과는 거리가 있고, 명확하게 요인을 구분하기 어려웠다.
<표 10>에서 보는 바와 같이 문항 유형별로 곤란도를 분석한 결과 모두 20-80%의 범위 안에 있어 유형별로 곤란도가 적절한 문항이 출제 되고 있으며, 정보활용능력의 내용 영역별로 볼 때에도 정보탐색 및 접근, 정보분석 및 해석, 정보종합 및 표현 영역 모두 문항 곤란도 지수의 양호도 범위에 위치하고 있음을 알 수 있다.
<표 8>에서 보는 바와 같이 본 연구에서 개발한 검사도구 문항의 곤란도는 모두 20-80% 의 범위 안에 있어서 양호함을 보이고 있다. 다만, 6번 문항과 8번 문항은 각각 문항 곤란도 지수가 .
지역별로 피검사자간의 평균 차이를 일원배치 분산분석(ANOVA) 에 의거 분석한 결과 다른 지역에 비해 ‘광주․ 전라’ 지역의 평균이 16.62로, 1점정도 떨어지는 것으로 나타났으며, 통계 검정 값 F에 의한 유의 확률은 .046으로 유의수준 .005에서 통계 적으로 유의미하였다.
첫째, 794명의 피검사자를 대상으로 지역별, 성별로 평균의 차이가 있는가를 조사한 결과 30 점 만점에 약 1점정도 차이가 있는 것으로 나타났고, 통계적으로도 유의미한 것으로 나타났다. 그러나 표준화된 검사도구라 하더라도 실제 검사에서 차이가 있을 수 있기 때문에 검사도구의 신뢰도와 타당도를 분석하는 데는 문제가 없다고 판단하였다.
첫째, SOI 모형의 3차원 구조를 적용하되, 정보활용과정 및 정보처리의 흐름을 쉽게 이해할 수 있도록 투입(정보) 차원, 과정(작용) 차원, 산출(결과) 차원으로 전환하였다.
후속연구
본 연구를 통해 개발한 검사도구는 문항 곤란도와 문항 변별도를 바탕으로 보다 정교하게 수정, 보완할 필요가 있으며, 향후 개인별, 집단별로 표준화된 점수는 물론 영역별로 강점과 약점을 쉽게 확인할 수 있도록 검사도구 사이트를 구체화할 필요가 있다.
본 연구에서 개발한 검사도구를 통해 개인별 정답 개수는 파악할 수 있으나 자신이 획득한 점수가 어느 정도 수준에 있는가 하는 상대적인 위치 파악이 불가능하다. 따라서 본 연구에서는 특정 집단의 점수분포에서 한 개인의 상대적 위치를 나타내는 백분위수에 의거 표준화 점수를 제시하고자 한다.
이정연 등은 정보활용능력의 기준과 범위를 설정하여 평가영역 및 평가문항을 설계함과 동시에 대학생들의 현재 정보활용능력의 수준을 진단하고 분석하여 정보활용능력 개발을 위한 평가모형을 제시하고 있다(이정연, 정동열 2005). 이 연구는 정보활용능력 검사도구를 개발하기 위한 기초 자료로 활용할 수 있으나 직접적으로 피교육자의 정보활용능력 검사도구로 활용하는 데는 한계가 있다. 박명규는 고등학생의 정보활용능력 평가를 위해서 논술평가, 지필시험 등으로 구분하여 평가문항의 사례를 제시하고 있다 (박명규 2005).
본 연구를 통해 개발한 정보활용능력 검사도 구는 중학생을 대상으로 한다. 현장의 사서교사들이 이 검사도구를 활용하여 학생들의 정보활용능력을 측정, 진단함으로써 효과적으로 수업을 설계하고, 수업을 진행한 후에 정보활용교육의 성취도를 평가하는데 도움이 될 것으로 본다.
질의응답
핵심어
질문
논문에서 추출한 답변
모든 검사도구 개발에 있어서 표준화는 왜 중요한 의미를 갖는가?
모든 검사도구 개발에 있어서 표준화는 중요한 의미가 있다. 표준화는 누가, 언제 검사하더 라도 동일한 절차, 동일한 채점 방식을 적용하 고, 결과 및 해석의 통일성을 지향한다. 또한, 표준화는 모집단에 대한 평균치나 어떤 기준을 기초로 척도화하여 원점수의 상대적인 비교 평가가 가능하다는 장점이 있다.
정보활용교 육이 핵심과제로 떠오른 계기는 무엇인가?
1970년대 초반에 정보활용능력(IL; Information Literacy)이란 말이 처음 등장하였고, 1989 년에 미국도서관협회(ALA)에서 정보활용능력에 대한 개념과 기준을 정립하면서 정보활용교 육은 도서관과 문헌정보학계의 핵심 과제로 부상하고 있다. 국내․외를 막론하고 학교도서관, 대학도서관, 공공도서관 및 평생교육기관에서 정보활용능력 신장을 위한 다양한 교육 프로그 램이 운영되고 있음에도 불구하고 정보활용능 력을 진단하고, 정보활용교육의 성과를 측정할수 있는 표준화된 검사도구가 미흡한 실정이다.
정보활용교육을 효과적으로 전개하려면 무엇이 요구되는가?
국내․외를 막론하고 학교도서관, 대학도서관, 공공도서관 및 평생교육기관에서 정보활용능력 신장을 위한 다양한 교육 프로그 램이 운영되고 있음에도 불구하고 정보활용능 력을 진단하고, 정보활용교육의 성과를 측정할수 있는 표준화된 검사도구가 미흡한 실정이다. 정보활용교육을 효과적으로 전개하기 위해서는 피교육자의 능력을 진단, 측정하고 교육목표의 도달 여부를 판단할 수 있는 검사도구가 필수적 이다. 이러한 검사도구의 필요성에 의해서 초․ 중등학교 현장에서는 지능(IQ)검사, 적성검사, 학력검사, 성격검사, 흥미검사, 태도검사 등 다양한 형태의 표준화된 검사도구를 개발하여 각종 교육 활동에 활용하고 있다.
참고문헌 (15)
김재숙. 1993. Guilford의 지능구조모형에 의한 다면적 지능검사의 개발 및 타당화 연구. 석사학위논문, 숙명여자대학교 대학원, 교육심리학과. (Kim, Jae Sook. 1993. A Study on Development and Validation of Multifaceted Intelligence Test by Guilford's Structure of Intellect Model. M.A. thesis, Sookmyung Women's University.)
박명규. 2005. 고등학생의 정보활용능력 평가에 관한 연구. 한국비블리아학회지, 16(1): 75-90. (Park, Myung-Kyu. 2005. "An Assessment of the Information Literacy of High School Students in Korea." Journal of the Korean Biblia Society for Library and Information Science, 16(1): 75-90.)
서울대학교 교육연구소. 1998. 교육학 대백과사전. 서울: 하우동설. (Education Research Institute, Seoul National University. 1998. The Encyclopedia of Education. Seoul: Hawoodongserl.)
송인섭. 2011. Guilford의 지능구조모형에 의한 유아 학습능력 검사의 개발 및 타당화 연구. 아동육, 20(2): 33-48. (Song, In Sub. 2011. "Research for Development and Validation of Young Children's Learning Abilities Test Instrument Based on Guilford's SOI Model." Children Education, 20(2): 33-48.)
이병기. 2012. 정보활용교육론. 개정판. 서울: 조은글터. (Lee, Byeong Ki. 2012. Information Literacy Instruction. 2nd. Seoul: Joeunkeulter.)
이정연, 정동열. 2005. 대학생의 정보활용능력 평가모형 개발에 관한 연구. 정보관리학회지, 22(4):39-59. (Lee, Jung-Yeoun, & Jeong, Dong-Youl. 2005. "A Study on the Development of Evaluation Model for Undergraduate Students' Information Literacy." Journal of the Korean Society for information Management, 22(4): 39-59.)
전경원. 1992. Gilford와 Meeker 지능구조 모델: 영재교육에의 적용. 社會科學硏究, 2: 195-213. (Jean, Kyeong Won. 1992. "Sturcture of Intellect of Gilford and Meeker: Application of Gifted Education." Research of Social Science, 2: 195-213.)
Center for Assessment and Research Studies. 2009. Information Literacy Test(ILT). [online]. [cited 2012.11.10]. .
Comrey, Andrew L. 1993. Joy Paul Guilford: A Biographical Memoir. [online]. [cited 2012.2.10]. .
Guilford, J. Paul. 1988. "Some changes in the Structure-of-Intellect model." Education Psychological Measurement, 48: 1-4.
Kent State University. 2007. Standardized Assessment of Information Literacy Skills(SAILS). [online]. [cited 2012.11.10]. .
Kurbanoglu, S. S., Akkoyunlu, B., & Umay, A. 2006. "Developing the information literacy self-efficacy scale." Journal of Documentation, 62(6): 730-743.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.