[논문]초등학생의 시스템 사고 요인 구조 검증과 선호 과목에 따른 시스템 사고 비교

이효녕; 전재돈; 이현동

doi:10.14697/jkase.2019.39.2.161

초등학생의 시스템 사고 요인 구조 검증과 선호 과목에 따른 시스템 사고 비교
Verification the Systems Thinking Factor Structure and Comparison of Systems Thinking Based on Preferred Subjects about Elementary School Students' 원문보기

한국과학교육학회지 = Journal of the Korean association for science education, v.39 no.2, 2019년, pp.161 - 171

이효녕 (경북대학교) , 전재돈 (경북대학교) , 이현동 (대구교육대학교)

초록
AI-Helper

이 연구의 주요 목적은 초등학생의 시스템 사고 요인 구조를 검증하고 초등학생의 선호 과목군에 따른 시스템 사고를 비교하여 추후 연구에 대한 시사점을 얻는 것이다. 이를 위하여 사전 검사에서는 Lee et al.(2013)이 개발한 STMI로 초등학생 732명의 데이터를 수집하였다. 그리고 탐색적 요인분석을 실시하여 초등학생이 STMI를 어떤 요인 구조로 인식하는지를 확인하였다. 그리고 사전 검사 결과를 기초로 전문가 협의회를 거쳐 초등학생들이 STMI가 의도한 5요인 구조에 응답할 수 있도록 검사지를 수정하였다. 사후 검사에서는 수정된 STMI로 초등학생 503명의 데이터를 수집하고 탐색적 요인분석을 실시하였다. 연구 결과는 다음과 같다. 첫째, 사전 검사에서 초등학생들은 STMI를 2개 요인(개인 내적 요인, 개인 외적 요인)으로 구성된 검사지로 응답하였다. 검사지에 대한 전체 신뢰도는 .932였으며 요인별 신뢰도는 .857과 .894로 나타났다. 둘째, 수정된 STMI에 대해서는 초등학생은 4개 요인으로 구성된 검사지로 응답하였다. 초등학생은 팀 학습, 공유 비전, 개인 숙련은 각각 독립된 요인으로 응답하였으며 정신 모델과 시스템 분석을 하나의 요인으로 응답하였다. 전체 검사지에 대한 신뢰도는 .886이었으며 요인별 신뢰는 .686~.864로 나타났다. 셋째, 초등학생의 선호 과목군에 따른 시스템 사고를 비교한 결과 자연과학(공학) 과목군을 선택한 학생들과 예술(예체능)을 선택한 학생들 사이에 유의미한 차이가 나타났다. 결론적으로 초등학생에게 적합한 용어와 문장 구조로 수정된 시스템 사고 검사지를 활용할 경우 시스템 사고를 비교하는 연구에서 통계적으로 유의미한 결과를 얻을 수 있음을 확인하였으며, 추후 선호하는 과목군 등 여러 학생 변인들과 시스템 사고와의 관련성 연구도 이루어질 필요성이 제기된다.

Abstract ▼ AI-Helper

The purposes of this study are: 1) to verify the systems thinking factor structure of elementary school students and 2) to compare systems thinking according to their preferred subjects in order to get implications for following research. For the study, pre-tests analyze data from 732 elementary school students using the STMI (Systems Thinking Measuring Instrument) developed by Lee et al. (2013). And exploratory factor analysis was conducted to identify the factor structure of the students. Based on the results of the pre-test, the expert group council revised the STMI so that elementary school students could respond to the 5-factor structure that STMI intended. In the post-test, 503 data were analyzed by modified STMI and exploratory factor analysis was performed. The results of the study are as follows: First, in the pre-test, elementary school students responded to the STMI with a test paper consisting of two factors (personal internal factors and personal external factors). The total reliability of the instrument was .932 and the reliability of each factor was analyzed as .857 and .894. Second, for modified STMI, elementary school students responded a 4-factor instrument. Team learning, Shared Vision, and Personal Mastery were derived independent factors, and mental model and systems analysis were derived 1-factor. The total reliability of the instrument was .886 and the reliability of each factor was analyzed as .686 to .864. Finally, a comparison of systems thinking according to preferred subjects showed a significant difference between students who selected science (engineering) group and art (music and physical education). In conclusion, it was confirmed that statistically meaningful results could be obtained using STMI modified by term and sentence structure appropriate for elementary school students, and it is a necessary to study the relation of systems thinking with various student variables such as the preferred subjects.

주제어

표/그림 (11)

그림 Figure 1. Procedure of Study
표 Table 1. Information of Participants
표 Table 2. Pre-test Results of the STMI
표 Table 3. Pre-test results of the STMI: Factor coefficients of the exploratory factor analysis
표 Table 4. Information of expert group
표 Table 5. Comparison of STMI and Revision Items
표 Table 6. Post-test result of the revised STMI
표 Table 7. Post-test result: Factor coefficients of the exploratory factor analysis
표 Table 8. Description statistics according to students’ preferred subject
표 Table 9. ANOVA-test result: Systems Thinking according to students’ preferred subject
표 Table 10. Post comparative analysis according to students’ preferred subject

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이 연구는 초등학생 1280명을 대상으로 Lee et al.(2013)가 개발한 시스템 사고 검사 도구(STMI)를 이용하여 초등학생의 시스템 사고 요인 구조를 확인하고자 진행한 연구이다. 사전 검사에서는 고등학생 들을 대상으로 개발된 STMI에 초등학생이 어떻게 응답하는지를 확인하였으며, 사전 검사 결과를 토대로 전문가 협의회를 거쳐 초등학생에게 적합하도록 STMI를 수정⋅보완하였다.
본 연구에서는 Lee et al.(2013)에서 개발한 시스템 사고 검사 도구 (STMI)가 초등학생들의 시스템 사고를 측정하는데 타당한 도구로 활용하고자 초등학생을 대상으로 시스템 사고 요인 구조를 확인해 보았다. 그 결과 사전⋅사후 검사를 통해 초등학생도 적합한 용어와 문장 구조로 STMI에 응답할 경우 5요인 구조로 반응할 수 있다는 결론을 도출할 수 있었다.
셋째, 수정된 STMI로 사후 검사를 실시하여 초등학생이 응답한 요인 구조를 분석하고 나아가 Kim et al.(2014)의 초등학생의 과목 선호도와 이공계 혹은 의학계 진로 선호도와의 관련성을 토대로 선호 과목에 따른 시스템 사고 비교를 통하여 시스템 사고와 다른 변인과의 관련성에 대한 시사점을 얻고자 하였다.
(2018)에 따르면, 시스템 사고는 학생 스스로의 학업에 대한 효능감뿐 아니라 과학 과목에 대한 효능감과도 관련성이 있음을 제시하였다. 따라서 이 연구에서는 초등학생들의 진로 선호와 관련되는 선호 과목군에 따른 시스템 사고 비교를 통해 추후 연구에 대한 시사점을 얻고자 하였다. 선호 과목군에 따른 시스템 사고 비교에서는 사후 검사 대상인 503명의 데이터를 이용하여 선호 과목군을 인문사회 과목군(국어⋅영어⋅사회⋅도덕), 자연과학(공학) 과목군(수학⋅과학⋅실과⋅정보), 예술(예체능) 과목군(체육⋅음악⋅미술⋅창체)로 구분하고 각 과목군을 선택한 학생들의 시스템 사고 평균을 일원변량분석으로 비교하였다(Table 8, 9, 10).
이 연구의 목적은 첫째, 사전 검사에서 고등학생들을 대상으로 개발된 시스템 사고 검사 도구(STMI)를 초등학생이 어떠한 요인 구조로 인식하고 응답하는지를 분석하고자 한다. 둘째, 사전 검사의 응답 결과를 반영하여 STMI의 5요인 구조로 초등학생이 반응할 수 있도록 검사 도구를 수정⋅보완하고자 한다.
3회∼4회까지 진행된 전문가 협의회에서는 STMI 검사지를 초등학생들이 이해할 수 있도록 수정⋅보완하는 과정을 진행하였다. 초등학교 교사들이 학교에서 학생들을 가르치고 상호 작용하였던 경험을 바탕으로 검사지 내에 어려운 용어나 문장 구조에 대한 대안을 제시 하였다. 그리고 수정 후에는 문항의 의미가 달라지지 않는지에 대하여 면밀하게 검토하면서 문장을 다듬어 학생들에게 명료하게 읽히도록 보완하였다(Table 5).

제안 방법

3회∼4회까지 진행된 전문가 협의회에서는 STMI 검사지를 초등학생들이 이해할 수 있도록 수정⋅보완하는 과정을 진행하였다.
STMI가 개발된 이후 이 검사지를 활용하는 정량적 연구에서는 주로 척도가 포함하고 있는 요인별 신뢰도와 평균 비교를 통해 연구 대상자들의 시스템 사고 변화를 분석하였다. 특히 검사지의 구성 요인별 평균 비교(예, t-test)를 분석하기 위한 기본 가정은 연구 대상자 들이 검사지가 의도하는 요인에 반응하였다는 근거가 제시되어야 한다(Seong, 2011; Song, 2011).
신뢰도를 검증한 후 탐색적 요인분석에서는 직교회전 (Varimax)을 이용한 주축 요인 분석을 실시하였다. STMI의 5요인 구조(정신 모델, 개인 숙련, 시스템 분석, 공유 비전, 팀 학습)는 여러 선행 연구에서 확인되었으므로 이 논문에서는 확인적 요인분석(CFA) 을 통한 모형 적합도는 보고하지 않았다. 추가적으로 학생들로부터 받은 정보 중 선호 과목군별 시스템 사고를 ANOVA-test로 비교하였다.
개인 숙련의 문항에서는 ‘고려한다’, ‘진로의 결정’ 용어가 학생들이 읽고 쉽게 이해하기 어렵다고 하여 ‘생각한다’, ‘장래 희망’ 이라는 표현으로 수정하였다.
공유 비전 에서도 ‘수용한다’, ‘긍정적으로 생각한다’, ‘경청한다’, ‘반영한다’ 등의 표현을 학생들이 이해하기 쉬운 표현으로 수정하였다.
, 2013; Lee, 2014). 국내에서 처음 개발되는 시스템 사고 검사 도구이므로 개발 과정에서 내용 타당도와 구인 타당도를 2회 이상에 걸쳐 검증하였다. 그리고 준거 타당도를 검증하기 위한 관련된 여러 척도가 밝혀지지 않았기 때문에 STMI의타당도에 대한 근거를 추가적으로 확보하고자 Lee & Lee(2013)에서 과학 고등학교 학생과 일반계 고등학교 학생 사이의 시스템 사고를 비교하면서 구인 타당도를 검증을 재실시하였고, Lee & Lee(2016)에서는 시스템 사고와 과학적 자기 효능감의 관련성에 대한 가설을 세우고 과학적 자기 효능감 척도의 하위 요인인 자기 조절 효능감과 자신감 사이에 매개 효과를 검증함으로써 준거 타당도에 대한 근거를 제시하였다.
(2018)에서 탐색적 요인분석 및 구조방정식 모형을 활용한 모형 적합도를 검증을 거쳐 타당도가 검증되었다. 그러므로 이 연구에서는 초등학생들의 시스템 사고 요인 구조를 확인하는데 구조 방정식 모형을 통한 모형 적합도 검증은 거칠 필요가 없으므로 탐색적 요인분석을 통하여 요인 구조를 분석하였다. 요인분석 방법으로는 직교 회전(Varimax)를 이용한 주축요인분석을 실시하였으며 요인의 추출은 고유값이 1이상으로 설정 하였다.
초등학교 교사들이 학교에서 학생들을 가르치고 상호 작용하였던 경험을 바탕으로 검사지 내에 어려운 용어나 문장 구조에 대한 대안을 제시 하였다. 그리고 수정 후에는 문항의 의미가 달라지지 않는지에 대하여 면밀하게 검토하면서 문장을 다듬어 학생들에게 명료하게 읽히도록 보완하였다(Table 5).
865)로 나타났으며 편포도는 2이하, 첨도는 7이하로 문항 모두 정상분포 조건을 만족하는 것으로 나타났다(Table 6). 다음으로 STMI의 문항에 대하여 초등학생들이 반응한 요인 구조를 확인하기 위하여 탐색적 요인분석을 실시하였다. 요인 분석 방법은 사전 검사와 같이 직교 회전(Varimax)를 이용한 주축요인분석을 실시하였으며 요인의 추출은 고유값이 1이상으로 설정하였다.
927)로 나타났으며 편포도는 2이하, 첨도는 7이하로 문항 모두 정상분포 조건을 만족하는 것으로 나타났다(Table 2). 다음으로 시스템 사고 검사 도구의 문항에 대하여 초등학생들이 반응한 요인 구조를 확인하기 위하여 탐색적 요인분석을 실시하였다. 5요인 구조의 STMI는 Lee et al.
둘째, 사전 검사 결과를 바탕으로 초등교사 4인과 과학교육 전문가 3인으로 구성된 전문가 협의회를 5회 실시하여 초등학생에게 적합하도록 STMI를 수정⋅보완하였다.
둘째, 사전 검사의 응답 결과를 반영하여 STMI의 5요인 구조로 초등학생이 반응할 수 있도록 검사 도구를 수정⋅보완하고자 한다.
따라서 국어⋅영어⋅사회⋅도덕 과목을 인문사회 과목군, 수학⋅과학⋅실과⋅정보 과목을 자연과학(공학) 과목군, 체육⋅음악⋅미술⋅창체 과목을 예술(예체능) 과목군으로 구분하여 각 과목군 별 시스템 사고를 비교해 봄으로써 진로 계열별 초등학생들의 시스템 사고를 비교하였다.
마지막 5회차 전문가 협의회에서는 수정⋅보완한 전체 20문항에 대하여 기존의 STMI 문항과 비교하여 의미의 변화가 생기지 않도록 수정된 문항에 대한 내용 타당도 검토를 추가적으로 실시하여 사후 검사 용 STMI 문항을 확정하였다.
사전 검사 결과를 토대로 STMI를 초등학생들에게 적합하도록 수정⋅보완을 하기 위해 전문가 협의회를 구성하였다.
(2013)이 개발한 STMI에 초등학생이 어떻게 응답하는지를 분석하였다. 사전 검사 결과를 토대로 초등학교 교사 및 교육 전문가들과 함께 검사 도구를 구성하는 문항의 의미는 변하지 않으면서 초등학생들이 이해할 수 있는 용어나 문장 구조로 검사지를 수정한 후, 수정된 검사지로 사후 검사를 실시하여 초등학생의 시스템 사고 요인 구조를 확인하였다.
사전 검사는 2018년 1∼2월 중, 사후 검사는 2018년 9월∼10월 중 실시하였으며 학생들에게 검사지를 나누어 준 후 30분간 작성하고 바로 회수하도록 하였다.
사전 검사에서는 고등학생 들을 대상으로 개발된 STMI에 초등학생이 어떻게 응답하는지를 확인하였으며, 사전 검사 결과를 토대로 전문가 협의회를 거쳐 초등학생에게 적합하도록 STMI를 수정⋅보완하였다.
0 프로그램을 이용하여 신뢰도 분석(Cronbach-α)과 탐색적 요인분석을 실시하여 데이터를 분석하였으며 수정 전 검사지에 대한 초등학생들의 시스템 사고 요인 구조를 확인하였다. 사전 검사의 분석 결과를 토대로 교육학 석사 및 박사 과정의 초등학교 교사 4인과 과학교육 전문가 3인으로 구성된 전문가 협의회를 실시하였다. 협의 회에서는 사전 검사에 대한 결과를 요약⋅공유한 뒤 STMI에서 초등학생에게 적합하지 않다고 판단되는 용어나 문장 구조를 검토한 후 초등학생이 쉽게 인지할 수 있는 용어나 문장으로 수정⋅보완하는 절차를 진행하였다.
사전 검사에서는 고등학생 들을 대상으로 개발된 STMI에 초등학생이 어떻게 응답하는지를 확인하였으며, 사전 검사 결과를 토대로 전문가 협의회를 거쳐 초등학생에게 적합하도록 STMI를 수정⋅보완하였다. 사후 검사에서는 수정한 STMI를 활용하여 초등학생의 요인 구조 확인 및 선호 과목군에 따른 시스템 사고 차이를 분석하였다.
선호 과목군에 따른 시스템 사고 비교에서는 사후 검사 대상인 503명의 데이터를 이용하여 선호 과목군을 인문사회 과목군(국어⋅영어⋅사회⋅도덕), 자연과학(공학) 과목군(수학⋅과학⋅실과⋅정보), 예술(예체능) 과목군(체육⋅음악⋅미술⋅창체)로 구분하고 각 과목군을 선택한 학생들의 시스템 사고 평균을 일원변량분석으로 비교하였다(Table 8, 9, 10).
시스템 분석에서도 ‘고려한다’, ‘상황이 발생하게 된 배경’, ‘다양한 시각’ 이라는 표현을 쉽게 이해하기 어려울 수 있으므로 ‘생각한다’, ‘상황이 생긴 이유’, ‘다양한 방법’ 이라는 표현으로 수정하였다.
다음으로 STMI의 문항에 대하여 초등학생들이 반응한 요인 구조를 확인하기 위하여 탐색적 요인분석을 실시하였다. 요인 분석 방법은 사전 검사와 같이 직교 회전(Varimax)를 이용한 주축요인분석을 실시하였으며 요인의 추출은 고유값이 1이상으로 설정하였다. 분석 결과, 데이터의 KMO 측도는 .
그러므로 이 연구에서는 초등학생들의 시스템 사고 요인 구조를 확인하는데 구조 방정식 모형을 통한 모형 적합도 검증은 거칠 필요가 없으므로 탐색적 요인분석을 통하여 요인 구조를 분석하였다. 요인분석 방법으로는 직교 회전(Varimax)를 이용한 주축요인분석을 실시하였으며 요인의 추출은 고유값이 1이상으로 설정 하였다. 분석 결과, 주어진 데이터의 KMO 측도는 .
초등교사들이 기존에 개발된 STMI 검사지에서 초등학생들이 어려워 할 수 있는 용어나 문장 구조를 검토하고 수정 의견을 제시하였으며 과학교육 전문가 3인과 초등교사 4인이 수정된 문항에 대하여 의미의 일치성 등 내용 타당도 검증을 실시하여 STMI 검사지를 수정⋅보완하였다.
총 5회에 걸친 전문가 협의회를 통해 초등학생들에게 적용 가능 하도록 수정한 STMI의 내용 타당도를 검증하였으며 수정⋅보완된 STMI를 활용하여 사후 연구를 진행하였다.

대상 데이터

사후 검사에서는 광역시 소재 초등학생 520명을 대상으로 데이터를 수집하였다. 검사 도구에 응답한 520명의 데이터 중 불성실하게 응답하였거나 묵종 경향성을 보인 17명의 데이터를 제외한 503명의 데이터를 이용하여 분석하였으며 그 결과는 Table 6, 7과 같다.
사전 검사에서는 광역시 소재 초등학생 760명을 대상으로 데이터를 수집하였다. 검사 도구에 응답한 760명의 데이터 중 불성실하게 응답하였거나 묵종 경향성을 보인 28명의 데이터를 제외한 732명의 데이터를 이용하여 분석하였으며 그 결과는 Table 2, 3와 같다.
사전 검사에는 총 760명으로부터 검사지를, 사후 검사에서는 520명으로부터 검사지를 회수하였다. 그리고 데이터를 코딩하는 단계에서 결과의 신뢰도에 영향을 줄 수 있는 묵종 경향성이 나타나거나 불성실하게 응답한 검사지를 제외하여 사전 검사는 732명, 사후 검사는 503명의 데이터를 활용하여 분석을 실시하였다(Table 1). 사전 검사에 응답한 학생들은 남학생이 358명(48.
사전 검사에서는 광역시 소재 초등학생 760명을 대상으로 데이터를 수집하였다. 검사 도구에 응답한 760명의 데이터 중 불성실하게 응답하였거나 묵종 경향성을 보인 28명의 데이터를 제외한 732명의 데이터를 이용하여 분석하였으며 그 결과는 Table 2, 3와 같다.
사후 검사에서는 광역시 소재 초등학생 520명을 대상으로 데이터를 수집하였다. 검사 도구에 응답한 520명의 데이터 중 불성실하게 응답하였거나 묵종 경향성을 보인 17명의 데이터를 제외한 503명의 데이터를 이용하여 분석하였으며 그 결과는 Table 6, 7과 같다.
총 5회에 걸친 전문가 협의회를 통해 초등학생들에게 적용 가능 하도록 수정한 STMI의 내용 타당도를 검증하였으며 수정⋅보완된 STMI를 활용하여 사후 연구를 진행하였다. 사후 연구 는 초등학생 520명을 대상으로 사전 연구와 같이 학생과 학부모의 동의를 얻는 절차를 진행한 후 데이터를 수집하였다. 수집된 데이터를 이용하여 사전 검사와 같이 신뢰도 분석 및 탐색적 요인분석을 실하였으며 나아가 학생들의 선호 과목에 대한 시스템 사고 비교도 ANOVA를 이용하여 실시하였다.
전문가 협의회는 2018년 3월부터 7월까지 5회에 걸쳐 진행되었다. 1∼2회까지 진행된 전문가 협의회에서는 사전 검사의 분석 결과를 공유하고, STMI 검사지를 초등학생들이 2요인으로 인식하게 된 근거를 분석하였으며 초등학교 교사를 중심으로 학생들이 어렵게 인식하거나 의도와 다르게 해석할 수 있는 용어 및 문장 구조, 문장을 중점적으로 검토하였다.
초등학교 503명 중 선호 과목을 표시하지 않은 학생 22명을 제외한 481명의 데이터로 분석을 실시하였다. 일원변량분석을 실시하기 전세 그룹의 분산이 같은지 Levene 등분산 검정을 실시 결과 유의 확률이 .
초등학생의 시스템 사고 요인 구조 확인 및 선호 과목에 따른 시스템 사고 비교를 위하여 사전⋅사후 검사 모두 광역시 소재의 초등학교로부터 협조를 얻어 총 1280명으로부터 데이터를 수집하였다.

데이터처리

세 그룹 중 어느 그룹 사이에 유의미한 차이가 있는 알아보기 위하여 사후검정을 실시하였다. 그 결과 자연과학(공학) 과묵군을 선택한 학생들과 예술(예체능) 과목군을 선택한 학생들 사이에 평균 차는 3.
수집된 데이터로 SPSS 24.0 프로그램을 이용하여 신뢰도 분석(Cronbach-α)과 탐색적 요인분석을 실시하여 데이터를 분석하였으며 수정 전 검사지에 대한 초등학생들의 시스템 사고 요인 구조를 확인하였다.
사후 연구 는 초등학생 520명을 대상으로 사전 연구와 같이 학생과 학부모의 동의를 얻는 절차를 진행한 후 데이터를 수집하였다. 수집된 데이터를 이용하여 사전 검사와 같이 신뢰도 분석 및 탐색적 요인분석을 실하였으며 나아가 학생들의 선호 과목에 대한 시스템 사고 비교도 ANOVA를 이용하여 실시하였다.
탐색적 요인분석을 실시하기 전 데이터의 신뢰도를 확인하기 위하여 각 문항의 첨도(< 7)와 편포도(< 2)로부터 정상 분포 조건을 확인하였으며, 검사지 20문항에 대하여 Cronbach-α 값을 분석하였다. 신뢰도를 검증한 후 탐색적 요인분석에서는 직교회전 (Varimax)을 이용한 주축 요인 분석을 실시하였다. STMI의 5요인 구조(정신 모델, 개인 숙련, 시스템 분석, 공유 비전, 팀 학습)는 여러 선행 연구에서 확인되었으므로 이 논문에서는 확인적 요인분석(CFA) 을 통한 모형 적합도는 보고하지 않았다.
이 연구에서는 초등학생들의 시스템 사고 요인 구조를 확인하기 위하여 사전⋅사후 검사에서 SPSS 24.0을 활용하여 탐색적 요인분석 (EFA)를 실시하였다.
STMI의 5요인 구조(정신 모델, 개인 숙련, 시스템 분석, 공유 비전, 팀 학습)는 여러 선행 연구에서 확인되었으므로 이 논문에서는 확인적 요인분석(CFA) 을 통한 모형 적합도는 보고하지 않았다. 추가적으로 학생들로부터 받은 정보 중 선호 과목군별 시스템 사고를 ANOVA-test로 비교하였다. 초등학생들의 선호 과목군은 선호하는 직업군이나 진로 계열로 이어지므로(Kim et al.
탐색적 요인분석을 실시하기 전 데이터의 신뢰도를 확인하기 위하여 각 문항의 첨도(< 7)와 편포도(< 2)로부터 정상 분포 조건을 확인하였으며, 검사지 20문항에 대하여 Cronbach-α 값을 분석하였다.

이론/모형

사전 검사에서는 초등학생 760명을 대상으로 Lee et al.(2013)에서 개발한 시스템 사고 검사 도구(STMI)를 이용하여 데이터를 수집하였다. 수집된 데이터로 SPSS 24.
(2013)이 개발하고 Cho & Hwang(2016), Lee & Lee(2013, 2016) 등에서 구인 타당도, 준거 타당도 등이 검증된 STMI를 활용하였다.
따라서 이 연구에서는 사전 검사에서 Lee et al.(2013)이 개발한 STMI에 초등학생이 어떻게 응답하는지를 분석하였다. 사전 검사 결과를 토대로 초등학교 교사 및 교육 전문가들과 함께 검사 도구를 구성하는 문항의 의미는 변하지 않으면서 초등학생들이 이해할 수 있는 용어나 문장 구조로 검사지를 수정한 후, 수정된 검사지로 사후 검사를 실시하여 초등학생의 시스템 사고 요인 구조를 확인하였다.

성능/효과

그 결과 사전⋅사후 검사를 통해 초등학생도 적합한 용어와 문장 구조로 STMI에 응답할 경우 5요인 구조로 반응할 수 있다는 결론을 도출할 수 있었다.
세 그룹 중 어느 그룹 사이에 유의미한 차이가 있는 알아보기 위하여 사후검정을 실시하였다. 그 결과 자연과학(공학) 과묵군을 선택한 학생들과 예술(예체능) 과목군을 선택한 학생들 사이에 평균 차는 3.037, 유의확률은 .047로 유의수준 .05에서 유의미한 차이가 있었으며 인문사회와 자연과학(공학)을 선택한 학생들과 인문사회와 예술 (예체능)을 선택한 학생들 사이에는 유의미한 차이가 없었다.
기존에 개발되어 활용되고 있는 STMI 검사지의 5요인 구조로 개발되었으며 중학생, 고등학생, 성인들은 이 검사지를 5요인 구조로 인식하는 것이 검증되었다. 하지만 초등학생에게는 이해하기 어려운 용어와 문장 구조가 포함되어 있어 초등학생은 의도한 5 요인으로 검사지에 응답하지 못하였음을 사전 검사를 통해 알 수 있었다.
넷째, 선호하는 과목군에 따른 시스템 사고를 비교한 결과 자연과학(공학) 과목군을 선택한 학생들과 예술(예체능) 과목군을 선택한 학생들 사이에 시스템 사고에 유의미한 차이가 나타났다. 반면 인문 사회와 자연과학(공학) 과목군, 인문사회와 예술(예체능) 과목군을 선택한 학생들 사이에는 유의미한 차이가 나타나지 않았다.
팀 학습과 공유 비전은 집단 내에서 다른 학습자와의 상호 작용에서 나타나는 특징을 구인으로 정의하였기 때문에 초등학생의 경우 세부적으로 받아들이지 않고 하나의 큰 요인으로 반응한 것이라 판단된다. 두 번째 요인은 개인 내적 요인으로 시스템 분석, 정신 모델, 개인 숙련 문항이 모두 포함되어 있었다. 세 요인은 주변 환경과의 상호 작용으로 나타나는 학습자의 변화를 구인으로 정의하였다.
따라서 5요인 구조의 검사지를 초등학생이 어떻게 인식하는지 알아본 사전 검사에서 신뢰도 분석 및 탐색적 요인분석을 실시하여 타당도를 검증한 결과, 전체 20문항의 검사지에 대한 Cronbach-α는 .932로 높은 값을 보여주었으며, 탐색적 요인분석 에서 팀 학습과 공유 비전이 묶여져 제1요인, 시스템 분석, 정신 모델, 개인 숙련이 묶여져 제2요인으로 분석되었다.
반면 개인 내적 요인인 ‘개인 숙련’의 경우 독립된 요인으로 추출된 이유를 분석한 결과 개인 숙련 요인의 경우 주변과의 상호 작용에서 나아가 개인의 목표 설정, 발전 방향, 진로 결정까지도 문항에 포함되어 있기 때문으로 판단된다. 또한 모둠 활동에서 개개인의 상호 작용을 통한 과제의 성공적인 성취와 관련된 팀 학습과 모둠이 나아가야 될 방향에 대한 공유 비전에 대해서는 수정된 검사지로부터 분명히 구분하여 응답한 것을 확인할 수 있었으며 결과적으로 STMI를 총 4개의 요인으로 구성된 검사지로 인식한 것으로 확인된다.
563으로 세 그룹의 분산이 같음을 확인하였다. 분석 결과 인문사회 과목군을 선택한 학생들의 시스템 사고 평균(표준편차)은 70.60(11.23), 자연과학(공학) 과목군을 선택한 학생들의 평균(표준편차)은 70.94(11.31), 예술(예체능) 과목군을 선택한 학생들의 평균(표준편차)은 67.90(11.08)이었다.
요인 분석 방법은 사전 검사와 같이 직교 회전(Varimax)를 이용한 주축요인분석을 실시하였으며 요인의 추출은 고유값이 1이상으로 설정하였다. 분석 결과, 데이터의 KMO 측도는 .893으로 요인 분석에 적합한 데이터로 나타났으며 고유값을 기준으로 한 요인의 수는 4개였다. 4개 요인에 포함된 문항 각각의 Factor loading 값은 .
요인분석 방법으로는 직교 회전(Varimax)를 이용한 주축요인분석을 실시하였으며 요인의 추출은 고유값이 1이상으로 설정 하였다. 분석 결과, 주어진 데이터의 KMO 측도는 .962로 요인분석에 적합한 데이터로 나타났으며 고유값을 기준으로 한 요인의 수는 2개였다. 2개 요인에 포함된 문항 각각의 Factor loading 값은 .
선호하는 과목군에 따라 시스템 사고에 차이가 있는지 알아본 결과세 집단의 평균 차이에 대한 F 통계값이 3.925, 유의확률이 .020으로 유의수준 .05에서 선호 과목군에 따라 초등학생들의 시스템 사고에는 유의미한 차이가 있는 것으로 분석되었다.
셋째, 수정한 STMI로 초등학생의 요인 구조를 분석한 사후 검사 결과에서는 4요인 구조가 나타났다. 전체 20문항의 검사지에 대한 Cronbach-α는 .
수정된 STMI 20문항에 대해 초등학생은 평균(표준편차)은 2.87(1.109)∼3.91(0.865)로 나타났으며 편포도는 2이하, 첨도는 7이하로 문항 모두 정상분포 조건을 만족하는 것으로 나타났다(Table 6).
864로 양호한 값을 보여주었다. 이 결과로부터 STMI를 초등학생들에게 적합한 용어와 문장 구조로 문항을 제시하면 초등학생도 5요인으로 구성된 검사지로 인식하고 반응할 수 있다는 결론을 도출할 수 있다. 다만, 시스템 분석과 정신 모델이 하나의 요인으로 분석된 부분은 다시 검토할 필요가 있다.
하지만 초등학생에게는 이해하기 어려운 용어와 문장 구조가 포함되어 있어 초등학생은 의도한 5 요인으로 검사지에 응답하지 못하였음을 사전 검사를 통해 알 수 있었다. 이를 보완하고자 초등학생들이 이해할 수 있는 용어나 표현으로 검사지를 수정하였고, 수정된 STMI를 통해 살펴본 결과 시스템 사고 5인 구조에 명확하게 응답하지는 않았지만, 정신 모델과 시스템 분석이 하나의 요인으로 묶인 4요인 구조가 나타났다. 따라서 사후 검사에서는 정신 모델과 시스템 분석이 하나의 요인으로 나타났지만 이 연구의 결과를 토대로 두 요인에서 묻는 문항에 대한 추가적인 수정 및 보완이 이루어질 경우 초등학생들로부터도 5요인 구조의 시스템 사고 분석이 가능할 것이다(Table 7).
이에 대하여 초등학생이 전체 검사지에 대하여 개인 내적 요인과 개인 외적 요인으로 나누어 응답한 이유를 용어적으로 분석한 결과, STMI의 문항에서 사용된 단어 중 ‘모둠 학습’, ‘모둠 수업’, ‘토론’, ‘다른 사람들의 의견’ 등 집단 활동 및 수업 상황에 대한 용어에 대하여 ‘Factor 1’으로 일관되게 반응한 것을 알 수 있었다.
분석 결과를 요약하면 다음과 같다. 첫째, 고등학생들을 대상으로 개발한 STMI로 초등학생이 어떻게 응답하였는지 분석한 결과에서 2요인 구조가 도출되었다. Lee et al.
초등학생들이 응답한 STMI 20문항에 대해 평균(표준편차)은 2.94(1.182)∼3.97(0.927)로 나타났으며 편포도는 2이하, 첨도는 7이하로 문항 모두 정상분포 조건을 만족하는 것으로 나타났다(Table 2).
초등학생을 대상으로 수정된 STMI 검사지에 대하여 도출된 요인을 살펴보면 시스템 사고 5가지 요인 중 팀 학습, 공유 비전, 개인 숙련은 독립된 요인으로, 시스템 분석과 정신 모델이 하나의 요인으로 추출되어 총 4개 요인으로 결과가 나타났다. 사전 검사에서는 개인 내적 요인과 외적 요인 나누어 2개 요인으로 반응이 나타났으나 초등학생들에게 적합하도록 용어와 문장 구조를 수정한 STMI에서는 시스템 분석과 정신 모델이 하나의 요인으로 추출된 것 이외에 다른 요인들은 모두 독립된 요인으로 학생들이 반응하였음을 알 수 있다.

후속연구

선행 연구의 문제점을 보완하면서 학생들의 특성을 살펴보는 종단 연구를 수행하기 위해서는 이번 연구에서 수정⋅보완된 STMI 를 활용할 필요성이 있다. 나아가 앞으로 STMI를 이용하여 학생들의 변화를 살펴볼 때 학생들의 진로 성향, 선호 과목 등 다양한 변인을 측정할 수 있는 척도와 함께 연구에 활용할 필요가 있다. 또한 연구에 참여하는 학생들에 대하여 저학년부터 고학년까지 데이터를 지속적으로 확보할 경우 과학 교육에서 학생에게 영향을 주는 중요한 변인으로서의 시스템 사고 특성이 분명하게 밝혀질 것이라 생각한다.
그 결과 사전⋅사후 검사를 통해 초등학생도 적합한 용어와 문장 구조로 STMI에 응답할 경우 5요인 구조로 반응할 수 있다는 결론을 도출할 수 있었다. 나아가 이 도구를 활용하여 초등학생의 시스템 사고와 다른 변인들 사이의 관련성을 분석하는 연구에 활용할수 있음을 밝혔다. 위 결론을 바탕으로 앞으로 진행될 연구에 대한 제언을 하면 다음과 같다.
나아가 초등학생의 특성을 연구하기 위하여 최근 개발된 학업적 탄력성 척도 (Lee, 2016), 읽기 동기 척도(Chung & Choi, 2018), 자기주도학습 능력 척도(Choi & Kim, 2015) 등 다양한 변인들과의 관련성을 살펴보는 연구에 시스템 사고도 포함할 경우 시스템 사고의 특성을 더 구체적으로 밝혀낼 수 있을 것으로 생각한다.
둘째, 초등학교부터 일반인까지 적용 가능한 STMI를 토대로 시스템 사고의 변화와 함께 학생의 진로와의 상관을 밝히는 종단 연구도 이루어질 필요성이 있다. 시스템 사고의 변화와 진로와의 관련성을 살펴본 종단 연구는 현재 국외에 Ben-Zvi Assaraf & Orion,(2005; 2010)의 연구만 진행되어 있다.
이를 보완하고자 초등학생들이 이해할 수 있는 용어나 표현으로 검사지를 수정하였고, 수정된 STMI를 통해 살펴본 결과 시스템 사고 5인 구조에 명확하게 응답하지는 않았지만, 정신 모델과 시스템 분석이 하나의 요인으로 묶인 4요인 구조가 나타났다. 따라서 사후 검사에서는 정신 모델과 시스템 분석이 하나의 요인으로 나타났지만 이 연구의 결과를 토대로 두 요인에서 묻는 문항에 대한 추가적인 수정 및 보완이 이루어질 경우 초등학생들로부터도 5요인 구조의 시스템 사고 분석이 가능할 것이다(Table 7).
본 연구 결과를 토대로 앞으로 지속적인 STMI의 수정⋅보완을 거치면 초등학생으로부터도 충분히 5요인 구조의 시스템 사고 분석 결과를 도출할 수 있을 것으로 판단된다.
선행 연구의 문제점을 보완하면서 학생들의 특성을 살펴보는 종단 연구를 수행하기 위해서는 이번 연구에서 수정⋅보완된 STMI 를 활용할 필요성이 있다.
이러한 문항 제작을 위한 틀과 채점 기준이 있을 경우 학생들의 시스템 사고 수준을 알아볼 수 있는 문항을 다양한 주제에 대하여 개발할 수 있다. 앞으로 시스템 사고 수준을 알아보는 문항에 대한 통계적인 결과와 함께 시스템 사고 검사 도구의 결과를 잘 활용하여 학생들이 갖추어야 할 핵심 역량 향상에 긍정적인 영향을 주는 요인으로서의 시스템 사고 특성을 밝히고 나아가 과학 교육 방향에 대해서도 중요한 시사점을 얻을 수 있을 것이라 생각한다.
이와 함께 Ju(2008)에서는 학업 성취도와 과목 선호도 사이에도 유의미한 관련 성이 있다는 것을 제시하였는데, 이러한 관련성을 연결하면 과목 선호도에서 학업 성취도로, 나아가 과학적 자기 효능감과 시스템 사고로 이어지는 관련성을 찾아볼 수 있다. 즉, 시스템 사고가 초등학생의 학업 성취에 어떠한 영향을 주는지에 대한 탐색적 연구가 이루어질 필요가 있으며 나아가 진로나 직업 선택에 어떠한 영향을 주는 지에 대한 종단 연구 등이 이루어질 필요가 있으므로 현재 학생들이 선호 하는 과목군에 따른 시스템 사고 비교도 추가적으로 실시할 필요성을 제시한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	초등 교육 또는 초등 과학교육에서는 STMI검사에 대해 어떤 연구가 더 필요하다고 보는가?	따라서 초등 교육 또는 초등 과학교육에서 새롭게 개발된 프로그램의 효과를 검증하거나, 시스템 사고의 변화를 살펴보기 위해서는 초등학생이 STMI의 문항과 요인 구조 정확히 인식하고 응답하는지를 확인해야 할 필요가 있다. 아울러 시스템 사고가 학생들의 특성에 어떠한 관련성이 있는지 지속적으로 확인하는 연구가 진행되고 있고 (Lee & Lee, 2016; Lee et al., 2018), 나아가 과목 선호도에 따른 진로와 다중 지능, 학습 지각 양식 차이 등 여러 가지의 학생 변인들과의 관련성 연구가 진행되고 있는데, 이때 시스템 사고도 학생과 관련된 변인 중 하나로 연구할 필요성이 제기된다(Kim et al., 2014; Lee et al.
	STMI는 어떤 검사지인가?	STMI는 Senge(1996, 2006, 2012)가 제시한 시스템 사고의 5가지 수련(Fifth discipline)을 근거로 하여 5요인 구조의 검사지로 개발되 었다. 시스템 사고의 5요인은 정신 모델, 시스템 분석, 개인 숙련, 팀 학습, 공유 비전으로 구성된다.
	STMI 검사지를 활용하는 정량적 연구 어떤 것을 분석하였는가?	STMI가 개발된 이후 이 검사지를 활용하는 정량적 연구에서는 주로 척도가 포함하고 있는 요인별 신뢰도와 평균 비교를 통해 연구 대상자들의 시스템 사고 변화를 분석하였다. 특히 검사지의 구성 요인별 평균 비교(예, t-test)를 분석하기 위한 기본 가정은 연구 대상자 들이 검사지가 의도하는 요인에 반응하였다는 근거가 제시되어야 한다(Seong, 2011; Song, 2011).

참고문헌 (42)

Ben-zvi Assaraf, O., & Orion, N. (2005). Development of system thinking skills in the context of earth system education. Journal of Research in Science Teaching, 42(5), 518-560.

상세보기
Ben-zvi Assaraf, O., & Orion, N. (2010). Four case studies, six years later: developing system thinking skills in junior high school and sustaining them over time. Journal of Research in Science Teaching, 47(10), 1253-1280.

상세보기
Chi, E. (2010). Developing and validating the scale of teachers' feedback practice for formative assessment: Application of the rasch model. Journal of Educational Evaluation, 23(1), 79-100.
Cho, O., & Hwang, K. (2016). The effects of simulation-based education on nursing students' presence in education, systems thinking and proactivity in problem solving. Journal of Korean Academic Society of Home Health Care Nursing, 23(2), 147-154.
Choi, D., & Kim, K. (2015). The development and validation of self-regulation scale for elementary school students. Korean Journal of Elementary Education, 26(4), 59-81.
Chung, O., Im, J., Chung, S., Kim, R., & Yoon, J. (2012). The development and validation of a self-directed learning inventory for elementary school students. The Korean Journal of Human Development, 19(4), 227-245.
Chung, S., & Choi, N. (2018). The validity and norms of reading motivation scale for elementary school students. The Korean Journal Child Education, 27(1), 215-240.

상세보기
Han, D., & Jo, E. (2015). A study on the exploration of relationship between environmental literacy and systems thinking for sustainability education in social studies. Social Studies Education, 54, 65-83.
Jeon, H., & Chung, H. (2015). A Study on the Relationships with Test Anxiety, Academic Self Efficacy and Academic Achievement among Middle School Students - Focused on Longitudinal Mediation Effects of Academic Self Efficacy -. Korean Journal of Youth Studies, 22(7), 247-274.
Jo, G., & Kim, H. (2017). Effect of systems thinking based steam education program on climate change topics. International Journal of Contents, 17(7), 113-123.
Ju, T. (2008). The Effect of High School 'Society & Culture' Narrative Text Style on Subject Preferences and Academic Achievements. Social studies education, 47(1), 133-156.
Kang, C., Lee, H., Yoon, I., & Kim, E. (2008). Analysis of conceptions related to earth system and systems-thinking of high school student about water cycle. Journal of Science Education, 32(1), 61-72.
Kang, H., & Kim, A. (2013). Development and validation of a social self-efficacy scale for college students. The Korean Journal of Educational Psychology, 27(2), 263-283.
Kim, D., Yi, M., Hong, Y., & Choi, H. (2006). Analysis of thinking expansion effect as a basis of creativity through systems thinking education. Korean System Dynamics Review, 7(1), 51-65.
Kim, E., Ahn, Y., Jung, W., Kye, Y., Kim, H., Noh, T., Yoo, J., Yi, K., Choe, S., & Kim, C. (2014). Comparison of four factors: reasons for jobs, science and math preferences, interests in science, and science aspirations for children hoping for careers in science, engineering or medicine. Journal of the Korean Association for Science Education, 34(8), 779-786.

원문보기 상세보기
Kim, H., & Mun, S. (2017). The effect of a system thinking-based steam-type esd program on environmental literacy and system thinking ability of elementary students. Journal of Korean Journal of Environmental Education, 30(1), 85-102.
Kim, H., Jeong, S., Jeong, S., & Mun, S. (2017). Development of a systems thinking-based steam education program for elementary school students and the effect of its application. School Science Journal, 11(3), 288-301.
Kim, M., & Kim, B. (2002). A comparative study of the trends of current science education and the system thinking paradigm. Journal of the Korean Association for Science Education, 22(1), 64-75.
Kwon, Y., Kim, W., Lee, H., Byun, J., & Lee, I. (2011). Analysis of biology teachers' systems thinking about ecosystem. Biology Education, 39(4), 529-543.
Lee, H. & Lee, H. (2013). Revalidation of measuring instrument systems thinking and comparison of systems thinking between science and general high school students. Journal of the Korean Association for Science Education, 33, 1237-1247.

원문보기 상세보기
Lee, H. (2014). Systems thinking scale development and validation for high school students. Unpublished Ph.D. thesis, Kyungpook National University, Daegu, Korea.
Lee, H., & Lee, H. (2016). Effects of systems thinking on high school students' science self-efficacy. The Journal of The Korean Earth Science Society, 37(3), 133-145.

원문보기 상세보기
Lee, H., & Lee, H. (2017). Analysis and effects of high school students' systems thinking using iceberg(IB) model. Journal of the Korean Association for Science Education, 37(4), 611-624.
Lee, H., Kim, C., Shin, C., Lee, W., Heo, J., & Lee, H. (2018). Comparative analysis of the system thinking between underrepresented and general students: an exploratory study. Secondary Education Research, 66(1), 307-327.

상세보기
Lee, H., Kwon, H., Park, K., & Lee, H. (2013). An instrument development and validation for measuring high school students' systems thinking. Journal of the Korean Association for Science Education, 33, 995-1006.

원문보기 상세보기
Lee, H., Kwon, Y., Oh, H., & Lee, H. (2011). Development and application of the educational program to increase high school students' systems thinking skills: Focus on global warming. Journal of the Korean Earth Science Society, 32, 784-797.

원문보기 상세보기
Lee, M. (2016). Development and validation of academic resiliency scale for elementary school students(ARSESS). Korean Education Inquiry, 34(4), 21-38.
Lee, M., Shin. D., & Bong, M. (2018). Elementary school students' science motivation and achievement by gender and science-related career aspirations. The Journal of Career Education Research, 31(3), 1-20.
Lee, S., & Kim, A. (2012). Construction and validation of the academic perfectionism scale. The Korean Journal of Educational Psychology, 26(4), 1113-1136.
Moon, B., & Kim, H. (2007). A study on the abilities and characteristics of the systems thinking for pre-service elementary teachers. Korean System Dynamics Review, 8(2), 235-252.
Park, B. & Lee, H. (2014). Development and application of systems thinking-based STEAM Education Program to improve secondary science gifted and talented students' systems thinking skill. Journal of Gifted/Talented Education, 24, 421-444.

원문보기 상세보기
Park, H., & Kim, Y. (2013). The effect of the students' perceptions of high school economics on the selection of economics in the korean scholarstic aptitude test. Educational Research, 57, 85-104.
Park, Y. & Han, K. (2017). Validation of korean version of cpac(cognitive processes associated with creativity) for elementary school students. Journal of Elementary Education, 30(1), 97-119.
Pekrun, R., Goetz, T., Frenzel, A., Barchfeld, P., & Perry, R. (2011). Measuring emotions in students' learning and performance: The Achievement Emotions Questionnaire (AEQ). Contemporary Eucational Psychology, 36, 36-48.

상세보기
Randle, J. M. (2014). The systems thinking paradigm and higher-order cognitive processes. Unpublished master of degree thesis, Lakehead University, Thunder Bay, ON.
Seong, T. (2011). Statistical package for the social science. Seoul: Haksisa.
Song, J. (2011). SPSS/AMOS Statistical analysis. Paju: 21 Century Press.
Senge, P. M. (1996). The fifth discipline: Fieldbook. New York: Broadway Business.
Senge, P. M. (2006). The fifth discipline: The art & practice of the learning organization. New York: Crown Business.
Senge, P. M. (2012). Schools that learn(Updated and Revised): A fifth discipline fieldbook for educators, parents, and everyone who cares about education. New York: Doubleday.
Song, J., Moon, B., & Kim, J. (2015). The development and application of the teaching-learning program for systems thinking learning in elementary science classes. Journal of Korean Society of Earth Science Education, 8(3), 318-331.

원문보기 상세보기
Yeo, T. (2018). The difference in multiple intelligences and learning perceptual modes of upper graders of elementary school according to their gender and subject preferences. The Korean Journal of Elementary Counseling, 17(1), 61-80.

상세보기

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증