The purpose of this study was to investigate the effectiveness of integrated education research conducted in Korea and to propose a meaningful discussion for further research. Among the studies conducted for last five years, the relevant 69 research articles were selected, and 211 effect sizes were ...
The purpose of this study was to investigate the effectiveness of integrated education research conducted in Korea and to propose a meaningful discussion for further research. Among the studies conducted for last five years, the relevant 69 research articles were selected, and 211 effect sizes were calculated. Effect sizes were analyzed with different dependent variables including creativity, problem solving ability, inquiry skills, scientific recognition, attitude, interest, motivation and self-esteem. In addition, effect sizes with different moderating variable, such as samples sizes, characteristics of subjects, class types, core disciplines were compared. The conclusions of this study was that STEAM education had a relatively middle effect size. Finally, researchers discussed the results related with previous results, and provided the implications and suggestion for future studies.
The purpose of this study was to investigate the effectiveness of integrated education research conducted in Korea and to propose a meaningful discussion for further research. Among the studies conducted for last five years, the relevant 69 research articles were selected, and 211 effect sizes were calculated. Effect sizes were analyzed with different dependent variables including creativity, problem solving ability, inquiry skills, scientific recognition, attitude, interest, motivation and self-esteem. In addition, effect sizes with different moderating variable, such as samples sizes, characteristics of subjects, class types, core disciplines were compared. The conclusions of this study was that STEAM education had a relatively middle effect size. Finally, researchers discussed the results related with previous results, and provided the implications and suggestion for future studies.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
우리나라에서는 STEAM 교육을 통해 세계적 과학기술 인재 양성을 위한 목적으로 모든 학교 급을 포함하는 교육 정책으로 제시되고 있다. 본 연구는 STEAM 교육과 관련된 선행연구와 STEAM 교육의 효과를 분석한 연구를 통해 보다 객관적이고 종합적인 의미 있는 일반적 결과를 도출하고자 메타분석을 실시하였다. 2010년 이후의 연구물을 분석 대상으로 선정한 이유는 우리나라에 STEAM 교육이 2010년부터 본격적으로 도입되었고, 또한 관련 논문이 양적으로 증가한 시점이라고 판단하였기 때문이다.
출간 오류 분석과 함께 메타분석에서 데이터 오류에 대한 분석 방법으로 민감성 분석이 있다. 어떤 특정 연구를 제외 또는 포함시켰을 때 전체 평균 효과 크기가 어떻게 달라져서 연구 결과에 얼마나 변화가 있는지를 검증하는 것이 민감성 분석의 목적이다. 여기에는 누적메타분석(cumulative meta-analysis)도 함께 포함된다(Borenstein M.
또한 최근 몇 년간 폭발적으로 증가한 많은 양의 STEAM 교육 연구가 진행되어 다양한 연구결과가 축적되어 온 현 시점에서 개별적 연구 단위로 보고된 STEAM 교육의 효과에 대해 포괄적으로 분석하는 작업이 필요할 것으로 생각된다. 이에 본 연구는 이러한 의문과 필요성에 대한 해답을 통계적 기법으로 제공하려는 시도로 메타분석의 방법을 활용하고자 하는 것이다. 향후 보다 효과적인 STEAM 교육 프로그램을 개발하기 위해서도 선행 연구들의 총합을 통해 다양한 변인의 영향을 분석할 필요가 있으며 기존 연구들을 종합하고, 분류하여 함축성 있고 의미 있는 일반적인 결론을 추출하고자 하였다.
코딩 매뉴얼과 코딩표 및 자료코딩 과정의 모든 과정은 연구자를 포함하여 교육학 박사 1명(상담전공)과 STEAM 교육 현장 연구자 3명(교육학 석사), 통계 및 평가 전문가 1명(교육학 박사)의 의견을 반영하여 실시하였으며, 코딩을 실시하는 과정에서 코딩에 참여한 연구자간에 충분한 코딩 전후에 범주의 분류 및 입력 방식에 대한 사전·사후 협의를 통하여 코딩의 불일치 및 신뢰성 문제를 해결하고자 노력하였다.
이에 본 연구는 이러한 의문과 필요성에 대한 해답을 통계적 기법으로 제공하려는 시도로 메타분석의 방법을 활용하고자 하는 것이다. 향후 보다 효과적인 STEAM 교육 프로그램을 개발하기 위해서도 선행 연구들의 총합을 통해 다양한 변인의 영향을 분석할 필요가 있으며 기존 연구들을 종합하고, 분류하여 함축성 있고 의미 있는 일반적인 결론을 추출하고자 하였다. 이와 같은 본 연구의 목적을 위해 설정한 구체적 연구 문제를 제시하면 다음과 같다.
제안 방법
중심교과는 STEAM 교육 프로그램을 설계할때 내용이나 운영의 중심이 되는 교과가 무엇인지에 따라 분석하였다. 과학, 수학, 기술, 예술 교과 중심으로 분류하였으며, 예술 교과에는 미술, 음악 외에 사회, 국어 교과 등을 포함하였다.
STEAM 교육과 창의성에 관한 연구에서는 창의성, 창의적 인성, 창의·인성, 창의적 사고활동 등 다양한 표현이 사용되고 있고 창의성의 정의 및 창의성 구성 요인은 학자들 마다 의견이 다양하여 본 연구에서는 Torrance(1962)와 Lee et al(2010)의 구성 요인을 참고로 창의성의 지적요인(유창성, 융통성, 제목의 추상성, 독창성, 정교성, 성급한 종결에 대한 저항)을 사고 기능으로 정의적 요인(호기심, 탐구심, 자신감, 자발성, 정직성, 개방성, 독자성, 집중성 등)을 사고 성향으로 재분류하였다. 그리고, Park et al(2010)를 참고하여 인지적 요인(지식, 학업성취, 이해정도, 인지적 변화, 융합적사고력, 문제해결력, 탐구력 등) 중 문제해결력과 탐구능력을 인지적 영역으로 구분하였고, 정의적 요인(정의적 특성, 프로그램만족도, 참여도, 선호도, 흥미도, 태도, 동기, 인식, 실생활 적용력, 자아효능감, 자신감 등) 중 인식, 흥미, 태도, 학습동기, 자아효능감을 정의적 영역으로 분류하였다.
논문 목록을 추출하기 위해 사용한 주요 검색어는 ‘STEAM’과 ‘융합인재교육’이었으며, 가급적 다양한 키워드를 검색하였으며 관련 문헌을 최대한 수집하고자 연구물의 참고문헌까지 탐색 하였다.
kr)의 DB에서 2012년, 2013년, 2014년 학술대회 자료집을 함께 수집하여 대상 논문을 하나도 빠짐 없이 수집하려고 하였다. 대상 논문의 탐색하는 기간은 일정한 기간이 없이 연구 초기단계에서 코딩 단계, 분석 단계에서도 수시로 문헌탐색을 실시하여 최대한 많은 논문을 수집하려고 하였다. 이러한 과정을 통해 검색된 논문 중에서 아래의 절차에 의해 자료 선정 기준을 만족하는 논문을 최종 분석 대상으로 선정하였다.
즉, 연구간 효과 크기가 일관되지 않고 효과 크기 간 차이가 발생하였다. 따라서 본 연구에서는 무선 효과 모형을 이용해서 전체적인 효과 크기를 측정하였다. 본 연구에서 설정한 STEAM 교육의 전체 평균 효과 크기는 0.
앞서 각 요인에 미치는 효과를 얻은 평균 효과 크기가 메타분석에 포함된 연구의 성질에 따라 다른 효과를 보이는 것으로 확인되었다. 따라서 이처럼 효과 크기가 달리 나타나게 되는 요인, 즉 조절변인에 대한 분석을 실시하였다.
또한 ‘cumulative meta-analysis’를 활용하여 누적분석을 실시하였다.
먼저, 종속변인은 An(2015)의 STEAM 교육의 효과성 검증과 선행연구를 통해서 확인 된 창의성 영역, 인지적 영역, 정의적 영역으로 분류하였다. STEAM 교육과 창의성에 관한 연구에서는 창의성, 창의적 인성, 창의·인성, 창의적 사고활동 등 다양한 표현이 사용되고 있고 창의성의 정의 및 창의성 구성 요인은 학자들 마다 의견이 다양하여 본 연구에서는 Torrance(1962)와 Lee et al(2010)의 구성 요인을 참고로 창의성의 지적요인(유창성, 융통성, 제목의 추상성, 독창성, 정교성, 성급한 종결에 대한 저항)을 사고 기능으로 정의적 요인(호기심, 탐구심, 자신감, 자발성, 정직성, 개방성, 독자성, 집중성 등)을 사고 성향으로 재분류하였다.
조절변인은 Oh(2012)의 연구에서 제시된 분석의 대상과 선행 논문의 특징을 범주화 하는 과정을 반영하여 실험집단 인원수, 실험처지 횟수, 수업유형, 학급유형, 학교유형, 중심교과로 분류하였다. 수업유형은 Kofac(2012)에서 제시한 일반적인 수업 유형을 바탕으로 교과 내, 교과 연계, 창체 활용형, 학교밖으로 분류하였고, 학급유형은 일반학급, 영재학급, 특수학급으로, 학교유형은 유치원, 초등학교, 중학교, 고등학교로 분류하였다. 중심교과는 STEAM 교육 프로그램을 설계할때 내용이나 운영의 중심이 되는 교과가 무엇인지에 따라 분석하였다.
조절변인은 Oh(2012)의 연구에서 제시된 분석의 대상과 선행 논문의 특징을 범주화 하는 과정을 반영하여 실험집단 인원수, 실험처지 횟수, 수업유형, 학급유형, 학교유형, 중심교과로 분류하였다. 수업유형은 Kofac(2012)에서 제시한 일반적인 수업 유형을 바탕으로 교과 내, 교과 연계, 창체 활용형, 학교밖으로 분류하였고, 학급유형은 일반학급, 영재학급, 특수학급으로, 학교유형은 유치원, 초등학교, 중학교, 고등학교로 분류하였다.
수업유형은 Kofac(2012)에서 제시한 일반적인 수업 유형을 바탕으로 교과 내, 교과 연계, 창체 활용형, 학교밖으로 분류하였고, 학급유형은 일반학급, 영재학급, 특수학급으로, 학교유형은 유치원, 초등학교, 중학교, 고등학교로 분류하였다. 중심교과는 STEAM 교육 프로그램을 설계할때 내용이나 운영의 중심이 되는 교과가 무엇인지에 따라 분석하였다. 과학, 수학, 기술, 예술 교과 중심으로 분류하였으며, 예술 교과에는 미술, 음악 외에 사회, 국어 교과 등을 포함하였다.
체계적이고 종합적인 분석을 위해 위의 기준으로 코딩 매뉴얼과 코딩표를 개발하여 자료코딩을 실시하였다. 코딩 매뉴얼과 코딩표 및 자료코딩 과정의 모든 과정은 연구자를 포함하여 교육학 박사 1명(상담전공)과 STEAM 교육 현장 연구자 3명(교육학 석사), 통계 및 평가 전문가 1명(교육학 박사)의 의견을 반영하여 실시하였으며, 코딩을 실시하는 과정에서 코딩에 참여한 연구자간에 충분한 코딩 전후에 범주의 분류 및 입력 방식에 대한 사전·사후 협의를 통하여 코딩의 불일치 및 신뢰성 문제를 해결하고자 노력하였다.
대상 데이터
최초로 검색되어진 STEAM 관련 논문은 총 8,119편으로 학위논문 3,229편, 학술지논문 4,890편, 학술대회연구물 171편이었으며, 자료 선정 기준을 통해 본격적 논문 분석을 실시하였다. 1차 논문분석은 논문의 제목과 국문초록을 토대로 이루어졌으며, 1차 논문분석을 통해 총 8,119편 중 주제와 관련 없는 연구, 연구대상이 적절하지 않은 논문 7,708편을 제외하여 총 582편의 논문을 추출하였다. 1차 논문분석을 통해 선정된 582편의 논문들 중 자료선정 기준을 만족시키는 논문을 추출하기 위해 2차 논문분석을 실시하였다.
STEAM 교육의 효과를 규명하고자 2010년부터 2015년 12월까지 국내에서 발표된 학위논문 및 학술지 논문, 기타 연구물에서 관련된 연구물 69편을 분석대상으로 효과 크기 사례수 211개를 산출하여 분석하였다. 이는 STEAM 교육 프로그램 전체에 대한 결과를 제시함과 동시에 효과에 해당하는 하위 영역을 구분하여 각각의 결과를 제시한 경우에는 각각의 효과 크기를 사례로 산출하였기 때문이다.
셋째, 실험집단과 통제 집단의 평균치, 표준편차 및 사례수 등의 기초 통계 자료를 가지고 있는 논문으로 제한한다. 그 외의 경우에는 효과 크기를 산출하는 데 필요한 통계치(t-test, F-test, 상관계수 r 등)가 제시되어 있는 논문을 분석 대상으로 선정하였다. 넷째, 연구의 대상은 유치원, 초등학교, 중학교, 고등학교에 해당하는 논문을 분석대상으로 선정하였다.
그 외의 경우에는 효과 크기를 산출하는 데 필요한 통계치(t-test, F-test, 상관계수 r 등)가 제시되어 있는 논문을 분석 대상으로 선정하였다. 넷째, 연구의 대상은 유치원, 초등학교, 중학교, 고등학교에 해당하는 논문을 분석대상으로 선정하였다. 다섯째, 본 연구에서는 학업성취도 변인에 관한 연구물은 제외하였다.
논문 목록을 추출하기 위해 사용한 주요 검색어는 ‘STEAM’과 ‘융합인재교육’이었으며, 가급적 다양한 키워드를 검색하였으며 관련 문헌을 최대한 수집하고자 연구물의 참고문헌까지 탐색 하였다. 또한 한국과학창의재단(www.kofac.or.kr)의 DB에서 2012년, 2013년, 2014년 학술대회 자료집을 함께 수집하여 대상 논문을 하나도 빠짐 없이 수집하려고 하였다. 대상 논문의 탐색하는 기간은 일정한 기간이 없이 연구 초기단계에서 코딩 단계, 분석 단계에서도 수시로 문헌탐색을 실시하여 최대한 많은 논문을 수집하려고 하였다.
본 연구는 STEAM 교육의 효과를 규명하고자 2010년부터 2015년 12월까지 국내에서 발표된 관련 분야 석・박사학위논문, 학술지 게재논문, 간행물 및 개인 연구물 등을 대상으로 수집하였다. 자료를 수집하기 위하여, 2015년 12월 현재, 국회 도서관(http://www.
본 연구에서는 출간오류가 발생할 경우 ‘Trim and Fill' 방법과 ’누적메타분석(cumulative meta-analysis)'를 사용하였다.
실험집단 인원수는 최소 10명∼최대 40명까지이다.
이때 1차 논문분석을 통해 선정된 582편의 논문은 전문에 대해 세밀히 읽고 검토되었다. 이 중 실험연구가 아닌 논문 443편, 비교집단이 없는 논문 34편, 다른 연구와 중복되는 연구 13편, 자료가 부적절한 논문 16편을 제외하여 총 76편의 논문을 추출하였다. 정상범위를 상당히 벗어난 극단치(extreme value)인 이상치(outlier)는 전체 평균 효과 크기를 구하는데 방해가 될 수 있어 제외하여 최종 선정한 논문은 총 69편으로, 학위논문 51편, 학술지 논문 15편, 학술대회 3편이었다.
대상 논문의 탐색하는 기간은 일정한 기간이 없이 연구 초기단계에서 코딩 단계, 분석 단계에서도 수시로 문헌탐색을 실시하여 최대한 많은 논문을 수집하려고 하였다. 이러한 과정을 통해 검색된 논문 중에서 아래의 절차에 의해 자료 선정 기준을 만족하는 논문을 최종 분석 대상으로 선정하였다.
이어서 최종 선정된 69편의 논문(효과 크기 사례수= 211)에 대한 출간 오류분석을 실시하였으며, 그 결과는 [Fig. 1]과 같다. 출간 오류를 분석한 결과, 좌우 대칭형을 완전히 이루지 못하고 있어 출간 오류가 다소 존재하는 것으로 나타났다.
본 연구는 STEAM 교육의 효과를 규명하고자 2010년부터 2015년 12월까지 국내에서 발표된 관련 분야 석・박사학위논문, 학술지 게재논문, 간행물 및 개인 연구물 등을 대상으로 수집하였다. 자료를 수집하기 위하여, 2015년 12월 현재, 국회 도서관(http://www.nanet.go.kr), 한국교육학술정보원학술연구정보서비스(KERIS, http://www.riss.kr), 국가전자도서관(http://www.dlibrary.go.kr), 국립중앙도서관(http://www.nl.go.kr), 한국학술정보원(http://Kiss.kstudy.com), 누리미디어 DB-PIA(http://www.dbpia.co.kr) 등의 온라인 검색 DB(DataBase)를 활용하여 분석대상 논문을 검색하였다. 논문 목록을 추출하기 위해 사용한 주요 검색어는 ‘STEAM’과 ‘융합인재교육’이었으며, 가급적 다양한 키워드를 검색하였으며 관련 문헌을 최대한 수집하고자 연구물의 참고문헌까지 탐색 하였다.
이 중 실험연구가 아닌 논문 443편, 비교집단이 없는 논문 34편, 다른 연구와 중복되는 연구 13편, 자료가 부적절한 논문 16편을 제외하여 총 76편의 논문을 추출하였다. 정상범위를 상당히 벗어난 극단치(extreme value)인 이상치(outlier)는 전체 평균 효과 크기를 구하는데 방해가 될 수 있어 제외하여 최종 선정한 논문은 총 69편으로, 학위논문 51편, 학술지 논문 15편, 학술대회 3편이었다.
그 이유는 평가 전문가의 의견을 반영하여 각 학교급, 학생 및 학교 특성이 반영된 성취도 점수가 그 타당도가 부족하다고 판단하였기 때문이다. 최초로 검색되어진 STEAM 관련 논문은 총 8,119편으로 학위논문 3,229편, 학술지논문 4,890편, 학술대회연구물 171편이었으며, 자료 선정 기준을 통해 본격적 논문 분석을 실시하였다. 1차 논문분석은 논문의 제목과 국문초록을 토대로 이루어졌으며, 1차 논문분석을 통해 총 8,119편 중 주제와 관련 없는 연구, 연구대상이 적절하지 않은 논문 7,708편을 제외하여 총 582편의 논문을 추출하였다.
데이터처리
1차 논문분석은 논문의 제목과 국문초록을 토대로 이루어졌으며, 1차 논문분석을 통해 총 8,119편 중 주제와 관련 없는 연구, 연구대상이 적절하지 않은 논문 7,708편을 제외하여 총 582편의 논문을 추출하였다. 1차 논문분석을 통해 선정된 582편의 논문들 중 자료선정 기준을 만족시키는 논문을 추출하기 위해 2차 논문분석을 실시하였다. 이때 1차 논문분석을 통해 선정된 582편의 논문은 전문에 대해 세밀히 읽고 검토되었다.
조절변수에 의해 설명되는 연구 간 실제 분산의 비율이 R2=20%로 나타났다. 다음으로 조절변인 실험집단의 인원수별, 실험처치 횟수(수업시수) 모두 투입하여 다중 회귀분석을 수행하였다. 다중 회귀분석을 실시한 결과는 회귀모형의 적합성을 나타내는 Model Q=11.
즉, 앞서 살펴본 동질성 검증(Q,T2,I2)에서 이질성이 나타난다면 이질성이 왜 생겼는지를 살펴볼 필요가 있다. 본 연구 효과크기의 이질성을 설명하기 위해 효과크기를 설명하는 조절변인을 활용하여 메타 회귀분석과 Meta-ANOVA를 실시하였다.
수업유형에 따라 평균 효과 크기에 유의한 차이가 있는지를 알아보기 위해 집단의 크기를 네 집단(교과내, 교과연계, 창체활용, 학교밖)으로 구분하여 메타 ANOVA를 실시하였다. 그 결과는 교과내 수업의 효과 크기는 0.
실험집단 인원수에 따라 평균 효과 크기에 유의한 차이가 있는지를 알아보기 위해 메타회귀분석을 실시하였다. 실험집단 인원수는 최소 10명∼최대 40명까지이다.
실험처치 횟수(수업시수)에 따라 평균 효과 크기에 유의한 차이가 있는지를 알아보기 위해 메타회귀분석을 실시하였다. 프로그램의 실험처치 횟수는 최소 10차시∼최대 50차시까지이다.
2009). 이를 위해 동질성 검증의 통계량 Q값을 산출하였다. Q값의 산출 공식은 다음의 (식 3)과 같다.
중심교과에 따라 평균 효과크기에 유의한 차이가 있는지를 알아보기 위해 집단의 크기를 네 집단(과학, 수학, 기술, 예술)으로 구분하여 메타 ANOVA를 실시하였다. 그 결과는 과학중심교과의 효과 크기는 0.
학교유형에 따라 평균 효과 크기에 유의한 차이가 있는지를 알아보기 위해 집단의 크기를 네 집단(유치원, 초등학교, 중학교, 고등학교)으로 구분하여 메타 ANOVA를 실시하였다.
학급유형에 따라 평균 효과 크기에 유의한 차이가 있는지를 알아보기 위해 집단의 크기를 세 집단(영재학급, 일반학급, 특수학급)으로 구분하여 메타 ANOVA를 실시하였다. 그 결과는 영재학급의 효과 크기는 0.
이론/모형
본 연구에서는 STEAM 프로그램의 효과를 분석하기 위해 CMA(Comprehensive Meta Analysis) 프로그램을 사용하였다.
본 연구에서는 STEAM교육 프로그램의 효과를 검증하기 위해 (식 1)과 같이 Cohen's d의 효과크기 계산법을 사용하였다.
분석 범주를 설정하는 방법으로는 연구자의 직관에 따라 설정하는 방법, 이론적 배경 또는 선행연구에 따라 설정하는 방법, 연구결과들에 제시된 공통 변수들을 추출하여 범주화하는 방법 등이 있다(Guzzo, Jackson, & Katzell, 1987). 본 연구에서는 선행연구를 포함한 이론적 배경과 연구결과들에 제시된 공통 변수 추출방법을 함께 사용하였다.
성능/효과
STEAM 교육에 대한 인지적 영역들의 동질성을 검증한 결과 문제해결력(Q=8.4501, df=8, p>.05, I2=5.326),탐구능력(Q=37.751, df=8, p<.001, I2=78.808)으로 나타나 문제해결력은 효과 크기가 비교적 동질한 것으로 나타난 반면 탐구능력은 효과 크기가 이질한 것으로 나타났다.
STEAM 교육에 대한 인지적 영역들의 동질성을 검증한 결과 인식(Q=56.725, df=8, p<.001, I2=85.897), 흥미(Q=49.986, df=24, p<.05, I2=51.987), 태도(Q=76.547, df=34, p.05, I2=0.000), 자아효능감(Q=2.319, df=3, p>.05, I2=0.000)으로 나타나 학습동기, 자아효능감은 효과 크기가 비교적 동질한 것으로 나타난 반면 인식, 태도, 흥미는 효과 크기가 이질한 것으로 나타났다.
STEAM 교육에 대한 창의성 영역들의 동질성을 검증한 결과 창의적 사고기능(Q=36.911, df=19, p<.05, I2=48.525), 창의적 사고성향(Q=72.577, df=21, p<.001, I2=71.065)으로 나타나 창의적 사고기능과 창의적 사고성향은 효과크기가 모두 이질적인 것으로 나타났다.
STEAM 교육이 인지적 영역의 변인에 미치는 평균 효과 크기를 산출한 결과는 [Table 2]와 같다. STEAM 교육이 인지적 영역의 변인인 문제해결력의 효과 크기는 0.592(95% CI 0.432-0.751), 탐구능력의 효과 크기는 0.813(95% CI 0.426-1.201)인 것으로 나타났다. 두 영역 모두 95% 신뢰구간에서 0을 포함하고 있지 않기 때문에 STEAM 교육이 인지적 영역인 문제해결력, 탐구능력에 미치는 효과 크기는 모두 통계적으로 유의한 것으로 나타났다.
STEAM 교육이 정의적 영역의 변인에 미치는 평균 효과 크기를 산출한 결과는 [Table 2]와 같다. STEAM 교육이 정의적 영역의 변인인 인식의 효과 크기는 0.565(95% CI 0.083-1.046), 흥미의 효과 크기는 0.641(95% CI 0.487-0.785), 태도의 효과 크기는 0.696(95% CI 0.565-0.827), 학습동기의 효과 크기는 0.632(95% CI 0.397-0.868), 자아 효능감의 효과 크기는 0.628(95% CI 0.353-0.903) 인 것으로 나타났다. 영역 모두 95% 신뢰구간에서 0을 포함하고 있지 않기 때문에 STEAM 교육이 정의적 영역인 인식, 흥미, 태도, 학습동기, 자아효능감에 미치는 효과 크기는 모두 통계적으로 유의한 것으로 나타났다.
STEAM 교육이 창의성 영역의 변인에 미치는 평균 효과 크기를 산출한 결과는 [Table 2]와 같다. STEAM 교육이 창의성 영역의 창의적 사고기능의 효과 크기는 0.706(95% CI 0.544-0.867), 창의적 사고성향의 효과 크기는 0.836(95% CI 0.600-1.072)인 것으로 나타났다. 두 영역 모두 95% 신뢰구간에서 0을 포함하고 있지 않기 때문에 STEAM 교육이 창의성 영역인 창의적 사고기능, 창의적 사고성향에 미치는 효과 크기는 모두 통계적으로 유의한 것으로 나타났다.
STEAM 교육의 전체 평균 효과 크기를 산출한 결과는 다음과 같다. [Table 1]에서 보는 바와 같이 효과 크기의 분포를 측정하는 관찰된 분포 Q값은 164.313이고, 모든 연구들이 동일한 효과 크기의 추정치를 갖고 있다고 가정할 대 기대되는 기대 분포 값은 df=68로 나타났다. 그리고 연구 간 분산, 즉 실제 분산은 T2=0.
구체적으로 창의적 사고기능과 창의적 사고성향, 문제해결력과 탐구력, 인식, 흥미, 태도, 학습 동기, 자아효능감 등에서 통계적으로 유의한 것으로 확인되었다. 출간 오류를 검토한 결과 또한 산출된 효과 크기가 안정적이었음을 고려하면, 현재까지 이루어지고 있는 STEAM 교육은 긍정적인 효과가 있다는 시사점을 얻을 수 있다.
그 결과는 과학중심교과의 효과 크기는 0.646(95% CI 0.517-0.776), 수학 중심교과의 효과 크기는 0.615(95% CI 0.308-0.921), 기술중심교과의 효과 크기는 0.773(95% CI 0.480-1.065), 예술중심교과의 효과 크기는 0.839(95% CI 0.573-1.106)으로 나타났으며, Q값은 6.356(df=4, p>.05)로 나타나 집단 간의 효과 크기가 동일하다는 귀무가설을 기각할 수 없다.
그 결과는 교과내 수업의 효과 크기는 0.613(95% CI 0.462-0.765), 교과연계 수업의 효과 크기는 0.597(95% CI 0.399-0.796), 창체활용 수업의 효과 크기는 0.935(95% CI 0.651-1.218), 학교밖 수업의 효과 크기는 0.918(95% CI 0.717-1.119)로 나타났 으며, Q값은 9.312(df=3, p<.05)로 나타나 집단 간의 효과 크기가 동일하다는 귀무가설을 기각할 수 있다.
그 결과는 영재학급의 효과 크기는 0.722(95% CI 0.364-1.079), 일반학급의 효과 크기는 0.705(95% CI 0.602-0.807), 특수학급의 효과 크기는 1.305(95% CI 0.637-1.973)으로 나타났으며, Q값은 3.028(df=2, p>.05)로 나타나 집단 간의 효과 크기가 동일하다는 귀무가설을 기각할 수 없다.
그 결과는 유치원의 효과 크기는 1.140(95% CI 0.734-1.546), 초등학교의 효과 크기는 0.682(95% CI 0.564-0.799), 중학교의 효과 크기는 0.730(95% CI 0.462-0.997), 고등학교의 효과 크기는 0.716(95% CI 0.435-0.996)으로 나타났으며, Q값은 4.532(df=3, p>.05)로 나타나 집단 간의 효과 크기가 동일하다는 귀무가설을 기각할 수 없다.
그러나 조절변인 중 실험처지 횟수(수업시수)만 유의한 것((b=0.0140(z=3.09, p<0.01))으로 나타나, 결과적으로 수업시수만 효과가 있는 것으로 나타났다.
창의성 영역에서는 창의적 사고기능 보다는 창의적 사고성향의 효과가 큰 것으로 나타났고, 인지적 영역에서는 문제해결력 보다 탐구능력이 큰 것으로 나타났다. 그리고 정의적 영역에서는 태도가 가장 큰 효과 크기를 나타났다. 다만, 정의적 영역에서 태도에 관한 연구가 과학과 중심으로 이루어져 STEAM 교육에서 요구하는 태도나 역량을 잘 반영하지 못하고 있었다.
즉, 수업유형에 따른 평균 효과 크기의 유의한 차이가 확인되었다. 그리고 창체활용, 학교밖 수업이 효과가 높은 수업유형으로 확인되었다.
다중 회귀분석을 실시한 결과는 회귀모형의 적합성을 나타내는 Model Q=11.25(df=2, p<0.01)이므로 통계적으로 유의미한 모형으로 나타났다.
201)인 것으로 나타났다. 두 영역 모두 95% 신뢰구간에서 0을 포함하고 있지 않기 때문에 STEAM 교육이 인지적 영역인 문제해결력, 탐구능력에 미치는 효과 크기는 모두 통계적으로 유의한 것으로 나타났다. 효과 크기의 누적분포적 해석방법인 U3는 문제해결력 72.
072)인 것으로 나타났다. 두 영역 모두 95% 신뢰구간에서 0을 포함하고 있지 않기 때문에 STEAM 교육이 창의성 영역인 창의적 사고기능, 창의적 사고성향에 미치는 효과 크기는 모두 통계적으로 유의한 것으로 나타났다. 효과 크기의 누적분포적 해석방법인 U3는 창의적 사고기능 76.
둘째, STEAM 교육이 종속 변인에 미치는 평균 효과 크기는 창의적 사고기능과 창의적 사고성향, 문제해결력, 탐구능력, 인식, 흥미, 태도, 학습동기, 자아효능감 등 전 영역에서 모두 효과적임을 확인할 수 있었다. 창의성 영역에서는 창의적 사고기능 보다는 창의적 사고성향의 효과가 큰 것으로 나타났고, 인지적 영역에서는 문제해결력 보다 탐구능력이 큰 것으로 나타났다.
05)이므로 회귀식 자체가 유의한 모형이 아님을 알 수 있었다. 따라서 통계적으로 유의미한 조절변수가 아닌 것으로 나타났다.
다만, 정의적 영역에서 태도에 관한 연구가 과학과 중심으로 이루어져 STEAM 교육에서 요구하는 태도나 역량을 잘 반영하지 못하고 있었다. 또, STEAM 교육은 동질성 검증에 의해 효과 크기의 차이 및 그 이질성이 발생하였고, STEAM 교육의 효과 크기의 차이 및 이질성은 구체적으로 창의성 영역의 창의적 사고기능과 창의적 사고 성향, 정의적 영역의 태도, 흥미 등에서 발생한다고 판단 할 수 있었다. 따라서 앞으로 STEAM 교육 프로그램의 개발을 위해 이러한 요인을 고려할 필요가 있다.
메타회귀분석을 실시한 결과, 회귀모형의 적합성을 나타내는 Model Q=1.60(df=1, p>0.05)이므로 회귀식 자체가 유의한 모형이 아님을 알 수 있었다.
메타회귀분석을 실시한 결과, 회귀모형의 적합성을 나타내는 Model Q=9.75(df=1, p<0.01)이므로 통계적으로 유의미한 모형으로 나타났다.
따라서 본 연구에서는 무선 효과 모형을 이용해서 전체적인 효과 크기를 측정하였다. 본 연구에서 설정한 STEAM 교육의 전체 평균 효과 크기는 0.719(95% CI 0.621-0.817)인 것으로 나타났으며, 95% 신뢰구간에서 0을 포함하고 있지 않기 때문에 효과 크기는 통계적으로 유의한 것으로 나타났다. 효과 크기의 누적분포적 해석방법인 U3는 76.
셋째, STEAM 교육의 효과 크기의 차이 및 그 이질성에 대한 원인을 알아보기 위하여 조절변인에 따른 STEAM 교육의 평균 효과를 탐색한 결과 실험처지 횟수와 수업유형에 대한 변인이 연구 간 효과 크기의 차이를 설명하는 중요한 조절변인으로 나타났다. 실험처지 횟수 즉, 수업 시수가 증가할수록 STEAM 교육의 효과가 분명하게 나타나는 결과는 교육의 대상이 교육내용을 받아들이고 변화하는 데는 충분한 시간이 필요함을 의미한다.
또한 ‘cumulative meta-analysis’를 활용하여 누적분석을 실시하였다. 연구의 크기순으로 62개(누적 가중치가 90%에 해당)의 연구를 투입했을 때 효과 크기는 0.684로 나타났고, 전체 효과 크기인 0.719의 전체 결과에 큰 영향을 미치지는 못하는 것으로 나타났다. 따라서 효과의 크기가 큰 것으로 나타난 작은 표본의 연구들이 전체 결과에 영향을 주는, 즉 오류를 일으키는 원인이라고 말할 수 없다.
903) 인 것으로 나타났다. 영역 모두 95% 신뢰구간에서 0을 포함하고 있지 않기 때문에 STEAM 교육이 정의적 영역인 인식, 흥미, 태도, 학습동기, 자아효능감에 미치는 효과 크기는 모두 통계적으로 유의한 것으로 나타났다. 효과 크기의 누적분포적 해석방법인 U3는 인식 71.
이러한 출간 오류를 보정하는 Duval과 Tweedie(2000)의 ‘Trim and Fill’을 이용하여 비대칭을 대칭으로 교정한 결과 출간 오류로 인해 메타분석에 포함하지 못한 효과 크기 사례들(16개)이 포함된 경우 보정된 평균 효과 크기(adjusted value)가 0.563(95% CI 0.452-0.674)인 것으로 나타났으며, 기존분석 결과인 관찰된 평균 효과 크기(observed value)가 0.719(95% CI 0.621-0.817)인 것으로 나타났다.
둘째, STEAM 교육이 종속 변인에 미치는 평균 효과 크기는 창의적 사고기능과 창의적 사고성향, 문제해결력, 탐구능력, 인식, 흥미, 태도, 학습동기, 자아효능감 등 전 영역에서 모두 효과적임을 확인할 수 있었다. 창의성 영역에서는 창의적 사고기능 보다는 창의적 사고성향의 효과가 큰 것으로 나타났고, 인지적 영역에서는 문제해결력 보다 탐구능력이 큰 것으로 나타났다. 그리고 정의적 영역에서는 태도가 가장 큰 효과 크기를 나타났다.
첫째, 본 연구의 핵심인 메타 분석을 통한 STEAM 교육의 평균 효과 크기 결과에 따르면 평균 효과(g=0.719)는 그 실제적 유용성이 입증되었으며, 중간 정도의 효과 크기를 나타내었다.
구체적으로 창의적 사고기능과 창의적 사고성향, 문제해결력과 탐구력, 인식, 흥미, 태도, 학습 동기, 자아효능감 등에서 통계적으로 유의한 것으로 확인되었다. 출간 오류를 검토한 결과 또한 산출된 효과 크기가 안정적이었음을 고려하면, 현재까지 이루어지고 있는 STEAM 교육은 긍정적인 효과가 있다는 시사점을 얻을 수 있다.
1]과 같다. 출간 오류를 분석한 결과, 좌우 대칭형을 완전히 이루지 못하고 있어 출간 오류가 다소 존재하는 것으로 나타났다. Egger의 회귀분석을 통해서도 회귀식 초기값(Intercept)의 유의확률이 통계적으로 유의함(p=.
두 영역 모두 95% 신뢰구간에서 0을 포함하고 있지 않기 때문에 STEAM 교육이 인지적 영역인 문제해결력, 탐구능력에 미치는 효과 크기는 모두 통계적으로 유의한 것으로 나타났다. 효과 크기의 누적분포적 해석방법인 U3는 문제해결력 72.24의 백분위, 탐구능력 79.10의 백분위로 나타났다. STEAM 교육에 대한 인지적 영역들의 동질성을 검증한 결과 문제해결력(Q=8.
영역 모두 95% 신뢰구간에서 0을 포함하고 있지 않기 때문에 STEAM 교육이 정의적 영역인 인식, 흥미, 태도, 학습동기, 자아효능감에 미치는 효과 크기는 모두 통계적으로 유의한 것으로 나타났다. 효과 크기의 누적분포적 해석방법인 U3는 인식 71.56의 백분위, 흥미 73.89의 백분위, 태도 75.80의 백분위, 학습동기 73.56의 백분위, 자아효능감 73.56의 백분위로 나타났다. STEAM 교육에 대한 인지적 영역들의 동질성을 검증한 결과 인식(Q=56.
두 영역 모두 95% 신뢰구간에서 0을 포함하고 있지 않기 때문에 STEAM 교육이 창의성 영역인 창의적 사고기능, 창의적 사고성향에 미치는 효과 크기는 모두 통계적으로 유의한 것으로 나타났다. 효과 크기의 누적분포적 해석방법인 U3는 창의적 사고기능 76.11의 백분위, 창의적 성향 79.95의 백분위로 나타났다. STEAM 교육에 대한 창의성 영역들의 동질성을 검증한 결과 창의적 사고기능(Q=36.
후속연구
둘째, 실험연구나 준실험연구 설계를 이용했으며, 실험집단과 통제집단을 설정한 연구결과를 다룬 연구물이어야 한다. 셋째, 실험집단과 통제 집단의 평균치, 표준편차 및 사례수 등의 기초 통계 자료를 가지고 있는 논문으로 제한한다.
바로 이러한 점에서 STEAM 교육의 효과를 종합적으로 검증할 필요성이 제기된다. 또한 최근 몇 년간 폭발적으로 증가한 많은 양의 STEAM 교육 연구가 진행되어 다양한 연구결과가 축적되어 온 현 시점에서 개별적 연구 단위로 보고된 STEAM 교육의 효과에 대해 포괄적으로 분석하는 작업이 필요할 것으로 생각된다. 이에 본 연구는 이러한 의문과 필요성에 대한 해답을 통계적 기법으로 제공하려는 시도로 메타분석의 방법을 활용하고자 하는 것이다.
교육은 인간 내부에서 일어나는 복합적인 현상으로 가설과 검증이라는 단순한 흐름으로 증명하는데 한계가 있으며, 교육 대상이 교육내용을 받아들이고 충분히 무르익을 시간이 필요하다. 또한, 교육은 교사와 학생들의 공식적인 교육과정의 목적 이외에도 수업을 둘러싼 교육적, 사회적 맥락을 통해 수많은 변수가 존재하기 때문에 이를 종합적으로 관찰하기 위해서는 직접 그 안으로 들어가 현상을 심층적으로 연구해 볼 필요가 있다.
둘째, 실험연구나 준실험연구 설계를 이용했으며, 실험집단과 통제집단을 설정한 연구결과를 다룬 연구물이어야 한다. 셋째, 실험집단과 통제 집단의 평균치, 표준편차 및 사례수 등의 기초 통계 자료를 가지고 있는 논문으로 제한한다. 그 외의 경우에는 효과 크기를 산출하는 데 필요한 통계치(t-test, F-test, 상관계수 r 등)가 제시되어 있는 논문을 분석 대상으로 선정하였다.
첫째, STEAM 교육 프로그램을 활용하여 STEAM 교육의 효과를 연구한 논문이어야 한다.
첫째, 본 연구에서 인지적 영역인 학업성취도를 학교급, 학생 및 학교 특성이 반영되어 있어 그 타당도가 부족하다고 판단되어 연구대상에서 제외하였다. 후속연구에서는 이 부분을 보완하여 제시해야 할 필요가 있으며 STEAM 교육의 적용 후 남학생이 여학생 보다 과학에 대한 태도와 흥미에서 향상도가 높았다(Park jee-hyeon, 2014)는 연구도 있어 다른 조절변인을 통해 이를 더 심도 있게 탐색해 볼 필요가 있다.
첫째, 본 연구에서 인지적 영역인 학업성취도를 학교급, 학생 및 학교 특성이 반영되어 있어 그 타당도가 부족하다고 판단되어 연구대상에서 제외하였다. 후속연구에서는 이 부분을 보완하여 제시해야 할 필요가 있으며 STEAM 교육의 적용 후 남학생이 여학생 보다 과학에 대한 태도와 흥미에서 향상도가 높았다(Park jee-hyeon, 2014)는 연구도 있어 다른 조절변인을 통해 이를 더 심도 있게 탐색해 볼 필요가 있다. 둘째, 메타분석을 위해 본 연구에서 선정된 논문 중 학술논문의 대부분이 학위논문을 게재한 것은 아쉬운 부분이다.
질의응답
핵심어
질문
논문에서 추출한 답변
효과크기란?
효과크기란 실험집단의 평균값에서 비교집단의 평균값을 뺀 값을 두 집단의 통합 표준편차 값으로 나눈 값을 의미한다(Borenstein M. et al.
STEAM 교육의 효과를 종합적으로 검증할 필요성이 제기되는 이유는 무엇인가?
이와 관련하여 2011년부터 2014년 8월말까지 발표한 STEAM 관련 약 380편의 논문을 분석한 결과에 따르면, STEAM 교육의 효과성 검증 논문은 크게 창의성 영역, 정의적 영역, 인지적 영역에 관한 연구로 나타나고 있다(An, hae-ran, 2015). 한편, 최근에는 교육학 전반에 걸쳐 증거에 기반한 교육 효과의 검증이 보편화되면서, 효과성에 대한 관심이 높아지고 있다. 바로 이러한 점에서 STEAM 교육의 효과를 종합적으로 검증할 필요성이 제기된다.
STEAM 교육 연구의 유형은 어떻게 분류할 수 있는가?
,2013). STEAM 교육 연구의 유형은 STEAM 교육 프로그램 개발, 분석, 효과, 사례, 인식, 동향으로 분류할 수 있으며 그 중 특히 개발과 효과를 연구한 논문이 가장 많다(Oh, hyun-sook, 2012; Lee, ji-hae, 2014; An, hae-ran, 2015). 이와 관련하여 2011년부터 2014년 8월말까지 발표한 STEAM 관련 약 380편의 논문을 분석한 결과에 따르면, STEAM 교육의 효과성 검증 논문은 크게 창의성 영역, 정의적 영역, 인지적 영역에 관한 연구로 나타나고 있다(An, hae-ran, 2015).
참고문헌 (16)
An, hae-ran(2015). Analysis of Research Trends in STEAM education for the Gifted.. ajou university.
Borenstein, M. Hedges, L. V. Higgins, J. P. & Rothstein, H. R.(2009). Introduction to Meta-Analysis. Chichester, UK: Wiley.
Duval, S. & Tweedie, R.(2000). A nonparametric 'trim and fill' method of accounting for publication bias in meta-analysis, Journal of the American Statistical Associaton, 95, 89-98.
Guzzo, R. A..Jackson, S. E. & Katzell, R. A. (1987). Meta analyis. In L. L. Cummings, & B. M. Staw (Eds.). Research in organizational behavior. Stanford: Elevier Ltd.
Higgins, J. P. & Green, S.(Eds.)(2011). Cochrane Handbook for Systematic Review of Interventions Version 5.1.0, The Cochrane Collaboration. Retrieved from www. cochrane-handbook.org.
Korea Foundation for the Advancement of Science&Creativity(2012). STEAM education basic research for establishing the direction of running.
Lee, gyeong-eon.Lee, gwang-woo.Kim, hyeon-mi.Lim, soe-ha(2010). Reorganization Study courses for enhancing creativity. (research report RRC). Korea Institute of Curriculum and Evaluation.
Lee, ji-hae(2014). The analysis on domestic research trends of STEAM education of Mathematics. ajou university.
Ministry of Education, Science and Technology. (2010). Republic of Korea driven by creative person and advanced technology. 2011 business report.
Oh, hyun-sook(2012). STEAM education program development strategies for secondary schools based on the study of convergence and integrated education. dankook university.
Oh, soon-moon(2011). A meta-analysis on the relationship between the principal's leadership and school organizational effectiveness. department of education graduate school korea university.
Oh, Sung-Sam(2009). Theory and practice of meta-analysis. Konkuk University Press.
Park, do-soon(2010). Educational Evaluation- Understand and apply. Education and Science Press.
Park, jee-hyeon(2014). The effects of STEAM education on the attitude, interest level, and academic achievement of elementary 6th graders with regards to science.
SHIN, jin-kung.CHOI, Dong-Kyu.KIM Ji-Won.HEO, Gyun.PARK, Jong-Un.JU, Dong-Beom.WON, Hyo-Heon(2013). An analysis of core competence and core element on the STEAM program in the research report of school, JFMSE, 25(4), 898-914.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.