선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 따라서 본 연구에서는 교원양성대학의 대학생들을 대상으로 문제해결 프로그래밍 교육에서 학습자들의 컴퓨팅 사고력을 평가할 수 있는 동일한 평가영역을 지닌 지필형 검사지 및 자기보고식 설문을 개발하였다. 개발한 평가 도구로 대학생에게 실시한 결과를 통해 평가 도구의 신뢰도, 타당도를 확인하였다.
- 이런 평가 방법들을 분석한 선행 연구에서 평가도구들은 각각의 장, 단점을 가지고 있으므로, 한 가지 도구로 평가하기 보다는 다양한 평가 도구를 통해 다각도로 평가가 필요하며, 각각의 평가 도구는 상호 보완적으로 활용이 가능하다고 분석하였다[10]. 따라서 본 연구에서는 동일한 평가 요소를 가진 각각의 평가 도구를 개발하고, 타당성을 검증하여 이를 교육에 활용할 수 있는 가능성을 분석하고자 한다.
- 따라서 본 연구에서는 지필형 검사지, 자기보고식 설문지의 실시 순서에 상관없이 수렴타당도를 확보하기 위해 자기보고식 설문지의 형태와 내용을 수정·보완하였다.
- 첫째, 자기보고식 설문지 앞부분에 이해를 돕는 설명을 추가하였다. 따라서 자기보고식 설문지의 문항이 시작되기 전 그 앞부분에 문제해결 프로그래밍에 대한 이해를 돕고 사용 용어를 명확하게 정리할 수 있도록 예시 문제를 제시하였다. 또한 예시 문제를 풀어보며 자신의 실력을 스스로 진단할 수 있는 기회를 제공하여 줄 수 있다고 판단하였다.
- 본 연구는 교원양성대학의 대학생을 대상으로 문제해결 프로그래밍 교육을 위한 컴퓨팅 사고력 평가 도구를 개발하고 타당화하기 위한 것으로 교원양성대학인 K 대학의 학생 중 문제해결 프로그래밍과 관련된 수업을 수강중인 컴퓨터교육과 2~4학년 학생 27명으로 구성하였다.
- 본 연구는 문제해결 프로그래밍을 학습하는 예비교원들의 컴퓨팅 사고력을 평가하기 위한 평가 도구 개발을 목표로 하였다. 지필형 검사와 자기보고식 설문은 각각의 장단점을 가진다.
- 본 연구에서는 이를 바탕으로 컴퓨팅 사고력의 평가 영역을 ‘문제분해’, ‘추상화’, ‘알고리즘 절차’, ‘자동화’로 선정하고, 이 영역에서의 평가 도구 개발에 집중하고자 하였다.
- 본 연구의 핵심은 컴퓨팅 사고력을 통해 주어진 문제를 해결하는 지필형 검사지와 함께, 자기보고식 설문지를 동시에 개발하는 것이다. 두 검사도구의 신뢰도와 타당도를 검증함으로써 개발한 평가도구의 실제 활용 및 일반화 가능성을 확인하였다([그림 2]).
- 개발한 평가 도구로 대학생에게 실시한 결과를 통해 평가 도구의 신뢰도, 타당도를 확인하였다. 이를 통해 문제해결 프로그래밍 교육에서 컴퓨팅 사고력을 평가하는 방법을 개발하고 교육 현장에서의 활용 가능성을 분석하는 것을 목적으로 하였다.
제안 방법
- 1차 평가 도구(자기보고식 설문지)는 각각의 영역에 따른 세부 요소별 3~5문항씩 총 39문항으로 구성하였으며, Likert 5단계 평정 척도로 제작하였다. 1차 평가 도구(자기보고식 설문지)의 문항은 문제분해 영역 10문항, 추상화 영역 9문항, 알고리즘 절차 영역 10문항, 자동화 영역 10문항으로 총 39문항으로 이루어져 있다.
- 각 문항들은 특정 프로그래밍 언어, 환경에 제약을 받지 않는 문항으로 구성하였다. 개발한 예비 문항은 각 영역별 세부요소별로 4~7문항씩 총 61문항으로 구성하였다. 전문가 협의회를 통해 예비 문항의 내용 타당도를 검증하여 의미가 중복되는 문항, 모호하고 구체적이지 않은 문항을 수정·제거하였다.
- 다음으로 문항양호도를 평가하기 위해 문항난이도를 분석하였다. 지필형 검사지의 문항 난이도는 <표 6>, <표 7>과 같다.
- 본 연구의 핵심은 컴퓨팅 사고력을 통해 주어진 문제를 해결하는 지필형 검사지와 함께, 자기보고식 설문지를 동시에 개발하는 것이다. 두 검사도구의 신뢰도와 타당도를 검증함으로써 개발한 평가도구의 실제 활용 및 일반화 가능성을 확인하였다([그림 2]).
- 둘째, 문항에서 사용하는 용어를 통일하고, 묻고자 하는 내용을 구체화하였다. 추가적인 설명으로 문제 예시를 추가하였지만 이는 피험자들에게 추가적인 인지적 부담을 줄 가능성이 있다.
- 둘째, 본 연구에서 개발된 평가 도구는 성인 학습자인 예비교원을 대상으로 개발하였다. 따라서 인지 능력이 아직 성숙하지 못한 초, 중, 고등학생을 대상으로 일반화할 때에는 주의하여야 한다.
- 지필형 검사와 자기보고식 설문은 각각의 장단점을 가진다. 따라서 객관적인 문제 풀이 방식의 지필형 검사지와, Likert 5점 척도 방식의 자기보고식 설문지 두 종류의 평가 도구를 개발하고 각각의 신뢰도, 타당도를 검증하여 두 평가도구의 활용 가능성을 분석하였다.
- 자기보고식 설문지의 타당도를 확보하려면 자기보고식 설문지와 지필형 검사지를 동시에 투입하되 그 순서에 상관없이 모두 타당도가 확보되어야 한다. 따라서 두 종류의 평가 도구를 동시에 사용하되 지필형 검사지와 자기보고식 설문지의 상관관계를 보다 명확히 분석하기 위해 이를 두 그룹으로 나누어 검사를 실시하였다. 한 그룹(A)은 지필형 검사지를 먼저 실시한 후 자기보고식 설문지를 실시하였고, 또 한 그룹(B)은 자기보고식 설문지를 먼저 실시한 후 지필형 검사지를 실시하였다.
- 자기보고식 설문지의 문항만으로도 무엇을 묻고 있는지 명확하게 파악할 수 있어야 한다. 따라서 전문가 협의회를 통해 자기보고식 설문지 문항 중 모호한 용어, 표현들을 수정하고 불필요한 내용을 삭제 및 간결화 하여 명확화 하였다.
- 이를 바탕으로 문항을 수정·보완하여 총 10문항의 최종 평가 도구를 개발하였다. 또한 예비검사와 본 검사에서 같은 학생들을 대상으로 평가를 실시하였기에, 같은 문제를 제시하면 결과의 정확도가 저하될 수 있으므로 난이도와 검사 시간, 평가 영역이 유사하도록 5문항씩 두 그룹으로 나누어 개발하였다.
- 또한 추상화의 세부요소인 ‘핵심요소 추출(변수)’와 ‘핵심요소 추출(연산)’이 중복되는 의미가 많아 ‘핵심요소 추출’로 통합하자는 의견을 반영하여 자기보고식 설문지를 수정하여 1차 평가도구(자기보고식 설문지)를 완성하였다.
- 하지만 개념을 미리 학습하지 않더라도 그 원리를 이해하고 해결할 수 있는 문항들로 구성하였다. 또한 특정 프로그래밍 언어에 제한되지 않는 문제를 개발하였으나, 자동화 영역의 프로그래밍 언어 능력을 확인하기 위한 문제에만 평가를 위해 C언어를 사용하여 제작하였다. 앞서 정의한 컴퓨팅 사고력의 4개 영역, 12개 요소를 모두 평가할 수 있도록 평가 지표를 제작하여 개발하였다.
- 수렴타당도 검증을 위해 지필형 검사지B와 자기보고식 설문지 실시 결과의 상관분석을 실시하였다. 또한 학생들의 문제해결 프로그래밍 과제 해결점수와의 상관 분석을 실시하였다. 과제 해결 점수는 본 연구에 참가한 학생들이 한 학기 동안 자동평가 시스템을 통해 실제 문제해결 프로그래밍을 완성한 결과로 5문항씩 총 11회를 실시한 종합 점수를 의미한다.
- 본 연구를 통하여 컴퓨팅 사고력을 평가할 수 있는 지필형 검사지와 자기보고식 설문지를 개발하였다. 하지만 컴퓨팅 사고력을 신뢰롭고 타당하게 평가하기 위한 평가 도구 개발에 대한 지속적인 개선 연구가 필요하다.
- 따라서 피험자가 자기보고식 설문지에서 무엇을 묻고 있는지 보다 명확하게 알 수 있도록 자기보고식 설문지를 수정할 필요가 있다. 본 연구에서는 다음과 같은 측면에서 평가 도구를 수정 및 보완하였다.
- 셋째, 본 연구는 문제해결 프로그래밍의 관점에서만 컴퓨팅 사고력을 정의하고 평가 도구를 개발하였다. 즉, 이 연구의 결과는 문제해결 프로그래밍 교육에 한정된 것이며, 다른 영역으로 확대하여 평가하기에 한계가 있다.
- 또한 특정 프로그래밍 언어에 제한되지 않는 문제를 개발하였으나, 자동화 영역의 프로그래밍 언어 능력을 확인하기 위한 문제에만 평가를 위해 C언어를 사용하여 제작하였다. 앞서 정의한 컴퓨팅 사고력의 4개 영역, 12개 요소를 모두 평가할 수 있도록 평가 지표를 제작하여 개발하였다. 각각의 문항은 스토리가 있는 상황 맥락적 문제로 이루어졌으며, 한 문항에 2~4개의 소문항으로 이루어진 실기 및 서술형 문제로 구성되어 있다.
- <표 2>에서 정의한 컴퓨팅 사고력의 핵심 요소와 조작적 정의, 개발한 지필형 검사지를 바탕으로 자기보고식 설문 형식의 예비 문항을 개발하였다. 각 문항들은 특정 프로그래밍 언어, 환경에 제약을 받지 않는 문항으로 구성하였다.
- <표 2>에서 정의한 컴퓨팅 사고력의 핵심 요소와 조작적 정의를 바탕으로 컴퓨팅 사고력 지필형 검사지를 개발하였다. 평가 문제는 단순히 프로그래밍 언어의 이해 여부를 확인하는 것이 아니라, 주어진 문제를 해결하기 위해 적절한 방법을 탐색하면서 컴퓨팅 사고력의 발달 정도를 평가할 수 있도록 개발하였다.
- 완성된 최종 평가 도구로 본 검사를 실시하였다. 예비 검사에서 지필형 검사지를 먼저 실시한 경우 자기보고식 설문지의 타당도를 확보하였으므로 본 검사에서는 모두 자기보고식 설문지를 먼저 실시한 후 지필형 검사지를 실시하여 신뢰도와 타당도를 분석하였다.
- 예비검사를 실시하여 1차 평가 도구(지필형 검사지A, 자기보고식 설문지)의 신뢰도와 타당도를 검증하였다. 자기보고식 설문지의 타당도를 확보하기 위해 지필형 검사지와 자기보고식 설문지를 동시에 투입하여 수렴 타당도를 살펴보았다.
- 예비검사와 본 검사를 실시하여 본 연구에서 개발한 지필형 검사지와 자기보고식 설문의 신뢰도와 타당도를 검증하였다. 신뢰도 분석 결과 지필형 검사지, 자기보고식 설문지 모두 적절한 신뢰도 수준을 보였다.
- 완성된 최종 평가 도구로 본 검사를 실시하였다. 예비 검사에서 지필형 검사지를 먼저 실시한 경우 자기보고식 설문지의 타당도를 확보하였으므로 본 검사에서는 모두 자기보고식 설문지를 먼저 실시한 후 지필형 검사지를 실시하여 신뢰도와 타당도를 분석하였다.
- 이를 바탕으로 문항을 수정·보완하여 총 10문항의 최종 평가 도구를 개발하였다.
- 또한 예시 문제를 풀어보며 자신의 실력을 스스로 진단할 수 있는 기회를 제공하여 줄 수 있다고 판단하였다. 이에 앞서 실시하였던 지필형 검사지 문항 중 컴퓨팅 사고력의 모든 영역을 다 포함할 수 있도록 문항을 수정하여 도움 설명과 함께 추가하였다. 문제의 정답도 함께 제시하여 문제를 직접 풀어보는 것이 아니라 이해를 돕기 위한 ‘예시’임을 나타냈다.
- 이후 전문가 협의회를 통해 내용 타당도를 검증하였으며 이를 통해 최종 평가 도구(자기보고식 설문)을 완성하였다.
- 예비검사를 실시하여 1차 평가 도구(지필형 검사지A, 자기보고식 설문지)의 신뢰도와 타당도를 검증하였다. 자기보고식 설문지의 타당도를 확보하기 위해 지필형 검사지와 자기보고식 설문지를 동시에 투입하여 수렴 타당도를 살펴보았다. 자기보고식 설문지의 타당도를 확보하려면 자기보고식 설문지와 지필형 검사지를 동시에 투입하되 그 순서에 상관없이 모두 타당도가 확보되어야 한다.
- 전문가 협의회를 통해 예비 문항의 내용 타당도를 검증하여 의미가 중복되는 문항, 모호하고 구체적이지 않은 문항을 수정·제거하였다.
- 지필형 검사지는 5문항씩 두 세트(지필형 검사지 A, 지필형 검사지B)를 개발하여 예비검사와 본 검사에 나누어 검사를 실시하였다.
- 첫째, 자기보고식 설문지 앞부분에 이해를 돕는 설명을 추가하였다. 따라서 자기보고식 설문지의 문항이 시작되기 전 그 앞부분에 문제해결 프로그래밍에 대한 이해를 돕고 사용 용어를 명확하게 정리할 수 있도록 예시 문제를 제시하였다.
- 초・중등학교에서 소프트웨어 교육을 담당하고 있는 현직 교사, 컴퓨터교육 전공 석·박사과정 대학원생, 대학 교수로 구성된 전문가 협의회를 통해 내용 타당도를 확인하였다.
- <표 2>에서 정의한 컴퓨팅 사고력의 핵심 요소와 조작적 정의를 바탕으로 컴퓨팅 사고력 지필형 검사지를 개발하였다. 평가 문제는 단순히 프로그래밍 언어의 이해 여부를 확인하는 것이 아니라, 주어진 문제를 해결하기 위해 적절한 방법을 탐색하면서 컴퓨팅 사고력의 발달 정도를 평가할 수 있도록 개발하였다. 문항들은 문제해결 프로그래밍수업에서 활용할 수 있는 문항들로 자료구조와 알고리즘의 기본 개념이 포함되도록 구성하였다.
- 따라서 두 종류의 평가 도구를 동시에 사용하되 지필형 검사지와 자기보고식 설문지의 상관관계를 보다 명확히 분석하기 위해 이를 두 그룹으로 나누어 검사를 실시하였다. 한 그룹(A)은 지필형 검사지를 먼저 실시한 후 자기보고식 설문지를 실시하였고, 또 한 그룹(B)은 자기보고식 설문지를 먼저 실시한 후 지필형 검사지를 실시하였다. 자기보고식 설문의 신뢰도 분석 결과 Cronbach’s α계수가 .
대상 데이터
- 첫째, 본 연구에서는 교원양성대학의 컴퓨터교육과 학생 27명을 대상으로 하였다. 연구의 진행상 다양한 지역의 많은 피험자를 확보하지 못했다는 점은 본 연구의 결과를 일반화하기에 어려운 점이 있음을 의미한다.
데이터처리
- 따라서 본 연구에서는 교원양성대학의 대학생들을 대상으로 문제해결 프로그래밍 교육에서 학습자들의 컴퓨팅 사고력을 평가할 수 있는 동일한 평가영역을 지닌 지필형 검사지 및 자기보고식 설문을 개발하였다. 개발한 평가 도구로 대학생에게 실시한 결과를 통해 평가 도구의 신뢰도, 타당도를 확인하였다. 이를 통해 문제해결 프로그래밍 교육에서 컴퓨팅 사고력을 평가하는 방법을 개발하고 교육 현장에서의 활용 가능성을 분석하는 것을 목적으로 하였다.
- 수렴타당도 검증을 위해 지필형 검사지B와 자기보고식 설문지 실시 결과의 상관분석을 실시하였다. 또한 학생들의 문제해결 프로그래밍 과제 해결점수와의 상관 분석을 실시하였다.
이론/모형
- 과제 해결 점수는 본 연구에 참가한 학생들이 한 학기 동안 자동평가 시스템을 통해 실제 문제해결 프로그래밍을 완성한 결과로 5문항씩 총 11회를 실시한 종합 점수를 의미한다. 과제의 문제는 김성식 외(2018)가 개발하여 효과성을 확보한 문제은행의 문제를 적용하였다[21]. 이는 학생들이 실제로 문제해결 프로그래밍을 통해 문제를 해결한 것을 평가한 결과로 문제해결 프로그래밍 능력을 평가하기 위한 객관화된 점수라 할 수 있다.
성능/효과
- A, B 두 그룹 전체의 상관분석 결과 지필평가와 자기보고식 설문 점수는 유의수준 .01에서 유의한 상관이 있으며, 상관계수는 .641로 상관이 높다. 특히 지필형 검사지를 먼저 실시하고 자기보고식 설문지를 실시한 그룹 A의 상관분석 결과 지필형 검사지와 자기보고식 설문지 점수의 상관계수는 .
- 수렴타당도를 검증한 결과 지필형 검사지와 자기보고식 설문지 사이에 상관이 높은 것으로 나타났다. 또한 자기보고식 설문지와 지필형 검사지는 과제 해결 점수와도 유의한 상관이 있는 것으로 나타났다. 이는 본 연구에서 개발한 지필형 검사지와 자기보고식 설문지가 컴퓨팅 사고력의 동일한 특성을 평가하고 있다는 것을 의미하며 실제 문제해결 프로그래밍 능력도 반영하고 있다고 할 수 있다.
- 지필형 검사지의 문항 난이도는 <표 6>, <표 7>과 같다. 분석 결과 문항난이도는 상, 중, 하 문제가 골고루 분포되어 있으며, 지필형 검사지A와 B에 균형적으로 배치되어 있는 것을 확인할 수 있다.
- 상관 분석을 실시한 결과 지필평가 점수와 자기보고식 설문 점수는 상관계수가 .655로 높은 상관을 보였다. 또한 과제 해결 점수와 자기보고식 설문지 점수는 상관계수가 .
- 신뢰도 분석 결과 지필형 검사지, 자기보고식 설문지 모두 적절한 신뢰도 수준을 보였다. 수렴타당도를 검증한 결과 지필형 검사지와 자기보고식 설문지 사이에 상관이 높은 것으로 나타났다. 또한 자기보고식 설문지와 지필형 검사지는 과제 해결 점수와도 유의한 상관이 있는 것으로 나타났다.
- 예비검사와 본 검사를 실시하여 본 연구에서 개발한 지필형 검사지와 자기보고식 설문의 신뢰도와 타당도를 검증하였다. 신뢰도 분석 결과 지필형 검사지, 자기보고식 설문지 모두 적절한 신뢰도 수준을 보였다. 수렴타당도를 검증한 결과 지필형 검사지와 자기보고식 설문지 사이에 상관이 높은 것으로 나타났다.
- 2015 개정 정보과 교육과정에는 컴퓨팅 사고력을 “컴퓨터과학의 기본 개념과 원리 및 컴퓨팅 시스템을 활용하여 실생활과 다양한 학문분야의 문제를 이해하고 창의적으로 해법을 구현하여 적용할 수 있는 능력”이라고 정의하고 있다[6]. 이를 종합해보면 컴퓨팅 사고력은 컴퓨터 과학 및 프로그래밍에 대한 지식, 기술을 갖추는 것이 아니라, 문제를 해결하는 전반적인 사고의 과정을 나타낸다고 할 수 있다.
- 자기보고식 설문의 신뢰도 분석 결과 Cronbach’s α계수가 .962로 매우 높게 나타났으며 문항 제거 시 α계수가 높아지는 문항은 존재하지 않았다.
- 자기보고식 설문지의 신뢰도 분석 결과 전체 문항의 Cronbach’s α 계수가 .966으로 나타나 매우 높은 신뢰도 수준을 보였다.
- 전체 문항의 문항내적 일관성 계수인 Cronbach’s α는 .734와 .760으로 평가 도구로 사용하기에 신뢰도가 적절한 것으로 나타났다.
- 일반적으로 문항이 변별력을 갖기 위해서는 평균값이 양극단 값에 가깝지 않고, 표준편차 값이 클수록 좋다[19]. 지필형 검사지A와 지필형 검사지B의 모든 문항들은 평균과 표준편차가 적절한 수준으로 나타났다.
- 641로 상관이 높다. 특히 지필형 검사지를 먼저 실시하고 자기보고식 설문지를 실시한 그룹 A의 상관분석 결과 지필형 검사지와 자기보고식 설문지 점수의 상관계수는 .795로 상관이 높은 것을 확인할 수 있었다. 이는 마찬가지로 유의수준 .
후속연구
- 또한 예비 교원들이 스스로 자신의 수준을 가늠하는 데 도움을 줄 수 있을 것이다. 개발한 지필형 검사지와 자기보고식 설문지는 각각의 장점을 살려 상황에 따라 상호보완적으로 활용할 수 있을 것이다. 본 연구에서 개발한 지필형 검사지는 보다 객관적으로 컴퓨팅 사고력을 평가할 수 있는 장점이 있다.
- 넷째, 본 연구에서 개발된 컴퓨팅 사고력 평가도구가 학생들의 실제 능력을 얼마나 타당하게 검사하는지 다른 평가 도구들과 비교해 볼 필요가 있다. 본 연구에서는 지필형 검사지와 자기보고식 설문지를 비교하여 타당도를 검증하였지만 타당도를 인정받은 다른 평가 도구와의 비교를 통해서도 본 연구에서 개발한 평가 도구의 타당도를 검증할 필요가 있다.
- 하지만 사전, 사후 검사로 개발되어 있지 않은 경우가 많아 난이도 선정에 어려움이 있을 수 있으며, 같은 문제에 반복 노출될 경우 검사 결과의 정확성이 떨어질 수 있다. 따라서 비슷한 난이도의 두 종류의 지필형 검사지가 있으면 연구의 효과성 분석에 유용할 것이다.
- 본 연구결과를 통해 개발된 컴퓨팅 사고력 평가도구는 문제해결 프로그래밍을 학습하는 예비 교원들의 컴퓨팅 사고력을 평가하는데 도움을 줄 수 있을 것이다. 또한 예비 교원들이 스스로 자신의 수준을 가늠하는 데 도움을 줄 수 있을 것이다.
- 즉, 이 연구의 결과는 문제해결 프로그래밍 교육에 한정된 것이며, 다른 영역으로 확대하여 평가하기에 한계가 있다. 본 연구방법과 절차를 토대로 다른 영역의 컴퓨팅 사고력을 평가할 수 있는 평가 도구도 다양하게 개발이 되면 좋을 것이다.
- 넷째, 본 연구에서 개발된 컴퓨팅 사고력 평가도구가 학생들의 실제 능력을 얼마나 타당하게 검사하는지 다른 평가 도구들과 비교해 볼 필요가 있다. 본 연구에서는 지필형 검사지와 자기보고식 설문지를 비교하여 타당도를 검증하였지만 타당도를 인정받은 다른 평가 도구와의 비교를 통해서도 본 연구에서 개발한 평가 도구의 타당도를 검증할 필요가 있다.
- 셋째, 본 연구는 문제해결 프로그래밍의 관점에서만 컴퓨팅 사고력을 정의하고 평가 도구를 개발하였다. 즉, 이 연구의 결과는 문제해결 프로그래밍 교육에 한정된 것이며, 다른 영역으로 확대하여 평가하기에 한계가 있다. 본 연구방법과 절차를 토대로 다른 영역의 컴퓨팅 사고력을 평가할 수 있는 평가 도구도 다양하게 개발이 되면 좋을 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.