최근 정보화 사회에서는 단순 암기보다는 문제 해결 능력과 종합적인 사고력을 바탕으로 창의적인 생각을 할 수 있는 인재를 요구한다. 이에 따라 교육과정도 학생들의 종합적인 사고력을 판단할 수 있는 서답형 문항을 늘리는 방향으로 변하고 있다. 그러나 서답형 문항의 경우 채점자의 주관에 의존하여 채점이 진행되기 때문에, 채점 결과의 일관성을 확보하기 어렵다는 단점이 있다. 이런 점을 해결하기 위해 해외에서는 기계학습을 이용한 자동채점 시스템을 채점 도구로 사용하고 있다. 한국어는 영어와 언어학적으로 다른 분류에 속하므로 영어권에서 사용하는 자동채점 시스템을 한국어에 그대로 적용할 수 없다. 따라서 한국어 체계에 맞는 자동채점 시스템의 개발이 필요하다. 본 논문에서는 기계학습 분류기의 예측확률과 만장일치 방법을 사용한 한국어 서답형 문항 자동채점 시스템을 소개하고, 자동채점 시스템을 이용한 채점 결과와 교과 전문가의 채점 결과를 비교하여 자동채점 시스템의 실용성을 검증한다. 본 논문의 실험을 위해 2014년 국가수준 학업성취도 평가의 국어, 사회, 과학 교과의 서답형 문항을 사용했다. 평가 척도로 피어슨 상관계수와 카파계수를 사용했다. 채점자가 개입했을 때와 개입하지 않았을 때의 상관계수 모두 0.7 이상으로 강한 양의 상관관계를 보였다. 이는 자동채점 시스템이 교과 전문가가 채점한 결과와 유사한 방향으로 답안에 점수를 부여한 것이므로 자동채점 시스템을 채점 보조도구로서 충분히 사용할 수 있을 것이다.
최근 정보화 사회에서는 단순 암기보다는 문제 해결 능력과 종합적인 사고력을 바탕으로 창의적인 생각을 할 수 있는 인재를 요구한다. 이에 따라 교육과정도 학생들의 종합적인 사고력을 판단할 수 있는 서답형 문항을 늘리는 방향으로 변하고 있다. 그러나 서답형 문항의 경우 채점자의 주관에 의존하여 채점이 진행되기 때문에, 채점 결과의 일관성을 확보하기 어렵다는 단점이 있다. 이런 점을 해결하기 위해 해외에서는 기계학습을 이용한 자동채점 시스템을 채점 도구로 사용하고 있다. 한국어는 영어와 언어학적으로 다른 분류에 속하므로 영어권에서 사용하는 자동채점 시스템을 한국어에 그대로 적용할 수 없다. 따라서 한국어 체계에 맞는 자동채점 시스템의 개발이 필요하다. 본 논문에서는 기계학습 분류기의 예측확률과 만장일치 방법을 사용한 한국어 서답형 문항 자동채점 시스템을 소개하고, 자동채점 시스템을 이용한 채점 결과와 교과 전문가의 채점 결과를 비교하여 자동채점 시스템의 실용성을 검증한다. 본 논문의 실험을 위해 2014년 국가수준 학업성취도 평가의 국어, 사회, 과학 교과의 서답형 문항을 사용했다. 평가 척도로 피어슨 상관계수와 카파계수를 사용했다. 채점자가 개입했을 때와 개입하지 않았을 때의 상관계수 모두 0.7 이상으로 강한 양의 상관관계를 보였다. 이는 자동채점 시스템이 교과 전문가가 채점한 결과와 유사한 방향으로 답안에 점수를 부여한 것이므로 자동채점 시스템을 채점 보조도구로서 충분히 사용할 수 있을 것이다.
The emergent information society requires the talent for creative thinking based on problem-solving skills and comprehensive thinking rather than simple memorization. Therefore, the Korean curriculum has also changed into the direction of the creative thinking through increasing short-answer questio...
The emergent information society requires the talent for creative thinking based on problem-solving skills and comprehensive thinking rather than simple memorization. Therefore, the Korean curriculum has also changed into the direction of the creative thinking through increasing short-answer questions that can determine the overall thinking of the students. However, their scoring results are a little bit inconsistency because scoring short-answer questions depends on the subjective scoring of human raters. In order to alleviate this point, an automated scoring system using a machine learning has been used as a scoring tool in overseas. Linguistically, Korean and English is totally different in the structure of the sentences. Thus, the automated scoring system used in English cannot be applied to Korean. In this paper, we introduce an automated scoring system for Korean short-answer questions using predictability and unanimity. We also verify the practicality of the automatic scoring system through the correlation coefficient between the results of the automated scoring system and those of human raters. In the experiment of this paper, the proposed system is evaluated for constructed-response items of Korean language, social studies, and science in the National Assessment of Educational Achievement. The analysis was used Pearson correlation coefficients and Kappa coefficient. Results of the experiment had showed a strong positive correlation with all the correlation coefficients at 0.7 or higher. Thus, the scoring results of the proposed scoring system are similar to those of human raters. Therefore, the automated scoring system should be found to be useful as a scoring tool.
The emergent information society requires the talent for creative thinking based on problem-solving skills and comprehensive thinking rather than simple memorization. Therefore, the Korean curriculum has also changed into the direction of the creative thinking through increasing short-answer questions that can determine the overall thinking of the students. However, their scoring results are a little bit inconsistency because scoring short-answer questions depends on the subjective scoring of human raters. In order to alleviate this point, an automated scoring system using a machine learning has been used as a scoring tool in overseas. Linguistically, Korean and English is totally different in the structure of the sentences. Thus, the automated scoring system used in English cannot be applied to Korean. In this paper, we introduce an automated scoring system for Korean short-answer questions using predictability and unanimity. We also verify the practicality of the automatic scoring system through the correlation coefficient between the results of the automated scoring system and those of human raters. In the experiment of this paper, the proposed system is evaluated for constructed-response items of Korean language, social studies, and science in the National Assessment of Educational Achievement. The analysis was used Pearson correlation coefficients and Kappa coefficient. Results of the experiment had showed a strong positive correlation with all the correlation coefficients at 0.7 or higher. Thus, the scoring results of the proposed scoring system are similar to those of human raters. Therefore, the automated scoring system should be found to be useful as a scoring tool.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 정답 예측확률과 다수의 분류기의 만장일치제를 이용한 한국어 서답형 문항 자동채점 시스템을 제안한다. 준지도학습에서 초기에는 정답을 예측할 확률을 높게 설정하여 학습자료의 문제를 극복하여 학습자료가 충분해지면 서서히 줄여 많은 미채점 답안을 채점할 수 있도록 하였다.
자동채점의 결과를 채점자가 확인하고 수정하는 경우를 개입, 채점자가 수정하지 않은 경우를 미개입이라고 정의한다[14-17]. 본 논문에서는 채점자가 개입 여부에 따른 자동 채점 시스템의 채점 결과와 인간 채점자의 채점 결과의 상관관계와 정확률을 분석한다.
본 논문에서는 현재 개발 중인 기계학습 분류기의 예측확률과 만장일치 기법을 사용한 한국어 서답형 자동채점 시스템의 채점 결과와 인간 채점 결과를 비교·분석하여 자동채점 시스템의 실용성에 관해 검증하였다.
가설 설정
인간 채점자의 채점 결과는 각 문항의 교과 전문가가 여러 단계를 거쳐 확정한 점수로 채점 상의 오류가 없다고 가정한다[15]. 본 실험에서는 이 인간 채점자의 채점 결과와 자동채점 시스템의 채점 결과가 얼마나 유사한지를 피어슨 상관계수[33]와 카파계수[34, 35]를 통해 판단한다.
제안 방법
본 논문에서는 현재 개발 중인 기계학습 분류기의 예측확률과 만장일치 기법을 사용한 한국어 서답형 자동채점 시스템의 채점 결과와 인간 채점 결과를 비교·분석하여 자동채점 시스템의 실용성에 관해 검증하였다. 개발 및 성능 개선을 진행 중인 자동채점 시스템은 채점이 완료된 답안과 모범 답안을 학습 데이터로 사용하여 앙상블 분류기를 학습한다. 앙상블 분류기는 Logistic Regression 분류기와 Nearest Centroid 분류기, Adaboosting 분류기의 채점 결과를 조합으로 구현했다.
구 묶음은 띄어쓰기에서 사용했던 기계학습 방법과 구 묶음 사전을 이용하여 구현했다. 구 묶음을 수행하기 위해서는 형태소 분석 및 품사 부착 과정이 반드시 선행되어야 한다.
초기 학습용 답안은 언어 처리 결과가 완전히 일치하는 학생 답안들을 하나의 유형으로 간주하고, 각 유형에 속한 답안 수의 빈도순으로 정렬한다. 그 뒤, 채점자가 고빈도 답안의 유형에 관해 수동으로 채점을 진행하여 학습 모델 생성에 사용할 학습 데이터를 생성한다. 이 때, 유형을 몇 개나 채점할 것인지는 채점자의 판단에 맡긴다.
철자교정은 대칭 삭제 교정 알고리즘[26]으로 구현했다. 문장 분리 기능은 문장부호 정보와 앞어절의 어미 정보, 뒤 어절의 어두 정보를 사용한 기계학습을 통해 구현했다. 띄어쓰기 교정은 [27]의 기계학습 방법으로 구현했다.
띄어쓰기 교정은 [27]의 기계학습 방법으로 구현했다. 문장부호 제거는 정규표현식(regular expression)을 통해 구현했다.
중요한 시험에서 채점오류는 자동채점 시스템의 신뢰성을 떨어뜨릴 뿐 아니라 때로는 중대한 사회적 문제를 야기할 수도 있다. 본 논문에서는 이러한 문제를 최소화하기 위해서 3 종류의 서로 다른 특성을 가진 분류기를 사용하고 이들의 채점 결과가 완전히 일치할 때만 채점된 것으로 간주하는 만장일치제를 사용한다. 제안된 자동채점 시스템의 평가를 위한 실험에 2014년 국가수준 학업성취도 평가의 국어, 사회, 과학 교과의 서답형 문항을 사용했다.
부정표현 인식은 부정부사(‘못’, ‘안’, ‘아니’), 부정 보조용언구(‘~지 못하/않/아니하’, ‘~지 마라’, ‘~지 말자’), 부정 구묶음(‘~ㄹ/을 수 없’), 부정용언(‘아니다’, ‘없다’) 등을 이용하여 부정문과 이중부정 표현(‘~지 않으면 안 된다’)[29]을 인식하기 위한 방법으로 [15]에서 언급한 것과 같이 세종말뭉치에서 부정문 패턴을 분석하여 정규 표현식을 통해 추출했다.
생성된 자질 행렬 trainX와 정답 리스트 trainLables를 이용하여 Logistic Regression, Nearest Centroid, 그리고 AdaBoosting 분류기를 학습한다[23]. 시스템에서는 자동채점 결과인 show_testAnswers, show_testLables과 show_probs 를 이용하여 결과를 군집화(clustering)하여 보여준다.
학습 데이터로부터 자질을 추출하여 앙상블 학습 모델을 생성한다. 생성한 모델을 바탕으로 채점되지 않은 답안들에 가장 적절하다고 생각되는 점수를 부여한 뒤, 예측 확률과 점수가 일치하는 군집(cluster)들을 생성하여 채점자에게 확인을 받는다. 채점자가 확인을 끝낸 답안들은 채점 완료된 답안으로 다음 채점 단계의 학습 데이터로 사용된다.
개발 및 성능 개선을 진행 중인 자동채점 시스템은 채점이 완료된 답안과 모범 답안을 학습 데이터로 사용하여 앙상블 분류기를 학습한다. 앙상블 분류기는 Logistic Regression 분류기와 Nearest Centroid 분류기, Adaboosting 분류기의 채점 결과를 조합으로 구현했다. 자동채점 시스템의 실용성을 검증하기 위해 채점자가 채점 결과에 개입, 미개입했을 때의 채점 결과와 교과 전문가가 채점한 결과 사이의 상관계수를 비교했다.
앙상블 분류기는 Logistic Regression 분류기와 Nearest Centroid 분류기, Adaboosting 분류기의 채점 결과를 조합으로 구현했다. 자동채점 시스템의 실용성을 검증하기 위해 채점자가 채점 결과에 개입, 미개입했을 때의 채점 결과와 교과 전문가가 채점한 결과 사이의 상관계수를 비교했다. 비교결과 채점자의 개입 여부와 상관없이 평균 피어슨 상관계수와 평균 카파계수가 모두 0.
본 논문에서는 이러한 문제를 최소화하기 위해서 3 종류의 서로 다른 특성을 가진 분류기를 사용하고 이들의 채점 결과가 완전히 일치할 때만 채점된 것으로 간주하는 만장일치제를 사용한다. 제안된 자동채점 시스템의 평가를 위한 실험에 2014년 국가수준 학업성취도 평가의 국어, 사회, 과학 교과의 서답형 문항을 사용했다. 평가 척도로 피어슨 상관계수와 카파계수를 사용했다.
형태소 분석은 [28]에 나와 있는 것과 같이 형태소의 경계에서 기계학습을 이용한 띄어쓰기 후, 형태소 사전을 탐색하여 가능한 모든 형태소 후보들을 찾는다. 품사 부착은 찾아낸 형태소 후보, 문맥확률과 어휘확률을 이용하여 가중치 네트워크를 만든 뒤, 가중치 네트워크에서 가장 적절한 경로를 찾는 방법으로 구현했다.
데이터처리
제안된 자동채점 시스템의 평가를 위한 실험에 2014년 국가수준 학업성취도 평가의 국어, 사회, 과학 교과의 서답형 문항을 사용했다. 평가 척도로 피어슨 상관계수와 카파계수를 사용했다. 채점자가 개입했을 때와 개입하지 않았을 때의 상관계수 모두 0.
이론/모형
인간 채점자의 채점 결과는 각 문항의 교과 전문가가 여러 단계를 거쳐 확정한 점수로 채점 상의 오류가 없다고 가정한다[15]. 본 실험에서는 이 인간 채점자의 채점 결과와 자동채점 시스템의 채점 결과가 얼마나 유사한지를 피어슨 상관계수[33]와 카파계수[34, 35]를 통해 판단한다. 피어슨 상관계수는 두 변량 X, Y 사이의 상관 정도와 방향을 나타내는 수치이며, 카파계수는 점수 분류(class) 정보에 대한 평가자 2명의 일치도를 측정하는 통계적인 지표이다.
의존구문 분석은 의존문법을 기반으로 구문분석을 수행한다. 의존문법은 의존관계에 있는 언어요소 중 의미의 중심이 되는 지배소(governor)와 지배소가 갖는 의미를 보완해 주는 의존소(dependent)의 관계를 문법으로 표현한 것이다.
의존문법은 의존관계에 있는 언어요소 중 의미의 중심이 되는 지배소(governor)와 지배소가 갖는 의미를 보완해 주는 의존소(dependent)의 관계를 문법으로 표현한 것이다. 이 기능은 스웨덴의 Vaxjo 대학교와 Uppsala 대학교에서 공동으로 개발한 의존구문 분석기인 MaltParser[30]를 이용하여 구현했다.
구문 자질은 의존어와 지배어, 그리고 의존 관계를 자질로 추출한다. 자질 가중치는 정보검색에서 널리 사용되는 TF-IDF[31]를 사용하여 구한다.
문서정규화는 철자교정, 문장 분리, 띄어쓰기 교정, 문장부호 제거로 이루어져 있다. 철자교정은 대칭 삭제 교정 알고리즘[26]으로 구현했다. 문장 분리 기능은 문장부호 정보와 앞어절의 어미 정보, 뒤 어절의 어두 정보를 사용한 기계학습을 통해 구현했다.
평가에 사용된 서답형 문항은 2014년에 시행된 “국가수준 학업성취도 평가”의 국어, 사회, 과학 교과 문항 중 1문장 수준의 문항을 선택했다[15, 32].
성능/효과
자동 채점 시스템을 이용한 채점 결과의 일관성과 신뢰성, 시간의 절약성은 [14-18]에 증명되어 있다. [14-18]의 실험 결과와 본 논문의 실험 결과를 조합해보면 자동채점 시스템을 사용하면 채점의 신뢰성을 확보할 수 있고 시간을 절약할 수 있으며 교과 전문가가 채점한 채점 결과와 유사한 방향으로 채점이 진행되므로, 자동채점 시스템을 실제 채점 환경에서 유용한 도구로 사용할 수 있다.
문항별 카파계수를 비교해보면 피어슨 상관계수와 마찬가지로 채점자가 개입한 경우가 미개입한 경우보다 교과 전문가의 채점 결과와 높은 일치도를 보였다. 카파계수 κ의 값의 범위가 (0.
자동채점 시스템의 실용성을 검증하기 위해 채점자가 채점 결과에 개입, 미개입했을 때의 채점 결과와 교과 전문가가 채점한 결과 사이의 상관계수를 비교했다. 비교결과 채점자의 개입 여부와 상관없이 평균 피어슨 상관계수와 평균 카파계수가 모두 0.75 이상의 값이었다. 이는 자동채점 시스템이 교과 전문가가 채점한 결과와 매우 유사하게 답안에 점수를 부여한 것이라고 해석할 수 있다.
후속연구
향후에는 문항별로 다양한 기계학습 분류기의 성능을 테스트하여 초기 학습용 답안으로 채점할 유형의 수와 문항별로 어떤 분류기의 조합이 좋은 성능을 내는지, 어떤 자질을 사용해야 하는지, 적절한 자질의 수는 어느 정도인지를 실험을 통해 판단할 예정이다. 또한 실험 결과에 따라 문항에 맞춰 분류기의 조합을 달리하여 보다 효율적인 결과를 낼 수 있도록 시스템을 개선하는 방안을 연구할 예정이다.
향후에는 문항별로 다양한 기계학습 분류기의 성능을 테스트하여 초기 학습용 답안으로 채점할 유형의 수와 문항별로 어떤 분류기의 조합이 좋은 성능을 내는지, 어떤 자질을 사용해야 하는지, 적절한 자질의 수는 어느 정도인지를 실험을 통해 판단할 예정이다. 또한 실험 결과에 따라 문항에 맞춰 분류기의 조합을 달리하여 보다 효율적인 결과를 낼 수 있도록 시스템을 개선하는 방안을 연구할 예정이다.
질의응답
핵심어
질문
논문에서 추출한 답변
해외의 자동채점 시스템이 사용되는 곳은?
해외의 자동채점 시스템은 TOFEL(Test of English as a Foreign Language), GMAT(Graduate Management Admission Test), GRE(Graduate Record Examinations) 등의 대규모 시험에서 사용되고 있다[10-13]. 현존하는 자동채점 시스템 들은 어디까지나 채점자가 채점을 쉽게 할 수 있도록 보완 하는 수단으로 사용되고 있으며[9-13], 대부분 기계학습 알고리즘으로 구현되어 있다[10-13].
서답형 문항의 단점을 해결하기 위해 해외에서 사용하는 것은?
그러나 서답형 문항의 경우 채점자의 주관에 의존하여 채점이 진행되기 때문에, 채점 결과의 일관성을 확보하기 어렵다는 단점이 있다. 이런 점을 해결하기 위해 해외에서는 기계학습을 이용한 자동채점 시스템을 채점 도구로 사용하고 있다. 한국어는 영어와 언어학적으로 다른 분류에 속하므로 영어권에서 사용하는 자동채점 시스템을 한국어에 그대로 적용할 수 없다.
서답형 문항의 단점은?
이에 따라 교육과정도 학생들의 종합적인 사고력을 판단할 수 있는 서답형 문항을 늘리는 방향으로 변하고 있다. 그러나 서답형 문항의 경우 채점자의 주관에 의존하여 채점이 진행되기 때문에, 채점 결과의 일관성을 확보하기 어렵다는 단점이 있다. 이런 점을 해결하기 위해 해외에서는 기계학습을 이용한 자동채점 시스템을 채점 도구로 사용하고 있다.
참고문헌 (35)
S-D. Choi, J-Y. Kim, S-J. Ban, K-J. Lee, S-J. Lee, and H-Y. Choi, "Education Strategy to Foster Creative Talent for the 21st Century," Korean Educational Development Institute Research Report, RR 2011-01, 2011.
Ministry of Education, Science, and Technology, "Introduction to 2009 Revised National Curriculum," Ministry of Education, Science, and Technology Notification (2009-41), 2009.
Ministry of Education, Science, and Technology, "The Future Korea to Open Using Creative Talent and Advanced Science and Technology," 2011 Business Report, 2010.
Ministry of Education, Science, and Technology, "The Master Plan for Creativity-Character Education," Press Release, 2011.
Ministry of Education, Science, and Technology, "The Plan for Improving Education Management for Secondary Schools," Press Release, 2011.
Ministry of Education, "Introduction to National Curriculum for Elementary and Secondary Schools," Ministry of Education Notification (2015-74), 2015.
Korean Society for Educational Evaluation, "Dictionary of Educational Evaluation Terms," Seoul: Hakjisa, 2004.
J-S. Kim, "Guidelines for Short-Answer Questions in Korean Subject," Secondary Schools Policy Division in Chungcheongnamdo Office of Education, p.7, 2009.
K-A. Jin, "Development of Automated Scoring System for English Writing," English Language & Literature Teaching, Vol.13, No.1, pp.236-237, 2007.
Y. Attali and J. Burstein, "Automated Essay Scoring with E-rator v.2.0," ETS Research Report RR-04-45, 2005.
M. D. Shermis and J. Burstein, "Automated Essay Scoring: A Cross-Disciplinary Perspective," Inc., Publishers. Mahawah, New Jersey, 2003.
L. M. Rudner, V. Garcia, and C. Welch, "An Evaluation of the IntelliMetricSM Essay Scoring System," The Journal of Technology, Learning, and Assessment, Vol.4, No.4, 2006.
N-H. Noh, S-H. Lee, E-Y. Lim, K-H. Sung, and S-Y. Park, "The Development and Evaluation for Automatic Scoring Programs in Korean Large-Scale Assessments," Korea Institute of Curriculum & Evaluation, Research Report RRE 2014-6, 2014.
E-H. Noh, M-Y. Song, K-H. Sung, and S-Y. Park, "Refinements and Application of Automatic Scoring Programs for Korean Large-scale Assessments," Korea Institute of Curriculum & Evaluation, Research Report RRE 2015-9, 2015.
M.-Y. Song, E.-H. Noh, and K.-H, Sung, "Analysis on the Accuracy of Automated Scoring for Korean Large-scale Assessment," The Journal of Curriculum and Evaluation, Vol.19, No.2, pp.255-274, 2016.
M-A. Cheon, H-W. Seo, J-H. Kim, E-H. Noh, K-H. Sung, and E-Y. Lim, "Semi-Automatic Scoring for Short Korean Free-Text Responses Using Semi-Supervised Learning," Korean Journal of Cognitive Science, Vol.26, No.2, pp.147-165, 2015.
M-A. Cheon, H-W. Seo, J-H. Kim, E-H. Noh, and K-H. Sung, "Effects of Human Raters on Results of an Automatic Scoring System Based on Semi-Supervised Learning," Proceedings of Korea Computer Congress 2015, pp.666-668, 2015.
D. Y. Jung, "Evaluation of Short and Long Essay Questions By Using Vector similarity and Thesaurus," Master's Thesis in Graduate School of Education Dongguk University, 2001.
H. J. Park and W. S. Kang, "Design and Implementation of a Subjective-type Evaluation System Using Natural Language Processing Technique," The Journal of Korean Association of Computer Education, Vol.6, No.3, pp.207-217, 2003.
W.-S. Kang, "Automatic Grading System for Subjective Questions Through Analyzing Question Type," The Journal of the Korea Contents Association, Vol.11, No.2, pp.13-21, 2011.
W. J. Cho, J. S. Oh, J. Y. Lee, and Y.-S. Kim, "An Intelligent Marking System based on Semantic Kernel and Korean WordNet," The KIPS Transactions: Part A., Vol.12, No.6, pp.539-546, 2005.
P. Harrigton, "Machine Learning in Action," Manning Publications, 2012.
A. Sogaard, "Semi-Supervised Learning and Domain Adaptation in Natural Language Processing," Morgan & Claypool Publishers, 2013.
S.-S. Kang, "Korean Morphological Analysis and Information Retrieval (Korean edition)," Hong Reunggwahakchulpansa, 2002.
M.-A. Cheon, "Morphological Analysis and Part-of-Speech Tagging for Applying Korean Automated Scoring of Short-Answer Questions," Master's Thesis in Graduate School of Korea Maritime and Ocean University, 2016.
The National Institute of The Korean Language, "Korean Grammar for Foreigners 1," Seoul: Communicationbooks, 2005.
J. Nivre, "Algorithms for Deterministic Incremental Dependency Parsing," Computational Linguistics, Vol.34, No.4, pp.513-553, 2008.
G. Casella, S. Fienberg and I. Olkin, An Introduction to Statistical Learning with Applications in R, Springer.
Korea Institute for Curriculum & Evaluation, "Test Paper and Answers in 2014 National Assessment of Educational Achievement of Korea," 2014. (http://www.kice.re.kr/board Cnts/list.do?typedefault&page2&searchStr&m030302&C06&boardID1500208&C05&C04&C03&searchTypeS&C02&C01&skice).
D. M. Corey, W. P. Dunlap, and M. J. Burke, "Averaging Correlations: Expected Values and Bias in Combined Pears rs and Fisher's z Transformations," The Journal of General Psychology, Vol.125, No.3, pp. 245-261, 1998.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.