$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

기계 학습을 활용한 논증 수준 자동 채점 및 논증 패턴 분석
Automated Scoring of Argumentation Levels and Analysis of Argumentation Patterns Using Machine Learning 원문보기

한국과학교육학회지 = Journal of the Korean association for science education, v.41 no.3, 2021년, pp.203 - 220  

이만형 (주성고등학교) ,  유선아 (한국교원대학교)

초록
AI-Helper 아이콘AI-Helper

이 연구는 과학적 논증 담화에 대한 자동 채점의 성능 개선 방향을 탐색하였으며, 자동 채점 모델을 활용하여 논증 담화의 양상과 패턴을 분석하였다. 이를 위해 과학적 논증 수업에서 발생한 학생 발화를 대상으로 논증 수준을 평가하는 자동 채점을 수행하였다. 이 자동 채점의 데이터셋은 4가지 단위의 논증 피처와 논증 수준 평가틀로 구성되었다. 특히, 자동 채점에 논증 패턴을 반영하기 위하여 논증 클러스터와 n-gram을 활용하였다. 자동 채점 모델은 3가지의 지도 학습 기법으로 구성되었으며, 그 결과 총 33개의 자동 채점 모델이 구성되었다. 자동 채점의 결과, 최대 85.37%, 평균 77.59%의 채점 정확도를 얻었다. 이 과정에서 논증 담화의 패턴이 자동 채점의 성능을 개선하는 주요한 피처임을 확인하였다. 또한, 의사결정 나무와 랜덤 포레스트의 모델을 통하여 과학적 논증 수준에 따른 논증의 양상과 패턴을 분석하였다. 이를 통하여 주장, 자료와 함께 정당화가 체계적으로 구성된 과학적 논증과 자료에 대한 활발한 상호작용이 이루어진 과학적 논증이 논증 수준의 발달을 이끈다는 점 등을 확인하였다. 이와 같은 자동 채점 모델의 해석은 논증 패턴을 분석하는 새로운 연구 방법을 제언하는 것이다.

Abstract AI-Helper 아이콘AI-Helper

We explored the performance improvement method of automated scoring for scientific argumentation. We analyzed the pattern of argumentation using automated scoring models. For this purpose, we assessed the level of argumentation for student's scientific discourses in classrooms. The dataset consists ...

주제어

표/그림 (28)

참고문헌 (39)

  1. Breiman, L. (2001). Random forests. Machine learning, 45(1), 5-32. 

  2. Choi, J., Song, H., & Nam, K. (2010). Formulaic Expressions in Korean. Discourse and Cognition, 17(2), 163-190. 

  3. Clark, D. B., & Sampson, V. (2008). Assessing dialogic argumentation in online environments to relate structure, grounds, and conceptual quality. Journal of Research in Science Teaching, 45(3), 293-321. 

  4. Driver, R., Newton, P., & Osborne, J. (2000). Establishing the norms of scientific argumentation in classrooms. Science education, 84(3), 287-312. 

  5. Duschl, R. (2008). Science education in three-part harmony: Balancing conceptual, epistemic, and social learning goals. Review of research in education, 32(1), 268-291. 

  6. Erduran, S., Simon, S., & Osborne, J. (2004). TAPping into argumentation: Developments in the application of Toulmin's argument pattern for studying science discourse. Science education, 88(6), 915-933. 

  7. Fauzi, M. A., Utomo, D. C., Setiawan, B. D., & Pramukantoro, E. S. (2017, August). Automatic essay scoring system using N-gram and cosine similarity for gamification based E-learning. In Proceedings of the International Conference on Advances in Image Processing (pp. 151-155), Bangkok, Thailand. 

  8. Ford, M. (2008). Disciplinary authority and accountability in scientific practice and learning. Science Education, 92(3), 404-423. 

  9. Gonzalez-Howard, M. & McNeill, K. L. (2017, April). Variation in how teachers support critique in argumentation discussions. Paper presented at the annual meeting of the National Association for Research in Science Teaching(NARST), San Antonio, TX. 

  10. Grooms, J., Sampson, V., & Enderle, P. (2018). How concept familiarity and experience with scientific argumentation are related to the way groups participate in an episode of argumentation. Journal of Research in Science Teaching, 55(9), 1264-1286. 

  11. Ha, M., Lee, G.-G., Shin, S., Lee, J.-K., Choi, S., Choo, J., Kim, N., Lee, H., Lee, J., Lee, J., Jo, Y., Kang, K., & Park, J. (2019). Assessment as a Learning-Support Tool and Utilization of Artificial Intelligence: WA3I Project Case. School Science Journal, 13(3), 271-282. 

  12. Henderson, J. B., & Osborne, J. F. (2019). Using computer technology to support the teaching and learning of argumentation in chemistry. In Erduran, S. (Eds), Argumentation in Chemistry Education (pp. 79-105). London: Royal Society of Chemistry. 

  13. Jeong, A. C. (2003). The sequential analysis of group interaction and critical thinking in online. The American Journal of Distance Education, 17(1), 25-43. 

  14. Kelly, G. J., Druker, S., & Chen, C. (1998). Students' reasoning about electricity: Combining performance assessments with argumentation analysis. International journal of science education, 20(7), 849-871. 

  15. KICE(Korea Institute Of Curriculum & Evaluation). (2006). A Study on the Development and Introduction of an Automated Scoring Program(RRI 2006-6). Retrieved from http://kice.re.kr/resrchBoard/view.do?seq19388&skice&m030102 

  16. Kil, H.-h. (2018). The Study of Korean Stopwords list for Text mining. The Korean Language and Literature, 78, 1-25. 

  17. Kim, M., & Ryu, S. (2020). Teacher Feedback on Process-Centered Assessment for Scientific Argumentation. Journal of The Korean Association For Science Education, 40(3), 271-289. 

  18. Kim, S.-J. (2019). Exploring the Possibility of Using N-gram Feature for Automatic Scoring of Argumentative Writing Tasks. The research in writing, 41, 37-62. 

  19. Lee, G.-G., Ha, H., Hong, H.-G., & Kim, H.-B. (2018). Exploratory Research on Automating the Analysis of Scientific Argumentation Using Machine Learning. Journal of The Korean Association For Science Education, 38(2), 219-234. 

  20. Lee, M., & Ryu. S. (2020). Automated Scoring of Scientific Argumentation Using Expert Morpheme Classification Approaches. Journal of The Korean Association For Science Education, 40(3), 321-336. 

  21. Liu, O. L., Rios, J. A., Heilman, M., Gerard, L., & Linn, M. C. (2016). Validation of automated scoring of science assessments. Journal of Research in Science Teaching, 53(2), 215-233. 

  22. Maeng, S., Park, Y.-S., & Kim, C.-J. (2013). Methodological Review of the Research on Argumentative Discourse Focused on Analyzing Collaborative Construction and Epistemic Enactments of Argumentation. Journal of The Korean Association For Science Education, 33(4), 840-862. 

  23. McNeill, K. L., & Krajcik, J. (2007). Middle school students' use of appropriate and inappropriate evidence in writing scientific explanations. In Marsha C. Lovett & Priti Shah (Eds), Thinking with Data (pp. 233-265). NY: Taylor & Francis. 

  24. Nam, J., Kwak, K.,, Jang, K., & Hand, B. (2008). The Implementation of Argumentation Using Science Writing Heuristic (SWH) in Middle School Science. Journal of The Korean Association For Science Education, 28(8), 922-936. 

  25. Nielsen, J. A. (2013). Dialectical features of students' argumentation: A critical review of argumentation studies in science education. Research in Science Education, 43(1), 371-393. 

  26. Osborne, J., Erduran, S., & Simon, S. (2004). Enhancing the quality of argumentation in school science. Journal of research in science teaching, 41(10), 994-1020. 

  27. Osborne, J. F., Henderson, J. B., MacPherson, A., Szu, E., Wild, A., & Yao, S. Y. (2016). The development and validation of a learning progression for argumentation in science. Journal of Research in Science Teaching, 53(6), 821-846. 

  28. Park, C., Kim, Y, Kim, J, Song, J., & Choi, H. (2015). R data mining. Seoul: Kyowoo. 

  29. Park, E. L., & Cho, S. (2014). KoNLPy: Korean natural language processing in Python. In Proceedings of the 26th Annual Conference on Human & Cognitive Language Technology (pp. 133-136), Chuncheon, Korea. 

  30. Ryu, S., & Sandoval, W. A. (2015). The influence of group dynamics on collaborative scientific argumentation. Eurasia Journal of Mathematics, Science and Technology Education, 11(3), 335-351. 

  31. Sampson, V., & Clark, D. B. (2008). Assessment of the ways students generate arguments in science education: Current perspectives and recommendations for future directions. Science education, 92(3), 447-472. 

  32. Sampson, V., Enderle, P. J., & Walker, J. P. (2012). The development and validation of the assessment of scientific argumentation in the classroom (ASAC) observation protocol: A tool for evaluating how students participate in scientific argumentation. In M. S. Khine(2012).(Ed.), Perspectives on scientific argumentation (pp. 235-264). Dordrecht, Netherlands: Springer. 

  33. Shin, H. S., & Kim, H.-J. (2012). Development of the Analytic Framework for Dialogic Argumentation Using the TAP and a Diagram in the Context of Learning the Circular Motion. Journal of the Korean Association for Science Education, 32(5), 1007-1026. 

  34. Toulmin, S. (1958). The uses of argument. Cambridge, UK: Cambridge University Press. 

  35. Tsoumakas, G., & Vlahavas, I. (2007, September). Random k-labelsets: An ensemble method for multilabel classification. In Proceedings of the 18th European Conference on Machine Learning (pp. 406-417), Warsaw, Poland. 

  36. Yang, I. H., Lee, H. J., Lee, H. N., & Cho, H. J. (2009). The development of rubrics to assess scientific argumentation. Journal of The Korean Association For Science Education, 29(2), 203-220. 

  37. Vygotsky, L. S. (1978). Mind in society: The development of higher psychological processes. Cambridge, MA: Harvard University Press. 

  38. Wachsmuth, H., Al Khatib, K., & Stein, B. (2016, December). Using argument mining to assess the argumentation quality of essays. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics (pp. 1680-1691), Osaka, Japan. 

  39. Zohar, A., & Nemet, F. (2002). Fostering students' knowledge and argumentation skills through dilemmas in human genetics. Journal of Research in Science Teaching, 39(1), 35-62. 

저자의 다른 논문 :

관련 콘텐츠

오픈액세스(OA) 유형

FREE

Free Access. 출판사/학술단체 등이 허락한 무료 공개 사이트를 통해 자유로운 이용이 가능한 논문

이 논문과 함께 이용한 콘텐츠

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로