[논문]ChatGPT를 활용한 AI 글쓰기 의사소통 역량 평가도구 개발 과정에 대한 연구: 기술 전문가와의 상호소통을 중심으로

박소영; 이병윤; 홍유정

doi:10.14702/jpee.2024.021

[국내논문] ChatGPT를 활용한 AI 글쓰기 의사소통 역량 평가도구 개발 과정에 대한 연구: 기술 전문가와의 상호소통을 중심으로
An Exploratory Study on Developing the AI Essay Test Tool based on ChatGPT: Focusing on the Interaction with the Engineer

JPEE : Journal of practical engineering education = 실천공학교육논문지, v.16 no.1/spc, 2024년, pp.21 - 31

박소영 (숙명여자대학교 교육학부) , 이병윤 (숙명여자대학교 교육연구소) , 홍유정 (서울대학교 윤리교육과)

초록
AI-Helper

본 연구는 ChatGPT를 활용한 글쓰기 의사소통 역량을 평가하는 AI 평가도구 개발에 초점을 두었다. 개발 과정에 있어 내용 전문가와 기술 전문가 간의 상호작용을 통해 IT와 인문사회 영역의 융합과정을 탐구하였다. 내용 전문가와 기술 전문가는 긴밀한 소통 및 상호작용을 통해, 글쓰기 의사소통 역량의 채점기준을 탑재하였고 각 영역별(내용의 적절성, 조직의 효과성, 어법의 정확성) 점수와 피드백을 제공하는 AI 평가도구를 개발하였다. 이 과정에서 본 연구는 내용과 기술이 어떻게 결합하는지에 대한 과정을 드러내고, 이후 생성형 AI를 활용한 평가도구 기술 전문가를 포함한 융합연구자들이 유의해야 할 사항 등에 대해 제시하였다.

Abstract ▼ AI-Helper

This study focused on the development of an AI essay tool for assessing writing-communication competence using ChatGPT. During the development process, the interaction between content expert and technical expert was emphasized to explore the fusion of IT and humanities and social sciences. Through close communication and interaction between the content and technical experts, they incorporated scoring criteria for writing-communication competence and developed an AI essay test tool that provides scores and feedback in the appropriateness of content, effectiveness of organization, and accuracy of grammar. This process revealed how content and technology combine and presented considerations for future fusion researchers, including technical experts in generative AI assessment tools.

Keyword

표/그림 (5)

표 표 1. 글쓰기 의사소통 역량 채점기준 Table 1. Essay grading criteria
표 표 2. 글쓰기 의사소통 역량 평가도구 개발 순서 Table 2. Development process of the AI essay test tool
그림 그림 1. 글쓰기 의사소통 역량 평가플랫폼 최종버전 UI 화면 Fig. 1. Final version UI screen of the AI essay test tool.
그림 그림 2. 글쓰기 의사소통 역량 채점결과 화면 Fig. 2. Results screen of the AI essay test tool.
표 표 3. 평가도구 개발을 위한 내용 전문가와 기술 전문가 간 상호작용 Table 3. Interaction between content experts and technical experts in developing the AI essay test tool

참고문헌 (20)

S. H. Kim, K. S. Kim, S. Kim, Y. Kim, J. H. Kim, J. B.？Kim, H. I. Kim, H. B. Kim, H. C. Kim, H. R. Kim, D.？Park, S. J. Park, C. S. Park, W. S. Sohn, S. Song, J. K.？Shim, J. H. Lee, J. S. Lee, S. Jun, W. Jun, Y. Jeong, U.？Jung, and J. Seo, "Analysis of functions and services for？the development of AI education platform," The Journal？of Korean Association of Computer Education, vol. 24,？no. 2, pp. 25-37, March, 2021.
AIEDAP. Monthly Report [Internet]. Available: https://aiedap.or.kr/
H. Jang and H. J. So, "The analysis of research trends and？topics about the educational use of ChatGPT," Journal of？Research in Curriculum & Instruction, vol. 27, no. 4, pp.？387-401, August, 2023.
AI Times, "AI trends identified at the Edutech Korea？Fair," Sep. 22, 2023 [Online]. Available: https://www.aitimes.com/news/articleView.html?idxno153859
H. Park, S. S. Kim, K. H. Kim, M. Lee, K. K. Kim, and？J. Kim, "Substanitializing methods of restricted and extended response essay assessment through enforcing the？instruction-assessment alignment," Jincheon: Chungbuk,？KICE Report, 2019.
K. Ercikan and D. F. McCaffrey, "Optimizing implementation of artificial intelligence-based automated scoring:？an evidence centered design approach for designing assessments for AI-based scoring," Journal of Educational？Measurement, vol. 59, no. 3, pp. 272-287, September, 2022.

상세보기
Korea Education Culture News, "Siwon School Lab-Data？Bank, providing AI mock test platform 'The Test Glider',"？Oct. 18, 2023 [Online]. Available: https://www.kecn.co.kr/news/articleView.html?idxno1723
S. W. Han and W. J. Kim, "A study on the effects of communicative competence on information literacy of undergraduates," Journal of the Korean Library and Information Science, vol. 50, no. 1, pp. 377-394, February, 2016.
C. Lim, "The development and effects of design and？implementation strategies for supporting web-based self-regulated learning," Journal of Educational Technology,？vol. 18, no. 4, pp. 3-23, December, 2002.
B. Kim, Y. Jeon, J. Kim, C. Hong, and T. Kim, "A study？of IT convergence desired talent based on computation？thinking," in Proceeding of the 2014 Winter Conference？of the Korean Association of Computer Education, Seoul,？pp. 27-33, 2014.
J. M. Lee, T. Hur, J. B. Lee, G. Hwang, and K. Om, "Analysis？of human resources practices and career path movement？in the field of convergence technologies," The Journal of？the Korea Contents Association, vol. 10, no. 5, pp. 446-459,？April, 2010.
J. Kim, "BSC (Balanced Scorecard) implementation factors and firm performance: The role of communication,？strategic alignment, and cooperation," Korean Accounting？Journal, vol. 20, no. 1, pp. 233-264, March, 2011.
J. Bae and G. Jeon, "A study on the influencing factors？and performance of communication patterns among partners in collaborative R&D projects," in Proceeding of the？1998 Spring Conference of KIEE and KORMS, Pusan,？pp. 1-9, 1998.
V. Spandel and R. Culham, "Writing assessment," in A？Handbook for Student Performance Assessment in an Era？of Restructuring. Alexandria, VA: ASCD.
J. Park and Y. Park, "A study on the differences of the？anchor papers according the rater consistence," Korean？Writing Association, vol. 14, pp. 301-338, March, 2012.
I. Park and B. Kim, "Determinants of successful R&D cooperations between SMEs and public research institutes in？Korea," Journal of Korea Technology Innovation Society,？vol. 15, no. 4, pp. 783-814, December, 2012.
B. Min, Y. Oh, S. Lee, S. Ahn, K. Kim, M. Kim, J. Son,？J. Lee, and S. Chang, "Development of a writing ability？diagnosis system for university first-year students - The？Seoul National University essay examination," The Korean？Journal of Literacy Research, vol. 13, no. 6, pp. 45-76,？December, 2022.
Y. M. Park, "The method and procedure of evaluating？writing ability," The Journal of Korean Language and Literature Education, pp. 1-29.
S. Seo, "Study on setting the components of writing assignment," Korean Language Education Research, vol.？33, pp. 449-472, December, 2008.
H. Song, "An analysis of basic grammar evaluations for？college students' writing," The Journal of Korean Language？and Literature Education, vol. 35, pp. 31-57, June, 2015.？

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증