[논문]인공지능 기반의 언어 생성 모델 분석

이승철; 장용훈; 박창현; 서영석

[국내논문] 인공지능 기반의 언어 생성 모델 분석
AI-based language generation model analysis 원문보기

이승철 (영남대학교 컴퓨터공학과) , 장용훈 (영남대학교 컴퓨터공학과) , 박창현 (영남대학교 컴퓨터공학과) , 서영석 (영남대학교 컴퓨터공학과)

1989년에 WWW(World Wide Web)이 도입 되면서 세계적으로 인터넷의 보급이 시작되었다. 정보화 시대라고 알려진 3차 산업혁명 이후로 대량의 정보들이 소셜 미디어를 통하여 생산되었다. 소셜미디어는 2007년에 인터넷 사용자들 중 56%의 이용률을 보였지만 2008년 2분기에는 75%의 이용률로 증가함에 따라 대부분의 사용자들이 많이 사용하며 의존하게 되었다. 또한 소셜 미디어를 통해 발생 되는 데이터들을 이용하여 기업들은 이윤 창출을 할 수 있다. 하지만 이러한 소셜 미디어는 악의적인 목적을 통해 주가 조작, 정치적 선동 등을 할 수 있는 가짜 뉴스와 허위 정보들을 생성할 수 있으며 이에 따라 대책이 시급하다. 또한 가짜 뉴스는 사람이 글을 작성할 수도 있지만 최근 인공지능 기술의 발달에 따라 프로그램을 통해 자동적으로 생성 될 수도 있다. 본 논문에서는 이와 같은 실제 뉴스와 인공지능을 기반으로 한 뉴스를 분석한다. Kaggle에서 실제 뉴스 데이터를 수집하여 헤드라인을 OpenAI의 GPT-2 언어 모델을 통해 뉴럴 가짜 뉴스를 생성 하였다. 파이썬의 NLTK 모듈을 이용하여 전처리를 진행하였고 t-검정과 박스 플롯을 활용하여 분석을 진행하였다. 분석된 주요 속성들을 의사결정트리를 통해 모델 검증을 하였고 k-fold 교차검증을 통해 분류 모델을 평가하였다. 결과로 전체 분류 정확도 평균 89%의 성능을 보여주었다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 눈문에서 실제 인간이 작성한 뉴스와 인공지능을 기반으로 한 언어 생성 모델이 작성한 뉴스의 분류를 위한 분석을 진행한다.
사설 뉴스의 진실 및 거짓 여부 판단이 어렵고 인공지능에 기반한 언어 모델을 통하여 뉴스를 작성하게 되면 더더욱 어려워 지게 된다. 본 연구에서는 인간이 작성한 실제 뉴스와 OpenAI에서 개발한 GPT-2 언어 모델 검증을 하였다. 실제 뉴스 수집을 위해 Kaggle을 통하여 데이터를 다운로드 하였으며 다운로드 된 데이터의 헤드라인 GPT-2 언어 모델을 통하여 뉴럴 가짜 뉴스를 생성하였다.

제안 방법

본 연구에서는 인간이 작성한 실제 뉴스와 OpenAI에서 개발한 GPT-2 언어 모델 검증을 하였다. 실제 뉴스 수집을 위해 Kaggle을 통하여 데이터를 다운로드 하였으며 다운로드 된 데이터의 헤드라인 GPT-2 언어 모델을 통하여 뉴럴 가짜 뉴스를 생성하였다. 수집한 실제 뉴스와 생성된 뉴럴 가짜 뉴스의 텍스트를 파이썬의 NLTK 모듈을 통해 전처리 작업을 진행 하였으며 이를 분석하기 위해 t-검정과 박스 플롯을 활용하였다.
실제 뉴스와 뉴럴 가짜 뉴스의 분류를 위해 의사결정트리를 사용하였다. 학습 데이터 검증 데이터의 균형을 위해 k-fold 교차 검증을 진행 하였으며 결과는 표 3에 나타내었다.
마찬가지로 GPT-2로 생성한 뉴스의 테이블을 정의하였으며 헤드라인은 뉴럴 가짜 뉴스를 생성하기 위해 제시했었던 키워드로 설정하였다. 실제뉴스 테이블과 뉴럴 가짜 뉴스 테이블을 유니온한 후 파이썬의 자연언어처리지원모듈인 NLTK를 통하여 뉴스의 내용을 표 1과 같이 25개의 속성으로 전처리 작업을 진행하여 데이터베이스에 저장한다. 최종 레이블 된 테이블을 t-검정과 파이썬의 seaborn 모듈을 이용하여 분석결과를 시각화 하며 분류 모델을 통한 검증을 진행한다.

대상 데이터

비영리 인공지능 연구기관인 OpenAI는 2019년 2월에 GPT-2를 발표하였다. GPT-2는 텍스트 생성 기능을 가진 인공지능 모델로서 학습에 사용된 데이터는 약 800만 건의 웹 페이지 데이터와 약 1,000만 건의 텍스트를 사용하였다. 단어나 문장을 키워드로 제시를 하면 약 40GB의 데이터를 기반으로 한 텍스트를 생성해준다.
실제 인간이 작성한 뉴스를 실제 뉴스라 통일하며 뉴럴 가짜 뉴스와의 차이를 확인하기 위해 실제 뉴스 300건과 뉴럴 가짜 뉴스 300건을 활용하였다. 표 2는 각 속성에 대해 t-r검정을 수행한 결과이며, 그림 2는 각 속성들에 대한 데이터 분포를 박스플롯을 이용하여 유의미한 차이가 있는 속성을 나타낸 것이다.

데이터처리

최종 레이블 된 테이블을 t-검정과 파이썬의 seaborn 모듈을 이용하여 분석결과를 시각화 하며 분류 모델을 통한 검증을 진행한다.
실제 뉴스 수집을 위해 Kaggle을 통하여 데이터를 다운로드 하였으며 다운로드 된 데이터의 헤드라인 GPT-2 언어 모델을 통하여 뉴럴 가짜 뉴스를 생성하였다. 수집한 실제 뉴스와 생성된 뉴럴 가짜 뉴스의 텍스트를 파이썬의 NLTK 모듈을 통해 전처리 작업을 진행 하였으며 이를 분석하기 위해 t-검정과 박스 플롯을 활용하였다. 숫자 사용수, 단어의 수, 문장의 수, 강한 부정 단어 사용의 수, 약한 부정 단어 사용의 수, 명사 사용 수, 미 분류 속성의 수중에서 강한 부정 단어 사용의 수와 미 분류 속성의 수를 제외한 나머지 속성에서 p-value가 0.
실제 뉴스와 뉴럴 가짜 뉴스의 분류를 위해 의사결정트리를 사용하였다. 학습 데이터 검증 데이터의 균형을 위해 k-fold 교차 검증을 진행 하였으며 결과는 표 3에 나타내었다. 분류 모델의 성능은 k-fold step 4에서 92%의 정확도를 나타내었고 분류 정확도의 평균 80%의 성능을 달성하였다.

성능/효과

하지만 GPT-2는 1시간에 수백에서 수천 개의 뉴스 기사를 생성할 수 있다. 결과적으로 진실과 거짓을 구분 할 수 없는 글들이 소셜 미디어를 통해 전파되어 가짜 뉴스, 주식에 관련한 거짓 정보, 정치적 선동이 가능한 그들로 인하여 소셜 미디어의 사용자들에게 혼란을 야기할 수 있다.
05보다 큰 것을 통해 통계학적으로 유의미한 것을 확인하였다. 또한 의사결정트리를 통해 분류 모델 검증을 하였으며 k-fold교차 검증을 통해 데이터의 볌위별 분류 정확도의 평균 89%의 성능을 달성하였다.
학습 데이터 검증 데이터의 균형을 위해 k-fold 교차 검증을 진행 하였으며 결과는 표 3에 나타내었다. 분류 모델의 성능은 k-fold step 4에서 92%의 정확도를 나타내었고 분류 정확도의 평균 80%의 성능을 달성하였다.
수집한 실제 뉴스와 생성된 뉴럴 가짜 뉴스의 텍스트를 파이썬의 NLTK 모듈을 통해 전처리 작업을 진행 하였으며 이를 분석하기 위해 t-검정과 박스 플롯을 활용하였다. 숫자 사용수, 단어의 수, 문장의 수, 강한 부정 단어 사용의 수, 약한 부정 단어 사용의 수, 명사 사용 수, 미 분류 속성의 수중에서 강한 부정 단어 사용의 수와 미 분류 속성의 수를 제외한 나머지 속성에서 p-value가 0.05보다 큰 것을 통해 통계학적으로 유의미한 것을 확인하였다. 또한 의사결정트리를 통해 분류 모델 검증을 하였으며 k-fold교차 검증을 통해 데이터의 볌위별 분류 정확도의 평균 89%의 성능을 달성하였다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 인공지능 기반의 언어 생성 모델 분석
AI-based language generation model analysis 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 인공지능 기반의 언어 생성 모델 분석 AI-based language generation model analysis 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 인공지능 기반의 언어 생성 모델 분석
AI-based language generation model analysis 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper