[논문]한국어 극성 사전 구축을 위한 크라우드소싱 기반 감성 단어 극성 태깅 게임

김준기; 강신진; 배병철

doi:10.7583/jkgs.2017.17.2.135

한국어 극성 사전 구축을 위한 크라우드소싱 기반 감성 단어 극성 태깅 게임
A Crowdsourcing-based Emotional Words Tagging Game for Building a Polarity Lexicon in Korean 원문보기

한국게임학회 논문지 = Journal of Korea Game Society, v.17 no.2, 2017년, pp.135 - 144

김준기 (홍익대학교 문화정보정책대학원 게임프로듀싱전공) , 강신진 (홍익대학교 문화정보정책대학원 게임프로듀싱전공) , 배병철 (홍익대학교 문화정보정책대학원 게임프로듀싱전공)

초록
AI-Helper

감성 분석은 글을 통해 작성자의 주관적인 생각이나 느낌을 분석하는 방법으로 효과적인 감성 분석을 위해서는 감성 단어 극성 사전 구축이 필수적이다. 본 논문은 효율적인 한국어 극성 사전 구축을 위해 우리가 개발한 크라우드소싱 기반 게임을 소개한다. 먼저, 크롤러를 이용해 인터넷 커뮤니티에서 말뭉치들을 수집했고, Twitter 형태소를 이용해 수집한 말뭉치를 형태소별로 분류하고 단어화했다. 이 단어들은 모바일 플랫폼 기반 태깅 게임 형태로 제공되어 게임플레이를 통해 플레이어들이 자발적으로 단어들의 극성을 선택하고 결과가 데이터 베이스에 축적되도록 게임이 설계되었다. 현재까지 약 1200여개의 단어들의 극성을 태깅하였으며, 향후 좀 더 많은 감성 단어 데이터들을 축적함으로써 특히 게임 도메인에서 한국어 감성 분석 연구에 기여할 것으로 기대한다.

Abstract ▼ AI-Helper

Sentiment analysis refers to a way of analyzing the writer's subjective opinions or feelings through text. For effective sentiment analysis, it is essential to build emotional word polarity lexicon. This paper introduces a crowdsourcing-based game that we have developed for efficiently building a polarity lexicon in Korean. First, we collected a corpus from the relating Internet communities using a crawler, and we classified them into words using the Twitter POS analyzer. These POS-tagged words are provided as a form of mobile platform based tagging game in which the players voluntarily tagged the polarities of the words, and then the result was collected into the database. So far we have tagged the polarities of about 1200 words. We expect that our research can contribute to the Korean sentiment analysis research especially in the game domain by collecting more emotional word data in the future.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 우리가 개발한 크라우드소싱 기반 감정 단어 구축 게임을 소개하였다. 먼저, 웹크롤러를 통해 인터넷 커뮤니티 게시글들을 모았고, Twitter 형태소 분석기를 사용해 형용사, 동사, 부사를 추출해 감정 사전용 단어 리스트를 만들었다.
트위터 형태소 분석기는 트위터에서 만든 오픈소스 한국어 분석기로서, 스칼라 언어로 작성되었으며 텍스트 정규화와 형태소 분석, 스테밍 등을 지원하고, 짧은 트윗부터 긴 글까지 처리가 가능하다. 이 형태소 분석기의 목표는 완전한 수준의 형태소 분석이 아니라 빅데이터 등에서 간단한 한국어 처리를 통해 색인 어를 추출하는데 있다. 우리는 Python 언어를 사용해 [Table 2]와 같은 포맷으로 단어들의 형태소와 빈도수를 추출하는 프로그램을 만들었다.
수동으로 구축되는 감성 사전은 감성 분석을 하는데 기준이 될 수 있지만, 이의 구축을 위해서는 많은 시간과 인력이 필요하다. 이러한 문제를 해결하기 위해 본 논문은 집단 지성 (Collective Intelligence) 기반 기능성 게임을 소개한다. 흔히 목적이 있는 게임 (Games with a Purpose; GWAP)이라고도 불리는 집단지성 또는 크라우드 소싱 (Crowdsourcing) 기반 기능성 게임은 기계 또는 컴퓨터가 풀기 어려운 문제를 불특정 다수의 사람들이 자발적으로 참여하여 문제를 해결하는 방식이다[7].
극성이 일치했을 경우에는 100점을 얻고 그렇지 않은 경우에는 점수를 얻을 수 없도록 했다. 이렇게 함으로써 플레이어들이 자신이 분류한 극성이 맞았는지 틀렸는지 알 수 있도록 했다. 연속으로 맞췄을 경우에는 콤보가 올라가게 되고, 콤보/5 *0.

제안 방법

게임을 사용해 감성 사전을 구축한 연구도 있었는데, Guesstiment의 경우 2명이서 하는 비동기 게임으로 영어 단어의 극성을 태깅하여 사전을 구축하였다[12]. TSentiment는 트위터 글을 게임용 데이터로 사용했고, 트윗 글 전체의 감성과 감정을 분류했다[13].
게임에서 사용할 기본적 말뭉치를 모으기 위해 우리는 파이썬 (Python) 언어와 외부 모듈을 사용해 크롤러 (Crawler)를 만들었다. 크롤러는 인터넷에 있는 데이터들을 수집하는 프로그램을 의미한다.
게임은 안드로이드 OS 앱 마켓인 구글플레이 앱스토어에 등록해서 불특정 다수가 플레이할 수 있도록 하였다. 2016년 11월 11일부터 2017년 2월 7일까지 약 4달간 55명이 다운로드를 받았고, 116 회의 게임 플레이가 있었다.
게임을 통해 분류된 극성의 정확도를 비교하기 위해 우리는 20대 초반의 대학생 4명 (여 2, 납 2) 의 지원자를 모집하여 이들에게 게임을 통해 한번 이상 태깅된 단어들의 극성을 수동으로 극성을 태깅하도록 요청하였다. 지원자들의 태깅 소요시간은 대략 45분에서 최대 1시간 30여분까지 소요되었으며, 이들에게는 태깅 후 보상으로 1만원 상당의 상품권을 증정하였다.
그는 ‘추천’, ‘비추천’이 포함되어 있는 영화 리뷰를 분석하여 자동으로 감성 사전 구축하였고, 이를 바탕으로 감성 분석을 실시했다[8].
여기에는 극성이 없거나 오타가 있는 어절도 많았기 때문에 극성을 포함하는 단어들만을 추려내어 사용하기로 했다. 극성을 포함하는 단어들은 9개의 품사 중에 주로 형용사, 동사, 부사에 속하며, 이 단어들을 추려내기 위해서 형태소 분석기를 사용했으며, Python 한국어 자연어 처리(KoNLPy) 모듈에 포함되어 있는 트위터 형태소 분석기를 사용했다. 트위터 형태소 분석기는 트위터에서 만든 오픈소스 한국어 분석기로서, 스칼라 언어로 작성되었으며 텍스트 정규화와 형태소 분석, 스테밍 등을 지원하고, 짧은 트윗부터 긴 글까지 처리가 가능하다.
조작방법은 터치와 스와이프 만을 사용한다. 단어를 터치하면 긍정, 오른쪽으로 스와이프하면 부정이 분류되도록 했고, 한손으로 플레이하는 것이 적합하다고 생각해서 모바일 기기의 스크린 방향을 세로(Portrait) 방향으로 정했다.
태깅이 한 번 이상 되었던 단어일 경우는 다른 플레이어들이 선택한 가장 많은 수의 극성과 플레이어가 선택한 극성이 일치할 경우 맞는 것으로 판단하고, 전혀 태깅이 되어 있지 않은 단어일 경우에는 플레이어가 어떠한 극성을 선택해도 맞는 것으로 판단하도록 했다. 또한 단어의 극성을 분류할 때마다 맞았을 경우와 틀렸을 경우에 따라 캐릭터의 표정과 말품선, 이펙트가 다르게 나오도록 했다. 극성이 일치했을 경우에는 100점을 얻고 그렇지 않은 경우에는 점수를 얻을 수 없도록 했다.
본 논문에서는 우리가 개발한 크라우드소싱 기반 감정 단어 구축 게임을 소개하였다. 먼저, 웹크롤러를 통해 인터넷 커뮤니티 게시글들을 모았고, Twitter 형태소 분석기를 사용해 형용사, 동사, 부사를 추출해 감정 사전용 단어 리스트를 만들었다. 구글플레이에 업로드된 안드로이드 기반 본 모바일 게임은 약 4개월 동안 총 55명이 게임 플레이를 하였으며, 이를 통해 한 번 이상 태깅된 단어는 1964개 중 1230개로서 약 63.
감성 사전을 구축하는 다른 방법으로는 이미 만들어진 사전을 이용해 감성 사전을 구축하는 연구가 있다. 센티워드넷 (Sentiwordnet)은 워드넷 (WordNet)이라는 비슷한 단어들의 집단으로 분류된 영어 사전을 이용해 단어들의 긍정, 부정적인 극성을 판별하여 감성 사전을 구축하였다[10]. 국내의 경우, 안정국과 김희웅이 국어사전에서 감성 표현이 가능한 명사, 형용사, 동사, 부사를 우선순위로 추출했고, 집단 지성을 이용해 한국어 극성 사전을 구축하였다[11].
앞에서 기술한 것처럼 우리는 크라우드소싱에 기반한 기능성 게임을 모바일 기기 (안드로이드 스마트폰) 플랫폼에서 구현하였다. 개발용 게임 엔진으로는 Unity 3D 5.
이 형태소 분석기의 목표는 완전한 수준의 형태소 분석이 아니라 빅데이터 등에서 간단한 한국어 처리를 통해 색인 어를 추출하는데 있다. 우리는 Python 언어를 사용해 [Table 2]와 같은 포맷으로 단어들의 형태소와 빈도수를 추출하는 프로그램을 만들었다.
크롤러를 사용해 게임 관련 커뮤니티에서 말뭉치를 수집했다. 제작한 크롤러는 특정 커뮤니티 에서만 사용 가능하며, 시작 게시글 ID와 최종 게시글 ID를 입력하면 최종 ID까지 순차적으로 크롤링하도록 하였다. 이때 한 개의 게시글을 크롤링하면 한 개의 JSON 파일이 생성된다.
조작방법은 터치와 스와이프 만을 사용한다. 단어를 터치하면 긍정, 오른쪽으로 스와이프하면 부정이 분류되도록 했고, 한손으로 플레이하는 것이 적합하다고 생각해서 모바일 기기의 스크린 방향을 세로(Portrait) 방향으로 정했다.
4 버전과 C# 스크립트 언어를 사용하였다. 캐릭터 모션을 위해서는 Live2D를 사용해 애니메이션 작업을 진행하였다. 또한 구글 플레이의 순위, 업적 시스템을 사용하기 위해 Google Play Games plugin for Unity를 사용했다.
Requests는 HTTP 통신을 간편하게 해주는 모듈이고, BeautifulSoup4 는 서버 통신을 통해 얻어온 HTML 텍스트를 오브젝트화하여 검색, 조작하는데 도움을 주는 모듈이다. 크롤러를 사용해 게임 관련 커뮤니티에서 말뭉치를 수집했다. 제작한 크롤러는 특정 커뮤니티 에서만 사용 가능하며, 시작 게시글 ID와 최종 게시글 ID를 입력하면 최종 ID까지 순차적으로 크롤링하도록 하였다.

대상 데이터

게임은 안드로이드 OS 앱 마켓인 구글플레이 앱스토어에 등록해서 불특정 다수가 플레이할 수 있도록 하였다. 2016년 11월 11일부터 2017년 2월 7일까지 약 4달간 55명이 다운로드를 받았고, 116 회의 게임 플레이가 있었다. 이 중 유효한 게임 수는 56회였으며, 유효하지 않은 게임 수는 60회였다.
앞에서 기술한 것처럼 우리는 크라우드소싱에 기반한 기능성 게임을 모바일 기기 (안드로이드 스마트폰) 플랫폼에서 구현하였다. 개발용 게임 엔진으로는 Unity 3D 5.4 버전과 C# 스크립트 언어를 사용하였다. 캐릭터 모션을 위해서는 Live2D를 사용해 애니메이션 작업을 진행하였다.
게임 장면 (Scene)은 인트로(Intro), 로비 (Lobby), 인게임(InGame), 튜토리얼(Tutorial)의 4개 장면으로 구성되어 있다. 게임을 시작하면 인트로에서 시작되고, 로비, 튜토리얼, 인게임 순서로 진행된다.
게임에서 사용되는 단어 데이터는 게임 관련 커뮤니티에서 게시글 20,000개와 게시글에 포함된 댓글들을 수집했다. 게시글들을 게임에서 사용하기 위해 먼저 어절로 분리하기 위해 게시글을 개행문자(‘\n’)로 분리하여 문장으로 만들고, 문장을 다시 공백문자(‘ ’)로 분리해서 어절로 만들었다.
먼저, 웹크롤러를 통해 인터넷 커뮤니티 게시글들을 모았고, Twitter 형태소 분석기를 사용해 형용사, 동사, 부사를 추출해 감정 사전용 단어 리스트를 만들었다. 구글플레이에 업로드된 안드로이드 기반 본 모바일 게임은 약 4개월 동안 총 55명이 게임 플레이를 하였으며, 이를 통해 한 번 이상 태깅된 단어는 1964개 중 1230개로서 약 63.6%가 수집되었다.
이러한 이유로 스마트폰과 같은 모바일 기기는 데이터 수집을 목적으로 하는 기능성 게임에 적합한 플랫폼이다. 우리는 타겟 플레이어로 스마트폰을 이용해 가볍게 시간 소모성 모바일 게임을 플레이 하는 한국어 사용자를 고려하였고, 스마트폰 운영 체제로는 2015년 기준 국내 스마트폰 이용자의 85%가 사용하는 안드로이드 운영체제를 채택했다 [24].
크롤러는 인터넷에 있는 데이터들을 수집하는 프로그램을 의미한다. 크롤러 제작에 사용된 외부 모듈은 Requests, BeautifulSoup4를 이용했다. Requests는 HTTP 통신을 간편하게 해주는 모듈이고, BeautifulSoup4 는 서버 통신을 통해 얻어온 HTML 텍스트를 오브젝트화하여 검색, 조작하는데 도움을 주는 모듈이다.
Word는 단어이고, Type은 이 단어의 형태소, Count는 게시글에서 출현한 빈도수를 나타낸다. 형태소 추출 결과, 형용사 485개, 동사 867개, 부사 612개의 총 1964개를 수집하였다. [Table 2]처럼 분류한 감성 단어 데이터는 웹서버를 통해 데이터 베이스에 저장되며 ([Fig.

성능/효과

116회의 게임 플레이를 통해 검증용 단어 15개는 각각 [Table 4]와 같이 “긍정적으로”가 88%로 가장 높은 정확도를 보였고, “죽음”이 74%로 가장 낮은 정확도를 보였다.
이 중 유효한 게임 수는 56회였으며, 유효하지 않은 게임 수는 60회였다. 그 결과 태깅용 단어 1964개 중 적어도 한 번 이상 극성이 분류된 단어가 1,230개로 약 62.6% 정도 실험이 진행되었다. 116회의 게임 플레이를 통해 검증용 단어 15개는 각각 [Table 4]와 같이 “긍정적으로”가 88%로 가장 높은 정확도를 보였고, “죽음”이 74%로 가장 낮은 정확도를 보였다.
수집된 태깅 데이터와 4명의 지원자가 수동으로 태깅한 결과를 비교했을 때, 평균 54.12%의 일치도를 보였다. 본 결과는 아직 통계적 의미를 찾기는 어렵지만, 보다 많은 지원자들의 모집을 통해 통계적으로 의미 있는 결과를 유추할 수 있을 것으로 기대한다.
지원자 4명이 각각 태깅한 것과 게임플레이를 통한 태깅을 비교했을 때 정확도는 최소 50.84%에서 최대 57.99%로 나타났다 ([Table 5] 참조). 그밖에 [Table 6]와 [Table 7]은 게임플레이를 통한 태깅과 4명의 지원자가 수동 태깅한 결과가 모두 일치한 긍정적 단어들과 부정적 단어들의 예시를 각각 보여준다.

후속연구

향후 연구는 아직 한 번도 태깅되지 않은 단어들이 먼저 태깅될 수 있도록 하고, 보다 많은 게임 사용자들이 게임을 다운로드 받아 사용할 수 있도록 게임성을 높이는 방향으로 연구할 계획이다. 또한 감성 단어 극성 사전 구축 후, 이를 사용하여 게임 도메인과 그 밖의 다른 특정 도메인에서의 감성 분석에 적용할 계획이다.
12%의 일치도를 보였다. 본 결과는 아직 통계적 의미를 찾기는 어렵지만, 보다 많은 지원자들의 모집을 통해 통계적으로 의미 있는 결과를 유추할 수 있을 것으로 기대한다.
크라우드소싱 기반의 게임은 많은 사람이 참여했을 때 원하는 데이터의 양과 정확도를 얻을 수있다. 향후 연구는 아직 한 번도 태깅되지 않은 단어들이 먼저 태깅될 수 있도록 하고, 보다 많은 게임 사용자들이 게임을 다운로드 받아 사용할 수 있도록 게임성을 높이는 방향으로 연구할 계획이다. 또한 감성 단어 극성 사전 구축 후, 이를 사용하여 게임 도메인과 그 밖의 다른 특정 도메인에서의 감성 분석에 적용할 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	크라우드소싱은 무엇인가?	크라우드소싱 (Crowdsourcing)은 비교적 근래에 개발된 방법으로, 복잡하거나 쉽게 해결하기 어려운 문제를 온라인상에서 분산하여 문제를 해결하는 방법이다[15]. 이러한 크라우드소싱 기법을 이용해 이미지 태깅을 위해 기능성 게임을 디자인한 연구가 있다.
	감성 분석의 주요 방법에는 어떤 것들이 있는가?	감성 분석의 주요 방법에는 기계학습 기반과 어휘 목록 기반 접근법이 있다[6]. 기계 학습 기반 접근법은 기계학습 알고리즘과 언어적 특성을 이용해 분석하는 방법이며, 어휘 목록 기반 접근법은 미리 만들어 놓은 극성 사전을 사용해 감성 분석을 수행한다.
	감성 분석의 주요 방법 중 기계 학습 기반 접근법은 무엇인가?	감성 분석의 주요 방법에는 기계학습 기반과 어휘 목록 기반 접근법이 있다[6]. 기계 학습 기반 접근법은 기계학습 알고리즘과 언어적 특성을 이용해 분석하는 방법이며, 어휘 목록 기반 접근법은 미리 만들어 놓은 극성 사전을 사용해 감성 분석을 수행한다. 어휘 목록 기반 접근법을 위해 사용할 극성 사전을 만들기 위해서는 수동 접근 방법, 사전 기반 접근 방법, 말뭉치(corpus) 기반 접근 방법 등을 주로 사용한다.

참고문헌 (24)

http://isis.kisa.or.kr/board/?pageId060100&bbsId7&itemId818
B. Pang and L. Lee, "Opinion mining and sentiment analysis", Foundations and Trends(R) in Information Retrieval, Vol 2, No. 1-2, pp. 1-135, 2008.

상세보기
H. Wang., D. Can, A. Kazemzadeh, F. Bar, and S. Narayanan, "A system for real-time twitter sentiment analysis of 2012 us presidential election cycle", Proceedings of the ACL System Demonstrations. Association for Computational Linguistics, pp. 115-120, 2012.
C. Dellarocas, X. M. Zhang, and N. F. Awad, "Exploring the value of online product reviews in forecasting sales: The case of motion pictures", Journal of Interactive marketing, Vol. 21, No. 4, pp. 23-45, 2007.

상세보기
J. Bollen, H. Mao, and X. Zeng, "Twitter mood predicts the stock market", Journal of computational science, Vol.2 No. 1, pp. 1-8, 2011.

상세보기
K. Ravi and V. Ravi, "A survey on opinion mining and sentiment analysis: tasks, approaches and applications" Knowledge-Based Systems, Vol. 89, pp. 14-46, 2015.

상세보기
L. v. Ahn, "Games with a purpose", IEEE Computer Magazine, 39 (6), pp. 92-94, 2006.
P. D. Turney, "Thumbs up or thumbs down?: semantic orientation applied to unsupervised classification of reviews", Proceedings of the 40th annual meeting on association for computational linguistics, pp. 417-424, 2002.
B. Pang, L. Lee, and S. Vaithyanathan. "Thumbs up?: sentiment classification using machine learning techniques", Proceedings of the ACL-02 conference on Empirical methods in natural language processing, Vol. 10, pp. 79-86, 2002.
S. Baccianella, A. Esuli, and F. Sebastiani, "SentiWordNet 3.0: An Enhanced Lexical Resource for Sentiment Analysis and Opinion Mining", LREC, Vol. 10, pp. 2200-2204, 2010.
An, J., and H.-W. Kim, "Building a Korean Sentiment Lexicon Using Collective Intelligence", Journal of Intelligence and Information Systems, pp. 49-67, 2015.
C.-C. M. Thisone, A. Ghasemi, and B. Faltings, "Sentiment analysis using a novel human computation game", Proceedings of the 3rd Workshop on the People's Web Meets NLP: Collaboratively Constructed Semantic Resources and their Applications to NLP, pp. 1-9, 2012.
M. Furini and M. Montangero, "TSentiment: on gamifying Twitter sentiment analysis", Computers and Communication (ISCC), IEEE Symposium on, pp. 91-96, 2016.
Yoonsung Hong, Haewoon Kwak, Youngmin Baek, Sue Moon, "Tower of Babel: A crowdsourcing game building sentiment lexicons for resource-scarce languages", Proceedings of the 22nd International Conference on WWW, pp. 549-556, 2013.
D. C. Brabham, "Crowdsourcing as a Model for Problem Solving: An Introduction and Cases", Convergence, Vol. 14, No. 1, pp. 75-90, 2008.

상세보기
L. v. Ahn and L. Dabbish, "Labeling image s with a Computer Game", Proceedings of the SIGCHI conference on Human factors in computing system, pp. 319-326, 2004.
L. v. Ahn and M. Kedia and M. Blum, "Verbosity: A Game for Collecting Common-Sense Facts", Proceedings of the SIGCHI conference on Human Factors in computing systems, pp. 75-78, 2006.
C. J. Ho, T. H. Chang, J. C. Lee, J. Y. Hsu, and K. T. Chen, "KissKissBan: A Competitive Human Computation Game for Image Annotation", Proceedings of the acm sigkdd workshop on human computation, pp. 11-14, 2009.
L. v. Ahn, R. Liu, and M. Blum, "Peekaboom: A Game for Locating Objects In Images", Proceedings of the SIGCHI conference on Human Factors in computing systems, pp. 55-64, 2006.
J. S. Kim, M. J. Greene, A. Zlateski, K. Lee, M. Richardson, S. C. Turaga, M. Purcaro, M. Balkam, A. Robinson, B. F. Behabadi, M. Campos, W. Denk, H. S. Seung, and the EyeWirers, "Space-time wiring specificity supports direction selectivity in the retina", Nature, Vol. 509, No. 7500, pp. 331-336, 2014.

상세보기
F. Khatib, S. Cooper, M. D. Tyka, K. Xu, I. Makedon, Z. Popovic, D. Bakera, and Foldit Players, "Algorithm discovery by protein folding game players", Proceedings of the National Academy of Sciences, Vol. 108, No. 47, pp. 18949-18953, 2011.

상세보기
J. Lee, W. Kladwang, M. Lee, D. Cantu, M. Azizyan, H. Kim, A. Limpaecher, S. Yoon, A. Treuillea, R. Das, and EteRNA Participants, "RNA design rules from a massive open laboratory", Proceedings of the National Academy of Sciences, Vol. 111, No. 6, pp. 2122-2127, 2014.

상세보기
http://www.kocca.kr/cop/bbs/view/B0000147/1831102.do
http://isis.kisa.or.kr/board/?pageId060100&bbsId7&itemId815

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증