[논문]음성·영상 신호 처리 알고리즘 사례를 통해 본 젠더혁신의 필요성

이지연; 이혜숙

doi:10.14400/jdc.2018.16.12.459

음성·영상 신호 처리 알고리즘 사례를 통해 본 젠더혁신의 필요성
Gendered innovation for algorithm through case studies 원문보기

디지털융복합연구 = Journal of digital convergence, v.16 no.12, 2018년, pp.459 - 466

이지연 (중원대학교 생체의공학과) , 이혜숙 (한국여성과학기술단체총연합회, 젠더혁신연구센터)

초록
AI-Helper

젠더혁신은 연구개발의 전 과정에서 남녀의 생물학적, 인지적, 사회적 특성 및 행동방식의 차이에 의한 성 젠더 요소를 고려하여 남녀 모두를 위한 보다 나은 연구개발과 지식을 창출하는 과정을 의미한다. 본 논문의 연구목적은 ICT산업, 자동차 산업, 빅데이터, 로봇 산업 등에 활용할 수 있는 영상 음성신호처리에서 문헌연구 및 기존 자료를 분석하고 사례 조사를 통하여 젠더혁신의 중요성을 고찰하는 것이다. 본 연구에서는 젠더 연구를 기반으로 영상 음성신호처리의 관련된 최신 국내외 문헌을 검색하고 총 8편의 논문을 선정한다. 그리고 젠더분석 측면에서, 연구대상, 연구 환경, 연구 설계로 구분하여 살펴본다. 연구결과로써, 노인음성 신호처리, 기계학습과 젠더, 기계번역 기술, 안면 젠더인식 기술의 음성 영상신호 처리 알고리즘 논문 사례 분석을 통하여 기존의 알고리즘에 젠더편향성이 있음을 밝히고 이들 알고리즘 개발에서 상황에 맞는 성 젠더 분석이 필요함을 보인다. 또한 알고리즘 개발에 다양한 성 젠더 요소를 반영하는 젠더혁신 방법과 정책을 제안한다. 추후 ICT에서의 젠더혁신은 남녀 모두의 요구를 반영한 제품과 서비스를 개발로 새로운 시장 창출에 기여할 수 있다.

Abstract ▼ AI-Helper

Gendered innovations is a term used by policy makers and academics to refer the process of creating better research and development (R&D) for both men and women. In this paper, we analyze the literatures in image and speech signal processing that can be used in ICT, examine the importance of gendered innovations through case study. Therefore the latest domestic and foreign literature related to image and speech signal processing based on gender research is searched and a total of 9 papers are selected. In terms of gender analysis, research subjects, research environment, and research design are examined separately. Especially, through the case analysis of algorithms of the elderly voice signal processing, machine learning, machine translation technology, and facial gender recognition technology, we found that there is gender bias in existing algorithms, and which leads to gender analysis is required. We also propose a gendered innovations method integrating sex and gender analysis in algorithm development. Gendered innovations in ICT can contribute to the creation of new markets by developing products and services that reflect the needs of both men and women.

주제어

표/그림 (3)

표 Table 1. Examples of gender bias in Google translation
표 Table 2. Facial gender recognition error rate(%)
표 Table 3. Research methodology for gender innovation

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 ICT분야에서 젠더혁신을 도입하기 위해서 연구에 직접 적용할 수 있는 성·젠더 분석 방법과 연구과정에서 고려해야할 질문들을 열거하는 등 젠더혁신 연구 방법론을 제시하였다. 또한 연구개발의 수월성과 사회적 책임성을 높이기 위한 젠더혁신 정책도입을 제시하였다. 마지막으로 본 연구에서는 연구개발에서 인적자원의 다양성과 연구개발팀의 젠더에 대한 높은 인식이 필요함을 보였다.
본 논문의 목적은 인공지능분야에 핵심 기술인 알고리즘과 같은 수리 논리적인 분야에도 젠더 고려가 필요함을 밝혀서 ICT분야에서 젠더혁신의 필요성을 제기하고 관련 연구방법론 개발을 촉진하는 계기를 마련하고자 한다. 현 사회 흐름을 반영하여 ICT 산업, 자동차산업, 로봇 산업 등에 활용할 수 있는 영상·음성신호처리에 대하여 젠더연구 국내외 문헌연구 및 기존 자료를 분석하고 사례 조사 및 젠더혁신분석방법을 소개할 것이다.
특히 만들어진 알고리즘을 수정보완하기 위해서는 막대한 비용이 추가되기 때문에 투자의 효율화를 위해서도 알고리즘 개발단계에서 젠더혁신이 필요하다. 본 연구에서는 ICT분야에서 젠더혁신을 도입하기 위해서 연구에 직접 적용할 수 있는 성·젠더 분석 방법과 연구과정에서 고려해야할 질문들을 열거하는 등 젠더혁신 연구 방법론을 제시하였다. 또한 연구개발의 수월성과 사회적 책임성을 높이기 위한 젠더혁신 정책도입을 제시하였다.
본 연구에서는 과학기술 연구개발이 성별특성을 반영하지 못해서 여성의 요구와 기대치에 충분히 부응하지 못하고 젠더 편견을 강화할 수 있음을 살펴보았다. 특히 본 논문에 제시된 노인음성 신호처리, 기계학습과 젠더, 기계번역기술, 안면 젠더 인식 기술의 음성·영상 신호 처리 알고리즘 사례 분석을 통하여 이 기술들이 젠더 편향성을 가지고 있음을 보였고 이로 인한 사회적 폐해가 심각할 수 있음을 보였다.

제안 방법

젠더를 적용한 영상·음성신호처리의 국내외 문헌연구 및 기존 자료를 조사하기 위해 2017년 6월 8일부터 2018년 10월 30일까지 국외 전자데이터베이스인 'Acade1nic Search Complete', 'Web of Science', ‘IEEE’, 'ERIC' 및 'PubMed'와 국내의 'RISS', 누리 미디어의 'DBPIA', 한국 학술정보(주)의 'KISS'를 대상으로 문헌검색이 이루어졌다. 문헌검색은 gender elderly voice analysis, gender speech signal processing, gendered innovation, gender bias, gender classification, face recognition algorithm gender의 키워드를 사용하였다. 국내 논문의 경우 노인음성 젠더분석, 젠더 기계 번역과 젠더, 젠더 음성·영상처리를 주제어로 검색하였다.
본 논문의 연구 활용 및 기대효과로써, 첫 번째로, 젠더분석 사례 조사를 통해 ‘젠더결함 없는 연구개발’을 위한 젠더혁신을 도입한 과학기술 연구개발 생태계 기반구축을 조성할 수 있다.
최종적으로 선정된 문헌은 국외 논문 5편, 국내 논문 3편으로 총 8편이다. 수집된 문헌을 분석하기 위해 연구대상, 연구 환경, 연구 설계로 구분하여 젠더분석 측면을 살펴보았다. 본 연구는 일부 문헌고찰에 한정된 것으로 연구자료 결과들의 평균 또는 공동효과를 추정하지는 못했음을 연구의 제한점으로 밝힌다.
알고리즘의 젠더 편향성을 제거하기 위하여 [1]과 [19]의 방법론을 분석⋅재구성하여 Table 3과 같이 젠더혁신을 위한 연구 방법론을 제시한다.
이렇게 인공지능에서 나타날 수 있는 젠더편견을 인지한 기계학습 전문가들은 편견을 보정하는 방법을 2가지로 제안하였다. Bolukbasi 교수 연구팀은 단어 긴밀도에서 젠더중립적인 단어는 성별로 정의된 단어와 선형적 분리 방법, 소위 ‘편견 제거(debiasing)’을 통해서 해결할 수 있을 것이라고 제안하였다[17].
첫째, 2009년부터 2018년까지 발행된 음성·영상 신호처리 젠더 연구로 학술지에 게재된 논문, 둘째, 연령, 성별의 차이, 문화의 차이에 해당하는 성·젠더 분석을 실시하여 연구결과를 제시한 연구, 셋째, 한국어 혹은 영어로 출간된 논문으로 선정하였다.
첫째, 노인음성 신호 처리 연구에서는 성 분석방법을 적용하여, 성별로 똑같은 음성 샘플 개수를 사용하였고, 노인 여성과 남성 집단의 음성에 존재하는 연구 대상의 성별 음성 특징을 분석하였다. 따라서 적용 대상에 따라서 어린이, 청소년, 성인 등 음성 타겟을 설정하는 것이 필요하다.

대상 데이터

이는 알고리즘 개발팀의 인종 구성과 테스트에 쓰이는 사진의 데이터베이스가 안면 인식정확도에 영향을 주는 것을 증명하는 것이다. 2018년 MIT미디어랩의 Buolamwini와 마이크로소프트의 Gebru는 얼굴 인식기술의 젠더 편향성을 알아보기 위해서 연구팀은 피부과 의사들의 협조 하에 유럽 3개국과 아프리카 3개국에서 다양한 피부색을 가진 남성과 여성 1270명을 선정하여 이들의 이미지로 이용하여 평균 얼굴 기준을 만들었다. 그리고 마이크로소프트, 페이스++, IBM 등 3개의 얼굴 인식 알고리즘을 이용해 분석한 결과 성별과 피부색에 따라 인식률에 큰 차이가 있음을 Table 2와 같이 증명하였다[21].
젠더를 적용한 영상·음성신호처리의 국내외 문헌연구 및 기존 자료를 조사하기 위해 2017년 6월 8일부터 2018년 10월 30일까지 국외 전자데이터베이스인 'Acade1nic Search Complete', 'Web of Science', ‘IEEE’, 'ERIC' 및 'PubMed'와 국내의 'RISS', 누리 미디어의 'DBPIA', 한국 학술정보(주)의 'KISS'를 대상으로 문헌검색이 이루어졌다.
제목 및 초록, 논문 전문을 검토하여 젠더혁신과 관련된 논문으로 노인음성의 경우 국내 논문 3편, 기계학습과 젠더분야에서는 2편의 국외논문, 기계번역기술과 젠더에서 국외 논문 1편, 안면인식기술 분야에서 2편의 국외 논문을 선정하였다. 최종적으로 선정된 문헌은 국외 논문 5편, 국내 논문 3편으로 총 8편이다. 수집된 문헌을 분석하기 위해 연구대상, 연구 환경, 연구 설계로 구분하여 젠더분석 측면을 살펴보았다.

성능/효과

2016년의 연구는 노인 음성 잡음을 고려하여 기존의 대칭 구조 고차 미분 에너지 함수를 이용하여 노인 음성에서의 음성 구간 검출 알고리즘을 연구하였다. 그것이 자기상관함수와 AMDF 방법과 비교하였을 때, 노인음성에서의 음성 구간 검출에 보다 우수한 성능을 가지는 것을 확인하였다. 따라서 젠더분석을 이용하여 노인음성 신호를 분석할 수 있는 음성 분석 프로그램의 필요성을 제안하였다[15].
둘째, 기계학습과 젠더 연구에서는 젠더 요소 분석을 통해 성별 고정관념을 없앨 수 있는 방안을 모색하는 것이 필요하고 알고리즘 설계에서 성 젠더와 상호작용하는 요소 분석을 적용하여 성별 편견에 어떻게 대응할지의 여부를 결정하는 판단 기능을 코딩단계에서 적용하는 것과 함께 개발팀에 성별 할당제를 도입하는 것으로 해결할 수 있을 것이다.
이 연구는 2차 대전 이후 남성이 역할이 높아진 1967년까지 이 비율이 증가했지만 미국에서 여성운동이 시작되고 이공계에 여성의 비율을 높이려는 노력이 지속되면서 점차 감소했다고 분석했다. 이 연구결과를 적용하면 젠더 요소를 고려하지 않은 구글의 기계번역기술이 40여 년에 걸쳐서 이뤄낸 남녀평등 성과를 일거에 뒤집는데 일조하고 있다고 평가할 수 있다.
첫째, 성별 차이를 반영할 필요가 있는 모든 분야에, 지식ㆍ기술의 창출ㆍ활용 단계별 영역별로 연구제안서 제출에서 연구결과 보고까지 전 연구과정에 성/젠더분석을 도입하는 것을 연구비 지원정책에 반영하여 과학기술혁신역량을 강화하는 것이다.
본 연구에서는 과학기술 연구개발이 성별특성을 반영하지 못해서 여성의 요구와 기대치에 충분히 부응하지 못하고 젠더 편견을 강화할 수 있음을 살펴보았다. 특히 본 논문에 제시된 노인음성 신호처리, 기계학습과 젠더, 기계번역기술, 안면 젠더 인식 기술의 음성·영상 신호 처리 알고리즘 사례 분석을 통하여 이 기술들이 젠더 편향성을 가지고 있음을 보였고 이로 인한 사회적 폐해가 심각할 수 있음을 보였다. 특히 만들어진 알고리즘을 수정보완하기 위해서는 막대한 비용이 추가되기 때문에 투자의 효율화를 위해서도 알고리즘 개발단계에서 젠더혁신이 필요하다.
한 연구팀은 ‘단어 긴밀도 검사’(WEFAT; Word Embedding Factual Association Test)라는 기법을 고안하여 젊은 사람들이 노인들 보다 더 유쾌한 것으로 조사된 기존의 심리학적 검사결과를 확인하였고, ‘실제 긴밀도 조사(WEFAT; Word Embedding Association Test)’라는 방법을 써서 컴퓨터가 생성해낸 직업과 젠더에 관한 단어 긴밀도 결과를 실제 미국 남녀 직업 분포와 비교한 결과 높은 상관관계가 있음을 발견했다.

후속연구

그러므로 현재까지 적용되어 온 획일화된 정상역치에 의해 환자의 음향지표를 분석하는 것은 부적절한 것으로 판단되며, 각 연령 군에 따라 같은 수의 성별 샘플을 가지고 각각의 음향지표에 대한 정상 역치를 적용하여 성·젠더기반 음향학적 분석을 시행해야 될 것이다.
두 번째로, ‘젠더’ 특성 반영 영향력 점검을 통한 제품 및 서비스의 시장의 구매영향력 핵심그룹에 대한 ‘젠더’ 특성 수요와 요구를 반영하여 새로운 시장의 창출과 기존시장점유의 확대 등을 원활하게 할 수 있는 지원 시스템 구축을 기대할 수 있을 것이다.
셋째, 시장수요에 부응하고 잠재적인 시장니즈까지 충족하여 시장을 창출하는 젠더혁신 기술을 발굴하기 위해, 기술 관점 뿐 아니라 감성 관점을 고려한 과제 도출이 필요하다. 따라서 그 과제를 연구개발 및 산업 전략 분야의 우선순위 반영하고 시장성 및 파급효과를 평가하기 위한 방법 개발이 필요할 것이다.
현 사회 흐름을 반영하여 ICT 산업, 자동차산업, 로봇 산업 등에 활용할 수 있는 영상·음성신호처리에 대하여 젠더연구 국내외 문헌연구 및 기존 자료를 분석하고 사례 조사 및 젠더혁신분석방법을 소개할 것이다. 또한 젠더 영향성을 분석하고 그 대응방안을 도출할 것이다. 마지막으로 젠더혁신의 확산을 위한 정책을 제안할 것이다.
또한 연구개발의 수월성과 사회적 책임성을 높이기 위한 젠더혁신 정책도입을 제시하였다. 마지막으로 본 연구에서는 연구개발에서 인적자원의 다양성과 연구개발팀의 젠더에 대한 높은 인식이 필요함을 보였다.
또한 젠더 영향성을 분석하고 그 대응방안을 도출할 것이다. 마지막으로 젠더혁신의 확산을 위한 정책을 제안할 것이다. 본 논문의 연구 활용 및 기대효과로써, 첫 번째로, 젠더분석 사례 조사를 통해 ‘젠더결함 없는 연구개발’을 위한 젠더혁신을 도입한 과학기술 연구개발 생태계 기반구축을 조성할 수 있다.
마지막으로, 안면 젠더 인식 기술 연구는 안면의 젠더와 함께 피부색을 교차요소로 분석할 필요가 있음을 보여주는 사례로서 기본 데이터로 인종과 피부색 연령 등을 다양하게 고려해서 정하는 것이 중요하다. 이것이 바로 성 젠더와 교차하는 요소를 분석하는 것이다.
수집된 문헌을 분석하기 위해 연구대상, 연구 환경, 연구 설계로 구분하여 젠더분석 측면을 살펴보았다. 본 연구는 일부 문헌고찰에 한정된 것으로 연구자료 결과들의 평균 또는 공동효과를 추정하지는 못했음을 연구의 제한점으로 밝힌다.
셋째, 기계번역기술 연구에서는 성·젠더 분석을 적용하여 번역기가 자동적으로 남성대명사를 사용하는 현상을 연구하여 원문에서 언급된 사람의 젠더를 처리할 수 있는 방안을 모색할 수 있을 것이다.
셋째, 시장수요에 부응하고 잠재적인 시장니즈까지 충족하여 시장을 창출하는 젠더혁신 기술을 발굴하기 위해, 기술 관점 뿐 아니라 감성 관점을 고려한 과제 도출이 필요하다. 따라서 그 과제를 연구개발 및 산업 전략 분야의 우선순위 반영하고 시장성 및 파급효과를 평가하기 위한 방법 개발이 필요할 것이다.
그러나 기계번역 알고리즘 설계과정에서 젠더 요소가 중요하게 고려되어야 한다는 것이 밝혀진 것은 성과라고 할 수 있다. 앞으로 필요한 젠더 요소를 특정화하고 적절한 분석 방법을 도입하여 알고리즘 개발에서 젠더편견을 제거하는 것이 필요한 과제이다.
7%로 100배 이상이다[21]. 앞의 사례를 통해서 살펴본 바와 같이 안면 인식 알고리즘의 품질을 개선하기 위해서는 기계학습에 기본이 되는 초기 데이터를 다양하게 입력하는 것이 필요하다. 또한 젠더 요소에 대한 분석과 함께 젠더와 교차하는 요소로 피부색과 인종 등 다양한 요소를 검토하여 기술을 개발하는 것이 중요하다.
현 사회 흐름을 반영하여 ICT 산업, 자동차산업, 로봇 산업 등에 활용할 수 있는 영상·음성신호처리에 대하여 젠더연구 국내외 문헌연구 및 기존 자료를 분석하고 사례 조사 및 젠더혁신분석방법을 소개할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	젠더혁신이 처음 쓰이기 시작한 것은?	젠더혁신은 연구개발 전 과정에 성별차이를 반영하여 남녀 모두를 위한 지식을 창출하고 기술을 개발하는 것이며, 유럽연합의 연구개발 정책과 연구 커뮤니티에서 처음 쓰이기 시작했다. ‘성별’이라는 용어는 성과 젠더를 함께 뜻하는 것으로 ‘성’은 염색체 조성 및 생리학적 특징과 같은 생물학적 기준으로 남성, 여성으로 구분된다.
	젠더혁신에서 '젠더'는 무엇을 뜻하는가?	‘성별’이라는 용어는 성과 젠더를 함께 뜻하는 것으로 ‘성’은 염색체 조성 및 생리학적 특징과 같은 생물학적 기준으로 남성, 여성으로 구분된다. ‘젠더’는 사회문화적 관점에서 ‘여성스러운’ 혹은 ‘남성스러운’ 행동이나 역할 또는 제품, 기술, 지식을 형성하는 사회문화적 태도를 뜻한다[1]. 연구개발에서 성별 차이와 특성을 고려하지 않아 문제가 된 큰 사례는 1997년부터 2000년 사이에 부작용으로 미국에서 시판이 중지된 10가지 약 중에서 8가지가 남성보다 여성에게 더 부작용이 큰 것으로 알려진 것이다.
	젠더혁신은 무엇인가?	젠더혁신은 연구개발 전 과정에 성별차이를 반영하여 남녀 모두를 위한 지식을 창출하고 기술을 개발하는 것이며, 유럽연합의 연구개발 정책과 연구 커뮤니티에서 처음 쓰이기 시작했다. ‘성별’이라는 용어는 성과 젠더를 함께 뜻하는 것으로 ‘성’은 염색체 조성 및 생리학적 특징과 같은 생물학적 기준으로 남성, 여성으로 구분된다.

참고문헌 (21)

Center for Women in Science, Engineering, and Technology. (2013). How gender analysis of science and technology gender innovation contributes to research. Seoul : WISET. ISBN 978-89-97520-24-4
KOFWST. (2017). http://gister.re.kr/#!/main
M. O. Moon. (2014). 'Gender Innovation' in Science and Technology R & D and Knowledge Diffusion. Seoul : Policy Research Report of Science and Technology Advisory Council.
L. Zhang & M. S. Na. (2017). A qualitative study on women's daily lives and smartphone use - focusing on interviews with Chinese women in their twenties. Journal of the Korea Convergence Society, 15(10), 467-483.
D. C. Park. (2013). Effect of news anchor's gender on affect of viewers and memory of news. Journal of the Korea Convergence Society, 11(9), 333-339.
J. Y. Lee. (2018). Gender Analysis in Elderly Speech Signal Processing. Journal of the Korea Convergence Society, 10(10), 351-356.
J. H. Moon & J. Y. Lee. (2015). Development of medical/electrical convergence software for classification between normal and pathological voices. Journal of the Korea Convergence Society, 13(12), 187-192.
K. N. Lee. (2017). Voice language processing technology, how far have you come. National Korean Language Institute, New Language Life, 27(4), 99-116.
B. C. Cho, S. Cheon, K. N. Kim & H. S. Yuk. (2018). A policy study for the voice recognition technology based on elderly health care. Journal of the Korea Convergence Society, 16(2), 9-17.
S. Y. Lee. (2011). The overall speaking rate and articulation rate of normal elderly people, Graduate program in speech and language pathology, Master these, Yonsei University.
J. Lee. (2014). KHIDI Brief. Korea Health Industry Development Institute, 140(2014), 1-2.
H. T. Kim, S. H. Cho, S. M. Youn, D. I. Sun & M. S. Kim. (2000). The Changes and Characteristics of Acoustic Parameters with Aging in Korean, Korean J Otolaryngol, 2000(43), 69-74
H. J. Moon, M. H, Lee & K. H. Jeong. (2015). Authentication Performance Optimization for Smart-phone based Multimodal Biometrics. Journal of the Korea Convergence Society, 13(6), 151-156.
S. W. Kim, H. H. Park, E. S. Park & H. S. Choi. (2010). Acoustic Characteristics of Normal Healthy Koreans with Advancing age, Phonetics and Speech Sciences, 2(4), 19-28
J. Y. Lee. (2016). Development of Voice Activity Detection Algorithm for Elderly Voice based on the Higher Order Differential Energy Operator, Journal of Digital Convergence. 14(11), 249-255.

원문보기 상세보기
A. Caliskan, J. J. Bryson, & A. Narayanan. (2017). Semantics derived automatically from language corpora contain human-like biases, Science. 356(6334), 183-186. DOI: 10.1126/science.aal4230
T. Bolukbasi, K. Chang, J. Zou, V. Saligrama & A. Kalai. (2016). Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings. DOI; arXiv:1607.06520
J. M. Twenge, W. K. Cambell & B. Gentile. (2012). Male and Female Pronoun Use in the U.S. Books Reflects Women's Status, 1900-2008, Sex Role, 67(9-10), 488-493. DOI : 10.1007/s11199-012-0194-

상세보기
L. Schiebinger. (2014). Gendered Innovations: harnessing the creative power of sex and gender anaysis to discover new ideas and develop new technologies, Triple Helix, 1-9.
P. Jonathon Phillps et al. (2011). An Other-Race Effect for Face Recognition Algorithms, ACM digital library, 8(2). DOI: 10.1145/1870076.1870082
J. Buolamwini & T. Gebru. (2018). Gender Shade: Intersectional Accuracy Disparities in Commercial Gender Classification, Proceedings of Machine Learning Research, 81, 1-15.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증