초록 ▼

□ 연구개발 목표 및 내용
◎ 최종 목표
O 총괄 사업목표 :
빅데이터로부터 스스로 학습하고 지식을 축적하여, 사용자와 의사소통을 하고 스마트 기기간 지식공유 및 자율협업이 가능하고 새로운 문제를 해결하는 지능 진화형 SW 기술 개발
O 10년간 총 3단계에 걸쳐 수행: 1단계('13~'16), 2단계('17~'19), 3단계('20~'22)
O 세부과제별 단계별 연구개발 목표
* (1세부과제) 지능진화형 WiseQA 핵심기술 및 플랫폼 기술 개발
· WiseQA 정확도@신뢰도 : 85%@80%

□ 연구개발 목표 및 내용
◎ 최종 목표
O 총괄 사업목표 :
빅데이터로부터 스스로 학습하고 지식을 축적하여, 사용자와 의사소통을 하고 스마트 기기간 지식공유 및 자율협업이 가능하고 새로운 문제를 해결하는 지능 진화형 SW 기술 개발
O 10년간 총 3단계에 걸쳐 수행: 1단계('13~'16), 2단계('17~'19), 3단계('20~'22)
O 세부과제별 단계별 연구개발 목표
* (1세부과제) 지능진화형 WiseQA 핵심기술 및 플랫폼 기술 개발
· WiseQA 정확도@신뢰도 : 85%@80%(1단계), 85%(3단계)
* (2세부과제) 자가학습형 지식베이스 구축 및 추론 기술 개발
· 지식베이스 QA 커버리지 : 60%(1단계), 85%(3단계)
* (3세부과제) 인간모사형 자가학습 지능 원천기술 개발
· 지식 이해 의미분석 정확도 : 85%(1단계), 95%(3단계)

◎ 전체 내용
O 단계별 주요 연구개발 내용

◎ 1단계
● 목표
O (총괄과제) 1단계 연구목표 :
* 일반지식 대상 분석형 엑소브레인 SW 기술 개발(1단계 목표) 지원 총괄 관리

O (1세부과제) 1단계 연구목표 :
* 일반지식 대상 심층 분석형 WiseQA 기술 개발
· WiseQA 정확도@신뢰도 : 85%@80%

● 내용
O (총괄과제) 1단계 연구내용 :
* 1단계 목표 달성을 위한 세부과제 간 연계 개발 조정 관리
* 1단계 목표 달성을 위한 세부과제 품질 관리 지원
* 1단계 목표 평가용 도전 과제 설정 및 실행 지원
* 1단계 연구결과물을 활용한 생태계 조성 및 사업화 지원

O (1세부과제) 1단계 연구내용 :
* (원천기술) 자연어 심층이해 공통 기반 기술 개발
· 통계적 언어지식 및 언어 지식베이스 연계 자연어 분석 기술 개발(구문분석 정확도: 90%)
· 의미역 부착, 표제어 생략어 복원 등 선행 원천기술 개발
* (원천기술) 텍스트 빅데이터 기반 언어지식 추출/학습 기술 개발
· 시간/공간 정보추출 기술 개발
· 온라인 학습 기반 자연어 심층이해 프레임워크 기술 개발
* (원천기술) 자연어 질문 분석 및 이해 기술 개발
· 질문 도메인/유형/정답유형/난이도를 고려한 질문 분석 기술 개발
· 질문 분할/합성 및 질의응답 전략 생성 기술 개발
* (원천기술) 고신뢰도 정답추론 및 정답생성 기술 개발
· 다중 소스 기반 단답형, 나열형, 서술형(정의형) 정답후보 필터링, 랭킹 기술 개발
· 다중 증거 학습 기반 단답형, 나열형, 서술형(정의형) 정답추론 및 정답생성기술 개발 (QA 정확도@응답률: 85%@80%)
* (시스템) 일반지식 대상 심층 분석형 WiseQA 시스템 통합

◎ 2단계
● 목표
O (총괄과제) 2단계 연구목표 :
* 전문분야 대상 추론형 엑소브레인 SW 기술 개발 지원

O (1세부과제) 2단계 연구목표 :
* 일반분야 및 전문분야 자연어 질의응답 핵심기술 및 플랫폼 개발과 생태계 조성
· 자연어 질의응답 목표성능 : 응답률 85% 시 정확률 93% (응답결과 상위 5개)
· 응답 추론 복잡도 : 단답형 정답 추론, 서술형 정답 추론
· 대상 전문분야 : 일반분야, 법률분야, 특허분야

● 내용
O (총괄과제) 2단계 연구내용 :
* 2단계 목표 달성을 위한 세부과제 간 연계 개발 조정 관리
* 2단계 목표 달성을 위한 세부과제 품질 관리 지원
* 2단계 연구결과물을 활용한 생태계 조성 및 사업화 지원

O (1세부과제) 2단계 연구내용 :
* 일반분야 및 전문분야 대상 자연어 심층 이해 기술 개발
· 일반분야 및 전문분야 대상 문법이해, 의미이해, 문맥이해를 위한 언어지식 설계 및 구축
· 문법이해기술(형태소 분석, 개체명 인식, 의존구문 분석) 성능개선 및 전문분야 확장
· 의미이해기술(동음이의어 분석, 다의어 분석, 의미역 인식) 성능개선 및 전문 분야 확장
· 문맥이해 기술(상호참조 해결, 생략어 복원, 패러프레이즈 인식) 개발
· 자연어 텍스트 심층 이해 시스템 개발 및 통합
* 딥러닝 기반 고난도 자연어 의미이해 기술 개발
· 딥러닝 Graph 기반 의존구문분석 기술 개발
· 딥러닝 CNN 기반 패러프레이즈 인식 개발
· 딥러닝 포인터 네트워크 기반 상호참조 기술 개발
* 일반분야 및 전문분야 텍스트 빅데이터 대상 언어지식 학습 및 축적 기술 개발
· 정형/비정형 텍스트 빅데이터 수집 및 정규화 기술
· 전문용어 지식베이스(WiseWordNet) 구축 및 전문용어 연관성 분석 알고리즘 개발
· 전문분야 시간 관계정보, 공간 관계정보 추출 기술
· 전문분야 시간/공간 관계정보 통합 기술
· 정형/비정형 텍스트 빅데이터 의미색인 기술 및 지식축적 기술
* 일반분야 및 전문분야 질의응답을 위한 자연어 질문이해 기술 개발
· 문답담화정보(질문/단락/정답)를 이용한 질문분류 기술
· 문답담화정보(질문/단락/정답)를 이용한 질문의 정답유형분석 기술
· 문답담화정보(질문/단락/표제어)를 이용한 질문 핵심 엔티티 모호성 해소기술
· 문답담화정보(질문/단락/정답)를 이용한 시간·공간 정답제약 단위인식 기술
* 일반분야 및 전문분야 텍스트 빅데이터 대상 정의형/단답형/서술형 정답후보 및 최적정답 추론 기술 개발
· 정형/비정형 지식베이스 연계 정답후보의 검색 및 생성 기술 개발
· 정답후보의 타입추론 및 제약추론 기술 개발
· 정답가설의 근거 검색 및 추론 기술 개발
· 최종정답의 신뢰도 학습 및 추론 기술 개발
* 일반분야 및 전문분야 WiseQA 플랫폼 최적화 및 실증 테스트
· 전문분야 언어이해 플랫폼 최적화 및 실증테스트
· 언어분석 저장/색인/검색 플랫폼 실증테스트
· 다중접속 지원 전문분야 정답추론 플랫폼 실증테스트
· 다중접속 지원 전문분야 WiseQA 통합 플랫폼 실증테스트
* 국회도서관/특허정보원 대상 실증 테스트 및 오픈API 서비스 제공을 통한 생태계 구축
· 일반분야 및 전문분야 엑소브레인 SW 평가셋 개발
· 일반분야 및 전문분야 엑소브레인 SW 생태계 활성화(학습데이터, 오픈API등 보급)
· 법률분야 및 특허분야의 엑소브레인 SW 응용 서비스 개발
· 법률분야 및 특허분야의 엑소브레인 SW 응용 서비스 실증테스트
· 일반분야 엑소브레인 SW 응용 서비스 발굴

◎ 3단계
● 목표
O (총괄,1세부과제) 3단계 연구목표 :
* 소량의 학습데이터만으로도 도메인 확장이 가능하고 다중근거 간 추론을 통해 판단결과와 근거를 설명가능한 심층질의응답 개발, 연구결과 보급을 통한 생태계 조성 및 산업화
· 설명가능한 질의응답 목표성능 : 정확률 80% 이상 (응답결과 상위 5개)
· 설명가능한 질의응답 말뭉치 구축 및 보급 : 총 100,000건 이상
· 언어지능 오픈API 개발 및 보급 : 총 6건 이상

● 내용
O (총괄,1세부과제) 3단계 연구내용 :
* WP1: 일반/법률분야 최적 언어모델 개발 및 응용 태스크 대상 검증 테스트
· 일반분야 언어모델의 성능/속도/메모리 최적화 연구 및 반영
· 일반분야 언어모델의 다수 응용 태스크 대상 성능 검증 테스트
· 법률분야 언어모델의 성능/속도/메모리 최적화 연구 및 반영
· 법률분야 언어모델의 다수 응용 태스크 대상 성능 검증 테스트
· 자연어 의미 정보 및 문맥 정보를 활용한 개념 표현 모델 성능 개선(울산대)
· 규칙과 통계 기반 모형에 기반을 둔 문맥의존 범용 한국어 맞춤법/문법 교정 성능 개선(부산대)
· 단어의 내용과 위치의 이중 어텐션 계산, 단어의 상대적/절대적 위치 계산을 통한 다음 단어 예측, 적대적 예제를 통한 사전학습 등이 가능한 언어모델 설계
· BERT 및 RoBERTa 모델 대비 성능이 우수한 사전학습 모델 개발 및 검증
* WP2: 소량의 학습데이터로 도메인/언어 확장이 용이한 전이학습 기반 한국어 이해 기술 고도화
· 형태소 분석, 개체명 인식, 의존구문 분석의 3개 멀티 태스크를 단일 딥러닝 모델로 동시에 학습 가능한 멀티태스크 한국어 이해 기술 최적화
· 문맥 분석을 위한 대명사 중의성 해소 기술 고도화
· 동형이의어 어휘의미분석 기술 개선을 통한 다의어 어휘의미분석 기술 성능 개선(울산대)
* WP3: 패러프레이즈 인식 및 문장 유사도 추론 정확도 향상을 위한 커리큘럼 학습 방법 개발 및 개방형 정보추출 기술 고도화
· 패러프레이즈 인식 정확도 향상을 위한 어텐션 기반 단어 순서 및 구문 구조를 반영한 학습방법 개발
· 문장 유사도 정확도 향상을 위한 커리큘럼 학습 방법 개발
· 문장 유사도 추론 및 기계독해 성능향상을 위한 정보추출 모델 활용 방안 연구 (KAIST)
· 문서 내 문맥 정보를 반영한 개방형 정보추출 결과 검증 및 성능 고도화
* WP4: 단답형/서술형/설명형 문제의 복합적 질문이해 기술 고도화
· 주장/근거 판단지원 질의응답을 위한 질문의도 분석 기술 고도화
· 질문의 핵심 개념어(Concept) 인식 및 개념어(Concept)와 연결된 속성의 관계정보 인식 고도화
· 하나 이상의 조건을 포함하는 질문 대상 논리적인 조건 단위로 질문 분할 기술 고도화
· 정답 단락의 재현율을 높이기 위해 질문 분할 단위로 질의 재생성 기술 고도화
* WP5: 뉴럴/심볼릭 융합 다중 정답단락 인식 및 다중 근거 간 기계독해 정답 추론 기술 고도화
· 질의의 문맥 정보를 반영한 정답 경계 및 근거 인식 기술 고도화
· 질의의 문맥 정보를 반영한 YES/NO 답변 및 근거 인식 기술 고도화
· 질의의 문맥 정보를 반영한 응답불가 질의 인식 기술 고도화
· 질문과 표 간의 연관성 모형 기반 표 내의 정답 추출/선별 모형 고도화 (부산대)
· 트리플 임베딩을 이용한 뉴럴/심볼릭 융합 트리플 정답추론 기술 고도화
* WP6: 다중 문단 및 문서의 연결을 통해 정답을 추론하는 그래프 기반 영어 질의응답 기술 개발(KAIST)
· 문장 내 의미역 관계와 문장 간 관계 및, 다중 문단/문서 사이 관계를 포함하는 복합 추론 질의 응답 기술 개발
· 관계 기반 질의 응답 경로를 그래프로 표현하는 정답 추론을 설명하는 기술 개발
· 다중 문단/문서 질의에서 요구하는 정답의 세부 속성과 온톨로지 간 연결을 자동화하는 고도화된 질의 해석 기술 개발
* WP7: 판단결과와 근거를 설명가능한 심층질의응답(WiseQA) 플랫폼 최적화
· 맵리듀스 기반 대용량 언어분석 저장/색인/검색 플랫폼 최적화
· 일반분야 WiseQA 통합 플랫폼의 성능/속도 최적화 및 안정성 확보(나눔기술)
· 법률분야 WiseQA 통합 플랫폼의 성능/속도 최적화 및 안정성 확보(나눔기술)
· 2세부 KBQA 시스템과의 통합 및 성능평가
* WP8: 설명가능한 심층질의응답(WiseQA) 플랫폼 생태계 구축 및 산업화 촉진
· 일반분야 및 전문분야 심층질의응답 평가셋 추가 개발
· 일반분야 및 전문분야 심층질의응답 학습데이터 및 오픈 API 보급을 통한 생태계 구축
· 일반분야 오피스 문서 기반 심층질의응답 시스템 산업화(한글과컴퓨터)
· 법률분야 심층질의응답 시스템 산업화 확대(수요기관)
* WP9: 세부과제 간 협업을 통해 목표 달성을 위한 엑소브레인 SW 개발 지원 총괄 관리
· 3차년도 목표 달성을 위한 세부과제 간 연계 개발 조정 관리
· 3차년도 목표 달성을 위한 세부과제 품질 관리 지원
· 3차년도 연구결과물을 활용한 생태계 조성 및 사업화 지원

□ 연구개발성과
O 1단계 연구개발성과
* (원천기술) 자연어 심층이해 공통 기반 기술 개발
.통계적 언어지식 및 언어 지식베이스 연계 자연어 분석 기술 개발(의존구문분석 정확률: 92.5%)
.인간수준으로 어휘와 문장의 문법을 분석 가능한 한국어 분석기술 6종 확보 (형태소 분석기술, 개체명 인식기술, 동음이의어 분석기술, 다의어 분석기술, 의존구문 분석기술, 의미역 인식기술)
.인공지능 응용개발을 위한 엑소브레인 언어분석 툴킷 보급 및 교육(㈜솔트룩스, 서울대 , KAIST, 포항공대 등)
* (원천기술) 텍스트 빅데이터 기반 언어지식 추출/학습 기술 개발
.국내 최초 시간정보 및 공간정보 추출기술 개발
.기계가 매일 뉴스를 분석하여 신조어 및 어휘의미관계(IS-A) 끊임없이 학습하고 축적하는 방법론 정립 및 기술 개발(신조어 학습 정확률 : 91.4%, IS-A 학습 정확률 : 86.3%)
.한국어 최대 어휘 의미망 통합구축
- 4개 언어자원 통합: 1,677,885개 어휘, 733,127개 관계
- WiseWordNet을 이용한 어휘의미유사도 알고리즘 10개 구현
.한국어 시공간 정보 주석체계 정립 및 머신러닝 데이터 구축/배포
* (원천기술) 자연어 질문 분석 및 이해 기술 개발
.자연어의 다양한 분석단위를 활용한 문장유사도의 정규화 기술 개발 및 질문함의 기술 개발
.다차원 질문분류에 기반한 질의응답전략 효율성 극대화 및 정답 신뢰도 개선 기술 개발
.언어지식을 이용한 객관적 정답유형 신뢰도 계산 및 검증 기술 개발
.고정밀 언어분석기술에 기반한 핵심 키워드 인식 및 위키피디아 타이틀 연결 기술에 따른 질의응답 효율성 극대화
.언어지식을 이용한 정답유형 상호검증으로 정확률 중심의 정답유형 인식 기술 개발(어휘정답 유형 정확도 80.60%)
* (원천기술) 고신뢰도 정답추론 및 정답생성 기술 개발
.질문 유형/질문 분할정보/질문 도메인 기반의 정답후보 생성 및 정답후보의 출처, 근거 개수, 리소스 신뢰도에 따른 정답후보 신뢰도 추론
.18종의 정답후보 타입/제약 추론을 통한 정답후보 축소 성능 극대화
.12종의 어휘/구문/의미/문장 기반 정답가설 근거 추론
.고신뢰성을 보장하는 최적정답제시를 위한 다중 근거 기반의 정답후보 신뢰도 학습 및 모델 개발(질문/정답 유형별 29개 신뢰도 모델 구축)
.다차원 통계 분석 기반 최적 응답 임계치 추론 기술 개발
.정답후보 타입/제약 검증을 통한 정답후보 재순위화 기술 개발
.최종 질의응답 성능평가(장학퀴즈 <대결! 엑소브레인> 문제 대상 평가)
- 100% 응답률 시 83.33%, 80% 응답률 시 91.67%
* (시스템) 일반지식 대상 심층 분석형 WiseQA 시스템 통합
.41대의 PC 클러스터링을 통한 빠르고 저렴한 WiseQA플랫폼(IntelXeon® CPU E5-2637 v2@3.5GHz, 48MB RAM) 개발
.문제 당 실행속도 평가: 평균 4.19초(객관식 1.25초, 주관식6.12 초)
* (표준화) 국제표준화 승인 2건, 국제표준특허 7건, 국내 표준화 4건
.ITU-T F746.3 Intelligent QA Service Framework 국제표준 승인(’15.11) 및 관련 국제표준특허 7건 확보: 지능형 질의응답 서비스 프레임워크 국제 표준 승인
.ISO/IEC 21000-22:2016 MPEG User Description 국제표준 승인 (‘16.11): 질의응답 및 자연어 처리 응용서비스를 위한 사용자 언어요소 기술방법의 국제표준 승인
.국내 TTA 및 국가기술표준원 표준 개정 1건, 신규표준 제정 3건: 자연어 이해 기술의 표준 제개정 3건
* (생태계 조성) 엑소브레인 SW 보급, 머신러닝 학습데이터 보급
.SW 보급: 한국어 형태소 분석 기술, 개체명 인식 기술, 어휘 의미분석 기술, 의존구문분석 기술, 의미역 인식 기술, 상호참조 해결 기술, 무형 대용어 복원 기술의 7종 SW의 국내 기업과 대학 등에 34회 보급(’15년도 19회, 16년도 15회)
.머신러닝 데이터 보급: 형태소, 개체명, 의미역, 의존구문관계, 시간관계 태깅 데이터 등의 머신러닝을 위한 학습데이터의 153개 기관 보급(’15년도 63회, 16년도 90회)
.국내외 워크샵 추진: 연구결과물의 활용 및 공개 검증을 위한 국외 워크샵 4회, 국내 워크샵 3회 추진
* (1단계 연구결과 공개검증) EBS 장학퀴즈 <대결! 엑소브레인>에서 장학퀴즈 상·하반기 우승자, 수능만점자, 퀴즈왕 등 4명과 퀴즈대결(2016.11.18.)
.2등보다 160점 앞선 510 대 350으로 압승하며 기술의 우수성을 공개적으로 검증(600점 만점)

O 2단계 연구개발성과
* WP1: 일반분야 및 전문분야 자연어 심층이해 시스템 최적화
.형태소 분석(F1): 98.85%(세종), 98.72%(법률), 97.84%(특허)
.개체명 인식(F1): 89.30%(뉴스), 86.6%(위키), 89.00%(법률)
.의존 구문분석(UAS): 95.24% (일반분야), 94.13% (전문분야)
.의미역 인식(F1): 84.46%
.상호참조 해결(CoNLL F1): 70.09%
* WP2: 딥러닝 기반 고난도 자연어 의미이해 기술 개선
.최첨단 딥러닝 언어모델(KorBERT): 한국어 처리 5개 태스크 평균 KorBERT 86.19% (구글 다국어 BERT 81.69% 대비 4.5% 우수)
.패러프레이즈 여부 인식(이진분류): 정확률 83.37% (구글 다국어BERT 대비 3.97% 성능 우위)
.문장유사도 인식(0~5 Likert Scale) 성능(Pearson 상관계수 x100) 88.46 (구글 다국어 BERT 대비 +4.09 성능 우위)
* WP3: 일반분야 및 전문분야 텍스트 빅데이터 대상 언어지식 학습 및 축적 시스템 개발
.시간 정보 추출(F1): TIMEX3 추출 (value) 90.30% F1, EVENT 추출 (class) 85.10% F1, TLINK (relation) 추출 50.90% F1
.공간 정보 추출(F1): 공간 관계 51.90%
.텍스트 수집: 법령 1,457건, 특허 1,034,057건 수집 및 색인
.전문용어 사전 구축:
- (법률분야) 법률명(23,116개) 및 법률용어(27,023개) 이형태 사전 구축
- (특허분야) 기술용어 사전 구축(누적 172,255개)
* WP4: 일반분야 및 전문분야 질의응답을 위한 자연어 질문분석 기술 최적화
.어휘 정답유형 인식: 92.58% F1
.의미 정답유형 인식: 85.22% F1
.Concept Linking: 80.77% 정확률
.Property Linking: 90.00%
* WP5: 딥러닝 기계독해 융합 단답형/서술형 정답후보 및 앙상블 기반 최적정답 추론 시스템 최적화
.일반분야 성능(정확률@응답률, Top5): 94.18%@85%
- 일반분야 정보검색: 92.70% 이진재현율@Top100
- 일반분야 뉴럴검색: 82.60% 이진재현율@Top1
- 일반분야 기계독해: 94.77% F1
.법률분야 성능(정확률@응답률, Top5): 94%@85%
- 법률분야 정보검색: 97.35% 이진재현율@Top100
- 법률분야 뉴럴검색: 75.30% 이진재현율@Top1
- 법률분야 기계독해: 81.79% F1
.특허분야 성능
- 유사특허 분류: 정확률 78.25%
- 유사도 분석: 이진재현율@Top100 59.20% (특허정보원 KIPRIS 대비 32.85% 성능 우위)
* WP6: 실증 테스트를 위한 일반분야 및 전문분야 WiseQA 플랫폼 최적화
.(언어분석 플랫폼) 하둡 맵리듀스(1대의 서버에서 8 Mapper, 12 Reducer) 기반 대용량 언어 지식 추출 및 저장 플랫폼 구축
.(WiseQA 플랫폼) 다사용자 동시접속을 고려한 단일 서버 기반의 확장형 WiseQA 플랫폼 개발
* WP7: 국회도서관/특허정보원 대상 실증 테스트 및 오픈API 서비스 제공을 통한 생태계 구축
.(법률분야) 국회도서관 대상 법령 WiseQA 실증서비스
- 실증 기간: 2019.07.15. ~ 2019.08.31.
- 평가 방법: 법령QA셋 평가와 별도로 국회도서관 데이터융합분석과에서도 국회사무처 법제실 발간 “법제실무”의 내용으로 질문을 만들어 평가
- 평가 결과: 국회도서관의 평가결과가 우수하여, 2020년도에 지능형 의회정보융합 분석 시스템 개발에 법령QA를 도입하기로 확정함
.(특허분야) 특허정보원 KIPRIS 시스템과 엑소브레인 특허 유사도분석 시스템 간 벤치마킹을 통한 성능 평가
- 실증 기간: 2019.07.15. ~ 2019.08.31.
- 평가 대상 및 평가셋: 전기전자분야 전체 특허 11만건, 평가셋 2천건
- 평가 결과: 이진재현율@Top100 59.20% (특허정보원 KIPRIS 대비 +32.85%)
.(생태계 구축) 한국어 최첨단 언어모델 KorBERT 배포(’19.06.10)

O 3단계 연구개발성과
* WP1: 일반/법률분야 최적 언어모델 개발 및 응용 태스크 대상 검증 테스트
.(일반/법률분야 언어모델)
- 일반분야 한국어 최고 오토인코딩 언어모델(KorBERT V3.0) 개발
.KorQuAD 1.0 기계독해 성능(학습셋: 60,407건, 평가셋 5,774건): KorBERT-Base V3.0: 89.24%, F1 95.71% 달성
- 법률분야 언어모델의 학습성능을 개선하였으며, 법률 및 행정분야 기계독해 평가셋을 통한 성능개선 검증
.법률분야 기계독해 성능(학습셋: 74,172건, 평가셋 6,000건): EM 73.88%, F1 91.7% (KorBERT-Legal V2.0 대비 EM 1.78%, F1 2.2% 개선)
.행정분야 기계독해 성능(학습셋: 169,590건, 평가셋 20,000건): EM 79.72%, F1 93.79% (KorBERT-Legal V2.0 대비 EM 2.48%, F1 1.51% 개선)
.(개념 표상 언어 표현 모델)
- KorQuAD v1.0 (79.55%-F1, 0.52% 상승), NER (87.19%-F1, 0.38% 하락), SRL (54.37%-F1, 0.78% 상승), NSMC (87.64%-Accuracy, 0.25% 하락) - base 모델(BERT 일반)과 비슷한 성능
- Fine-tuning의 학습 데이터가 적은 환경에서 좋은 효과를 보임, 10%의 데이터만 사용 KorQuad v1.0 (80.0%-F1, 5.1% 상승), NER (81.8%-F1, 0.1% 하락), SRL (48.3%-F1, 1.1% 상승), NSMC (84.2%-Accuracy, 0.2% 상승)
.(한국어 교정 시스템) 한국어 어휘의미망(KorLex)의 노드 간 거리 정보 기반 그래프 임베딩 모델 학습(KorLex와의 유사도 85.33%)
.(영어 교정 시스템) 정확도(accuracy)/재현율(recall) : 98.43%/81.36%
* WP2: 소량의 학습데이터로 도메인/언어 확장이 용이한 전이학습 기반 한국어이해기술 고도화
.(형태소)
- 2단계 딥러닝 재순위화 모델을 통한 추가 성능 개선: 1단계 모델 대비 어절정확도 +0.3(문어), +0.46(구어) 개선
- 어절정확도 98.07%(문어), 95.49%(구어). 2022년 성능 목표 달성
.(개체명) F1 94.25%(구어), F1 93.53% F1(문어) -> 2022년 성능 목표 달성
.(상호참조해결) EWC, IMM을 상호참조해결에 적용 성능 향상 : Transfer Learning과 비교시 도메인 적응 성능이 62.7%에서 64.8%로 향상
.(다의어 어휘의미분석) 모두의말뭉치 다의어 어휘의미분석(명사, 용언) 90.60%(+0.12) -> 2022년 성능 목표 달성
.(구어체 데이터 구축)
- 영어 형태소/개체명 데이터 5천 어절 구축 작업 완료
- KLUE 한국어 구어체 데이터 10만 어절 추가 구축(형태소)
- 한국어 구어체 개체명(3만 개체) 학습데이터 구축
* WP3: 패러프레이즈 인식 및 문장 유사도 추론 정확도 향상을 위한 커리큘럼 학습 방법 개발 및 개방형 정보추출 기술 고도화
.(패러프레이즈 인식) 적대적 유형 4가지, 일반 유형 2가지를 포함하는 평가셋에 대해 예측 정확률 평균 92.01% 달성 (2021년 대비 평균 +0.79%개선, 개별 최대 +1.87% 개선, 일반 유형 뉴스분야 88.17% 달성)
.(정보 모델 활용) 문장유사성 분석을 위한 적대적사례 정제 말뭉치 2만 쌍 이상 확보
.(정보추출) 기계독해 학습데이터의 질문-정답 문맥을 활용한 SVO 트리플 추출을 활용한 개방형 정보추출 모델 개발 및 고도화 (346,556개 SVO 트리플 후보군 추출 및 자동태깅. 82.3% 추출 정확도.)
* WP4: 단답형/서술형/설명형 문제의 복합적 질문이해 기술 고도화
.(질문의도 분석) 질문의 핵심 개념어(Concept) 인식 성능 : F1 84.66%
.(개체연결) 딥러닝 기반 개체연결 성능 : 국립국어원 데이터: Acc. 77.38%
- 개체연결 성능 고도화 : 국립국어원 데이터: Acc. 79.30%
* WP5: 뉴럴/심볼릭 융합 다중 정답단락 인식 및 다중 근거 간 기계독해 정답추론 기술 고도화
.(검색/재순위화) 정답단락 인식 성능: F1@Top5 85.23%
.(멀티태스크 기계독해) 성능:
- 다중근거 기반 기계독해: 90.47% F1, 복합근거 기반 기계독해: 93.52% F1, 응답불가 기계독해: 98.70% F1, Yes/No 기계독해: 98.97% F1
.(근거인식) 성능: 98.06% Precision, 97.99% Recall, 98.02% F1
.(설명가능 질의응답) 성능현황: 87.57% F1@Top5
.(행정문서 질의응답) 실증 성능
- ETRI 원규정보 질의응답 실증 2022.01~현재 성능 현황: 95.02% F1@Top5
- NST 원규정보 질의응답 실증 2022.03~현재 성능 현황: 88.63% F1@Top5
.(테이블 정답 추론) 성능(EM/F1) : 83.68%/90.48%, 학습/평가 말뭉치 : KorQuAD 2..0
.(트리플 정답 추론) 불완전 트리플 정답 추론 기술 개발, MRR: 73.5%, Hits@1: 65.9% (SOTA)
* WP6: 다중 문단 및 문서의 연결을 통해 정답을 추론하는 그래프 기반 영어 질의응답 기술 개발(KAIST)
.(복합 추론 질의응답 기술) 학습 효율성 향상 (기존 대비 1% 이하의 작은 데이터에서 약 64%의 성능 향상), EMNLP 2022 논문 게재, HotpotQA Ans EM: 70.07%
.(그래프 기반 정답추론) 기존의 계층적 그래프에서 중요하지 않은 간선(Edge)을 제거하여 다중문단 질의응답 답안에 도달하는 단계적 추론 스텝 확보, 모델의 성능 향상
.(희소화 모델 기반 질의 해석) Multi-hop 질문에서 요구하는 정답의 제약조건(속성)을 ‘희소 뉴럴 자질’(sparse neural feature) 형태로 추출하는 희소(sparse) 모델 학습, 고차원으로 분해되어 해석 가능한(monosemous) 뉴럴 자질 획득
* WP7: 판단결과와 근거를 설명가능한 심층질의응답(WiseQA) 플랫폼 최적화
.(2세부 KBQA 통합) 2세부 KBQA API 이용한 설명가능한 질의응답 시스템에 통합 완료
.(일반/법률 분야 QA 플랫폼) 법률 질의응답 대상 테스트베드 구축 및 플랫폼 성능 검증
* WP8: 설명가능한 심층질의응답(WiseQA) 플랫폼 생태계 구축 및 산업화 촉진
.(OpenAPI 공개) 엑소브레인 상호참조해결 및 개체연결 API 공개 (ETRI, 강원대, 2022.11.28)
.(생태계 구축) [23년 2월 기준] 2,349개 기관 활용, 약 6,145만건 사용(BERT 1,440건, ET5 239건 다운로드)
.(학습데이터 배포) 멀티홉 학습데이터 4만셋 배포 (2022.11.28)
.(공정거래 QA 산업화) 공정거래위원회 유관 법률 질의응답 기술에 기반한 데이터 포털 서비스 확장
.(법률 QA 산업화) 국회도서관 법률질의응답 개선 및 업데이트
.(행정문서 QA 산업화) NST 법률질의응답 후속 인공지능 사업을 위한 시범서비스 진행 (NST 원규/규정에 대한 질의응답 서비스)
* WP9: 세부과제 간 협업을 통해 목표 달성을 위한 엑소브레인 SW 개발 지원 총괄 관리
.(연구산출물 공개 및 홍보) 3단계 3차년도 추가 연구성과 오픈 API 제공 지원, 기술별 시연사이트를 포함한 엑소브레인 홈페이지 운영, 엑소브레인 1세부과제(부산대) 한국어 어휘의미망(Korlex) 그래프 임베딩 모델 공개 및 한국어 표 기계독해 지식 검증 데이터 셋 공개(2022.07), 엑소브레인 1세부과제(울산대) 의미 정보를 활용한 경량화 Bert 모델 및 UWordMap DB & Browser 공개(2022.07) 등
.(세부과제 간 협력) 엑소브레인 기술 교류 워크샵 개최(KCC2022 협력워크샵, 2022.06.30.) 등
.(개발 조정 관리) 운영위원회 개최 통한 성과 확산 및 홍보 방안 지속 마련, 세부과제 별 연구진행 현황 공유
.(공인인증 평가 지원) 객관적 성능평가 추진: 세부과제별 공인 시험인증 일정 수립 및 TTA시험 지원
.(사업화 지원) 엑소브레인 SW 결과물 사업화 추진 지속 지원

□ 연구개발성과 활용계획 및 기대 효과
<활용계획>
O 엑소브레인 인공지능 기술을 활용하여 일분분야 및 전문분야 지식서비스 산업영역에서 인간의 지식생산성을 획기적으로 높여주는 새로운 개념의 의사결정지원 시스템 개발에 활용
* (일반분야) 신문, 웹 문서, SNS 등에 필요 내용이 분산되어 있거나 산재해 있는 경우 여러 증거 문서들로부터 가장 확률이 높은 정답을 추출해야 하는 AI 기반 지식검색 서비스에 적용, 오피스 문서 기반 질의응답 솔루션에 적용
* (법률분야) 법령/시행령/규칙에 대한 질의응답 기능을 제공하여 법률 상식 정보 제공 및 판례 분석을 통한 유사 사례에 대한 법률 자문 서비스 지원
* (상담분야) 다양한 공공기관 및 기업의 콜센터에서 인공지능 상담사가 고객과 직접 통화하여 AI가 자동으로 지식을 제공하는 상담 서비스 제공에 활용

<기대효과>
O 국내 AI 기술의 자주성 확보를 통한 외산 솔루션의 국내 진입 방지 및 우리나라 AI 산업 경쟁력 확보에 기여
* 외국 솔루션 대비 저비용, 고성능 언어지능 SW 개발을 통한 제4차 산업혁명의 기반 구축
* 전통산업 ICT化: 전문분야(예: 금융, 법률 등)에서 인공지능 은행원, 인공지능 법무사, 인공지능 상담사 등으로 활용 가능

O 전문가 수준의 고품질 지식서비스 제공으로 조사·분석·취합 등의 노동집약적 업무를 대체하여 삶의 질 향상. 법률, 상담 등의 분야에서 변호사, 법무사 등의 서비스를 받기 위한 중소기업과 국민의 비용 절감 및 지식서비스 공급 격차의 해소에 기여
* 국내 매출 상승 및 수출 증대 및 수입 대체 효과 견인

O 차세대 인공지능 관련 고급 SW 인력 및 데이터 사이언티스트 양성 및 전문가 문제해결 및 의사결정 지원 고품질 지식서비스 제공으로 삶의 질 향상
* 산/학/연 연계 자연어 처리, 인공지능, 질의응답 등의 다양한 SW 분야 고급 인력 양성

(출처 : 요약문 4p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 2
• 요 약 문 ... 4
• 목차 ... 14
• 1. 연구개발과제의 개요 ... 15
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 17
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 42
• 1) 연구수행 결과 ... 42
• 2) 목표 달성 수준 ... 154
• 4. 목표 미달 또는 미흡한 사항에 대한 원인분석 ... 172
• 1) 목표 미달 또는 미흡한 연구결과에 대한 원인(사유) 자체분석 내용 ... 172
• 2) 미달 또는 미흡한 결과물에 대한 보완 활동 ... 172
• 3) 연구개발 과정의 성실성 ... 172
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 173
• 6. 연구개발성과의 관리 및 활용 계획 ... 174
• 1) 향후 5년간 성과활용·확산 활용방안 및 계획(활동계획) ... 175
• 2) 주요 성과활용 (기대)성과목표 ... 176
• 3) 성과활용·관리 추진체계 ... 176
• 4) 기타 ... 176
• 7. 연구개발성과에 대한 후속연구 및 추가 개발 계획 ... 177
• 8. 연구개발비 사용실적 ... 178
• 끝페이지 ... 229