초록 ▼

□ 연구개요
인공지능의 대표적인 기술인 심층 신경망의 활용성이 높아짐에 따라 품질에 대한 수요가 증가하고 있다. 심층 신경망의 구조와 동작 방식은 매우 복잡하기 때문에 결함이 발생할 가능성이 크며, 인공지능을 기반으로 한 안전 필수 시스템에서 잘못된 분류는 치명적인 결과로 이어질 수 있다. 본 연구는 심층 신경망을 평가하기 위한 통합 프레임워크을 개발하였다.

□ 연구 목표대비 연구결과
본 연구는 심층 신경망을 구조와 데이터를 기반으로 평가하는 방법을 연구하였다.
구조 기반 white-box 테스트는 데이

□ 연구개요
인공지능의 대표적인 기술인 심층 신경망의 활용성이 높아짐에 따라 품질에 대한 수요가 증가하고 있다. 심층 신경망의 구조와 동작 방식은 매우 복잡하기 때문에 결함이 발생할 가능성이 크며, 인공지능을 기반으로 한 안전 필수 시스템에서 잘못된 분류는 치명적인 결과로 이어질 수 있다. 본 연구는 심층 신경망을 평가하기 위한 통합 프레임워크을 개발하였다.

□ 연구 목표대비 연구결과
본 연구는 심층 신경망을 구조와 데이터를 기반으로 평가하는 방법을 연구하였다.
구조 기반 white-box 테스트는 데이터의 작은 변형에도 모델이 데이터의 유형을 잘못 분류하는 문제에 착안하여 모델의 성능을 더 엄격하게 평가하는 방법을 연구하였다. 모델의 비용 함수를 이용하여 잠재적으로 잘못 분류될 수 있는 데이터들을 식별하고, 이 데이터들을 고려하여 기존보다 더 엄격한 성능 평가 지표를 정의하였다.
다양한 데이터셋과 모델을 대상으로 수행한 연구 결과는 데이터셋이 복잡할수록 잠재적 오분류 데이터의 수가 많이 존재함을 확인하였고, 모델의 성능이 더 낮게 측정되는 것을 확인하였다.
데이터 기반 black-box 테스트는 효과적인 심층 신경망 테스트 데이터 생성 방법을 연구하였다. 무작위적인 테스트 데이터 생성은 변형 강도가 미약하여 효과적이지 않은 데이터가 생성되거나, 이미지 변형 강도가 과도하여 사람도 구별하기 어려운 데이터가 생성될 수 있다. 따라서 테스트 데이터를 생성할 때 테스트 데이터 선별을 위한 기준을 정의하고, 생성된 테스트 데이터를 선별하여 심층 신경망을 평가하였다. 다양한 데이터셋과 모델을 대상으로 수행한 연구 결과는 무작위 생성 방법보다 테스트 효과성이 증가함을 확인하였다.

□ 연구개발성과의 활용 계획 및 기대효과(연구개발결과의 중요성)
다양한 컨텍스트를 표현하는 테스트 데이터를 생성을 통해 학습 데이터의 컨텍스트와 유사하지 않은 환경에서 심층 신경망의 성능을 평가할 수 있다. 또한 다양한 테스트 데이터와 심층 신경망의 근본 구조 정보를 바탕으로 심층 신경망을 평가함으로써 심층 신경망의 신뢰성을 향상시킬 수 있다.
후속 연구를 통해 심층 신경망의 강건성 평가 및 향상과 더불어 안전성, 신뢰성 등 다각도에서 평가하는 연구를 수행하고 있으며, 학습 데이터와 성격이 다른 데이터가 입력되었을 때 심층 신경망 모델의 상태를 관찰하여 성능 저하의 원인을 파악하고 설명하는 것을 목표로 한다. 그리고 테스트 기술 정형화된 방법과 도구를 개발하여 AI 소프트웨어를 정량적으로 테스트하고 평가 및 분석까지 할 수 있는 기술 개발을 목표로 한다.

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 4
• 1) 구조 기반 white-box 테스트 ... 4
• 2) 데이터 기반 black-box 테스트 ... 9
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 12
• 1) 정성적 연구개발성과(연구개발결과) ... 12
• 2) 세부 정량적 연구개발성과 ... 12
• 3) 목표 달성 수준 ... 12
• 4) 목표 미달 시 원인 분석 ... 13
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발결과의 중요성) ... 13
• 5. 연구개발성과의 관리 및 활용 계획 ... 13
• 6. 참고문헌 ... 14
• [붙임1] 세부 정량적 연구개발성과 ... 15
• [붙임2] 연구책임자 대표적 연구실적 및 증빙(요약문 및 사본) ... 16
• 끝페이지 ... 26