초록 ▼

연구의 목적 및 내용
최종 목표
최근 AI(Artificial Intelligence:인공지능)기술은 제조, 금융, 의료 등 다양한 사업 분야로 점차로 확대가 되고, 4차 산업혁명을 주도할 것으로 예상되고 있다. 그러나 AI에 대한 경제적, 사회적 의존도가 커질수록 AI시스템이 오동작하였을 때 감당해야 할 비용 또한 그만큼 천문학적으로 늘어나게 될 것이다. 즉, AI 시스템의 잘못된 설계나 사전에 설계단계에서 감지하지 못한 AI허점들은 인류발전에 역효과를 가져올 수 있다. 그러므로 최근 AI기반의 애플리케이션 개발만큼이나

연구의 목적 및 내용
최종 목표
최근 AI(Artificial Intelligence:인공지능)기술은 제조, 금융, 의료 등 다양한 사업 분야로 점차로 확대가 되고, 4차 산업혁명을 주도할 것으로 예상되고 있다. 그러나 AI에 대한 경제적, 사회적 의존도가 커질수록 AI시스템이 오동작하였을 때 감당해야 할 비용 또한 그만큼 천문학적으로 늘어나게 될 것이다. 즉, AI 시스템의 잘못된 설계나 사전에 설계단계에서 감지하지 못한 AI허점들은 인류발전에 역효과를 가져올 수 있다. 그러므로 최근 AI기반의 애플리케이션 개발만큼이나 AI기반의 시스템의 안정성 등에 대한 연구가 큰 관심을 끌고 있다. 본 연구에서는 AI기만공격(deception attack)에 강건한(robust) AI 시스템 구축을 연구개발 목표로 한다.

전체 내용
본 연구에서는 AI기만공격에 강건한 AI 시스템 구축을 연구개발 목표로 한다. 이를 위해 적대적 사례에 취약한 AI 시스템의 허점에 대한 기초 기반 기술을 연구한다. AI 시스템을 공격하는 적대적 예를 생성하는 연구, AI 시스템의 취약점 분석을 위한 모델 테스팅 연구, AI 시스템의 입력-출력 관계를 통해 AI 시스템의 특성을 파악하는 모델 분석 연구 등을 수행하고자 한다. 이를 통하여, AI 시스템 설계자들은 안정적인 시스템을 설계할 수 있는 표준지침을 제시한다. 또한 사전에 AI기만 공격이 이루어지고 있는지 적대적 예를 사전에 감지할 수 있는 기술에 대한 연구, AI시스템을 학습하는 데이터에 AI시스템의 성능을 공격자의 의도대로 변질 시킬 수 있는 악성 데이터가 주입되어 있는지를 파악하는 데이터에 대한 포렌식 연구, 그리고 AI시스템의 취약점 분석을 위해 AI 시스템 자체의 동작원리에 대한 연구도 병행하고자 한다.

연구개발성과
본 연구에서는 AI기만공격(deception attack)에 강건한(robust) AI 시스템 구축을 연구개발 목표로 한다. 이를 위해서 적대적 사례(adversarial example)에 취약한 AI 시스템의 허점에 대한 기반 기술과 사전에 AI기만 공격이 이루어지고 있는지를 사전에 감지할 수 있는 기술, 그리고 이러한 공격에 대하여 강건한 AI시스템의 설계에 대하여 연구한다. 이를 통하여, AI 시스템 설계자들이 안정적인 시스템을 설계할 수 있는 표준지침 또는 평가 가이드라인을 제시한다. 그리고 이를 AI 시스템 인증 관리 플랫폼 서비스 시스템에 적용하여 실제 제품에 적용하고자 한다.

연구개발성과의 활용계획(기대효과)
본 과제의 결과를 통해 AI 시스템의 미검증된 위협요소를 제거할 수 있고, 보다 안정적인 AI 시스템 설계의 기초 사례, 기초 자료, 기반 기술 등을 제시함으로서 국내 4차산업의 기반을 다질 수 있다. 본 연구에서 제시될 연구결과를 통하여 AI 시스템 설계자들은 안정적인 시스템을 설계할 수 있는 표준지침 또는 평가 가이드라인을 활용하여 개선된 AI시스템을 설계할 수 있고, AI 시스템 이용자들은 취약점이 제거된 안정적인 업그레이드된 AI시스템을 활용할 수 있으며, 국내 AI 허점연구의 기초 기반 기술을 제공하여 국내 AI 산업이 외국 기술을 선도할 수 있는 기초를 다질 수 있을 것이다.

(출처 : 요약문 5p)

목차 Contents

• 표지 ... 1
• 제 출 문 ... 2
• 보고서 요약서 ... 4
• 요약문 ... 5
• 목차 ... 6
• 1. 연구개발과제의 개요 ... 7
• 1-1. 연구개발 목적 ... 7
• 1-2. 연구개발의 필요성 ... 8
• 1-3. 연구개발 범위 ... 9
• 2. 연구수행내용 및 성과 ... 10
• 3. 목표 달성도 및 관련 분야 기여도 ... 31
• 3-1. 목표 및 달성여부 ... 31
• 3-2. 목표의 세부 성과 달성 현황 ... 52
• 3-3. 목표 미달성 시 원인(사유) 및 차후대책(후속연구의 필요성 등) ... 71
• 4. 연구개발성과의 활용 계획 등 ... 72
• 4-1. 향후 5년간 성과활용·확산 활용방안 및 계획(활동계획) ... 72
• 4-2. 주요 성과활용 (기대)성과목표 ... 73
• 4-3. 성과활용·관리 추진체계 ... 74
• 4-4. 기타 ... 75
• 붙임1. 사업화대상기술별 기술명세서 ... 76
• 붙임2. 참고문헌 ... 81
• 붙임3. 자체 보안관리 진단표 ... 81
• 붙임4. 공개 SW 요약서 (공개SW과제만 작성) ... 82
• 붙임5. 연구데이터 관리계획 (연구데이터 관리계획(DMP) 과제만 작성) ... 83
• 끝페이지 ... 84