초록
▼
1. 개요
최근 인공지능 분야는 학술적 연구 단계를 넘어 비즈니스에 적용 가능한 수준으로 빠르게 발전하면서 산업계에서의 활용도가 높아지고 있다. 인공지능 기술은 앞으로 2~3년에 걸쳐 상용화가 진전되어 2020년경에는 자율주행차, 의료, 로봇, 금융, 보험, 군사정보 등 다양한 플랫폼에서 활용될 것으로 기대된다[1]. 지금까지 인공지능은 인지, 의사결정, 예측 등의 정보를 제공할 때 결과만 알려주고 도출한 최종 결과의 근거, 도출 과정의 타당성 등을 논리적으로 설명할 수 없는 점이 한계로 지적됐다. 이런 방식을 범
1. 개요
최근 인공지능 분야는 학술적 연구 단계를 넘어 비즈니스에 적용 가능한 수준으로 빠르게 발전하면서 산업계에서의 활용도가 높아지고 있다. 인공지능 기술은 앞으로 2~3년에 걸쳐 상용화가 진전되어 2020년경에는 자율주행차, 의료, 로봇, 금융, 보험, 군사정보 등 다양한 플랫폼에서 활용될 것으로 기대된다[1]. 지금까지 인공지능은 인지, 의사결정, 예측 등의 정보를 제공할 때 결과만 알려주고 도출한 최종 결과의 근거, 도출 과정의 타당성 등을 논리적으로 설명할 수 없는 점이 한계로 지적됐다. 이런 방식을 범죄 위험성 판단이나 인사 평가, 군사작전, 의료, 보험, 금융 등 신뢰를 기반으로 하는 시스템에 적용할 경우 효율성은 높일 수 있겠지만 공정성, 신뢰성, 정확성을 확보했다고 보긴 어렵다. 유럽연합은 2018년부터 General Data Protection Regulation에 의거하여 알고리듬에 의해 자동으로 결정된 사안에 대해서는 회사에서 설명을 제공하도록 강제하고 있고, 미국에서는 회사가 내린 신용카드 발급, 주택담보대출 등의 주요 금융 결정에 대해서 이유를 제시하도록 법적으로 강제하고 있다[2]. 이러한 필요성에 따라 사용자에게 시스템의 개별 의사결정에 대한 설명을 제공하고, 사용자가 인공지능 시스템의 전반적인 강점 및 약점을 이해하도록 도와주는 설명 가능한 인공지능(eXplainable AI, XAI) 기술이 주요 연구 분야로 주목받고 있고, 미국에서는 방위고등연구계획국(DARPA: Defense Advanced Research Projects Agency)의 주도하에 활발한 연구가 진행되고 있다.
그림 1은 XAI의 개념도를 나타낸다. XAI는 기존의 빅데이터 분석 알고리듬을 통한 분류?예측뿐 아니라 의사결정에 대한 인과관계를 분석하여 적절한 근거를 찾고 ICT, 심리, 언어 분야 등의 학제 간 융?복합적 기술개발을 통해 인공지능 모델의 의사결정 결과를 사용자 레벨에서 설명하는 인공지능 기술이다. XAI 개발을 통해 사용자가 AI 시스템의 의사결정을 이해하고, 결과를 신뢰하여 효과적으로 업무를 수행할 수 있도록 도와줌으로써 의료, 법률, 금융 등 다양한 분야에 인공지능이 도움이 되고 사람들의 인공지능에 대한 불안감을 해소할 수 있는 계기가 될 것으로 기대된다.
그림 1. XAI 개념도 (출처: DAPRA presentation)
2. DAPRA XAI 개발 전략
DAPRA의 XAI 연구는 ‘설명 가능 모델’과 사용자를 위한 ‘설명 인터페이스’로 이루어진다(그림 1). ‘설명 가능 모델’ 개발은 기존의 머신러닝 기술을 변형하거나 새로운 머신러닝 기술개발을 통해 고차원의 학습 능력을 유지하면서 설명 가능성을 향상시키는 연구를 수행하며, 심층설명학습(deep explanation), 해석 가능한 모델(interpretable models), 모델 귀납(model induction) 등의 가능한 전략을 통해 개발된다[2, 3]. ‘설명 인터페이스’ 개발은 HCI(human-computer interaction) 기술을 이용하여 모델의 의사결정에 대한 설명을 사용자가 이해할 수 있는 방식으로 표현하는 연구이다. ‘설명 인터페이스’는 설명 가능성과 정정 가능성의 2가지 원칙이 충족되어야 한다[2, 3].
표 1. 설명 가능 모델 개발 전략
심층설명학습
변형된 혹은 하이브리드 형태의 딥러닝 기술개발.
은닉 계층의 노드가 의미 있는 속성을 나타내도록 심층신경망이 설명 가능한 특징들을 학습하도록 하는 기술. 예) 개와 고양이의 이미지에서 각 은닉 노드가 귀 모양, 꼬리 모양, 입의 위치 등을 나타내도록 학습해서 모델이 어떤 이미지를 개라고 판단했을 때 활성화된 은닉 노드를 통해 판단의 근거를 알 수 있음[2].
해석 가능한 모델
구조화된, 해석 가능한 인과관계 모델을 구축하는 연구.
BPL(bayesian program learning) 모델: 작은 조각들의 조합으로 표현하도록 학습하는 방법. 예) 글자를 생성하는 모델을 학습할 때 글자를 획으로 나누어서 가장 그럴듯한 획의 조합으로 생성하도록 함[2].
확률적 And-OR 그래프 기반 모델: 입력 데이터의 특징을 관계 그래프로 생성하여 분류 결과에 연결된 노드로부터 분류 근거 확인. AND-OR 그래프를 통해 터미널 노드에 도달하기까지 거친 노드들을 분석할 수 있으며, 분류된 이미지와 매핑되는 특징(스케치, 색, 텍스처, 주요 객체 위치 등)을 식별하여 설명 가능[4].
모델 귀납
임의의 블랙박스 모델을 설명 가능한 모델로 추론하는 기술.
LIME(local interpretable model-agnostic explanations): 임의의 블랙박스 모델을 이미 설명이 가능한 데이터 주변에서 희소 선형 결합을 통해 국부적으로 설명 가능하게 만드는 방법. 예) 이미지를 분류하는 블랙박스 모델이 어떤 이미지를 개라고 판단했다면 이미 설명 가능한 다른 모델의 개에 대한 설명, 즉 개를 표현하는 픽셀들을 주어진 이미지와 대조하여 어느 부분이 개라고 판단한 근거인지 제시할 수 있음[2].
3. XAI를 위한 딥러닝 기술
딥러닝 모델의 설명 및 예측을 위한 대표적인 2가지 해석 기법은 1) sensitivity analysis(SA)와 2) Layer-wise relevance propagation(LRP)이다[5]. SA는 딥러닝 모델에서 국소적인 입력 변화에 대한 예측 결과의 변화량을 정량화하여 입력 이미지의 어떤 부분이 딥러닝 모델의 결과 도출에 큰 영향을 미쳤는지 설명하는 방법이다[5]. LRP는 딥러닝 모델에서 예측 결과로부터 역전파 형태로 신경망의 각 계층별 기여도를 측정할 수 있는 방법으로, 각 계층의 기여도를 히트 맵 형태로 시각화하여 직관적으로 이해할 수 있다[2]. LRP 기술은 특히 질병 진단 등에 유용하게 쓰일 수 있는데, MR과 같은 의료 영상을 보고 질병을 진단할 때 어떤 부분이 그 질병으로 진단하는 데에 근거가 되었는지 의료 영상에 표시해 진단 의사가 참고할 수 있도록 하여 진단의 효율을 높일 수 있다.
그림 2. 설명 및 예측을 위한 해석 기법[5]
4. XAI기술의 특허 동향
XAI 기술의 기술 분류별 출원 현황을 살펴보면 ‘네트워크 구조’에 대한 특허가 54%를 차지하고있고, ‘Interpretable interface’분야가 25%, ‘시각화’분야가 21%를 차지하고 있다. 국가별로는 미국 특허가 38%, 중국 특허가 22% 및 국제출원이 21%를 차지하고 있다 (그림 3). XAI 기술은 미국, 중국, 한국, 일본 등 주요 국가에서 모두 2012년 이후 특허 출원이 급증하는 추세를 보이고 있으며, 특히 차세대 AI 기술에서 경쟁력을 확보하기 위한 key player들의 연구개발을 중심으로 투자가 이루어지고 있다[7].
그림 3. XAI 기술의 분야별 및 국가별 특허 동향 (출처: 한국특허전략개발원, 2018)[7]
XAI 기술의 출원인별 출원 현황을 살펴보면, Microsoft, Google, IBM, Facebook 등의 미국국적 IT 기업들이 두드러진 특허출원 활동을 보이고 있다. Microsoft의 경우 네트워크 구조와 인터페이스 및 시각화 기술 등 모든 분야에서 압도적인 출원 건수를 기록하고 있고, Google은 알파고와 오픈소스 인공지능 기술을 뒷받침할 수 있는 다양한 네트워크 관련 원천 기술들을 출원하고 있으며, IBM은 의료관련 AI 기술이 주를 이루고 있다[7]. 중국은 바이두나 베이징대학을 중심으로 XAI 기술에 대한 특허를 출원하고 있으며, 우리나라의 경우 ETRI와 삼성을 제외하면 차세대 인공지능과 관련된 기술개발 투자가 많이 이루어지지 않고 있는 것으로 판단된다[7].
5. 결론
인공지능 기술은 소비자 관점에서 스마트폰에서 벗어나 스피커, 스마트TV, 스마트냉장고 등 다양한 기기에 폭넓게 보급될 것으로 전망된다. 또한 세계 인공지능 시장에서 기업용 시장의 비중은 2016년 71%에서 2025년 91%까지 높아질 것으로 전망되며(출처: Tractica), 의료, 금융, 자동차 분야의 시장이 크게 확대될 것으로 예상된다. 이외에도 시각디자인용 인공지능(MS, Seeing AI), 패션 코디네이터 인공지능(아마존, 에코 룩) 등 특정 분야에 특화된 인공지능 확대도 예상된다.
광범위한 분야에서 인공지능이 활용됨에 따라, 인간과 인공지능 간의 상호작용을 보다 효율적이고 편리하게 하는 기법에 대한 관심이 증가하고 있고, 그 일환으로 XAI 기술에 대한 연구가 더욱 활성화되고 있다. XAI는 금융, 보험, 군사 등 다양한 분야에서 사용자로부터 신뢰를 얻고 사회적 수용을 위한 공감대 형성 방안이 될 것으로 예상된다. 또한 XAI를 활용함으로써 1) 시스템의 성능 저하 요인 파악 및 학습 모델 간 정량화된 비교를 통해 최적의 학습 모델을 도출함으로써 AI 시스템의 성능 향상을 도모할 수 있고, 2) 빅데이터로부터 기존에 알 수 없었던 법칙, 전략 등을 도출하여 사용자가 통찰력을 습득할 수 있으며, 3) AI 시스템의 잘못된 결과로 인한 분쟁 발생 시 원인 파악이 가능하여 법적 책임의 판단 근거로 활용될 수 있다[4].
References
1. 조성선, 김용균, “AI First, AI Everywhere로 전개되는 인공지능”, 정보통신기술진흥센터, 2018.05.09.
2. 한지연, 최재식, “설명가능 인공지능”, 한국소음진동공학회, 27(6), 8-13, 2017.11.
3. Defense Advanced Research Projects Agency, DARPA "Explainable Artificial Intelligence (XAI)". DARPA presentation. DARPA. Retrieved 17 July 2017.
4. 금융보안원, “설명 가능한 인공지능 [eXplainable AI, XAI] 소개, 2018.03.23.
5. W Samek, T Wiegand, KR Müller - arXiv preprint arXiv:1708.08296, 2017 - arxiv.org.
6. 한국정보화진흥원, “미 국방연구원 ‘설명가능 인공지능(XAI)’, 2018.02.
7. 윤태승, “설명 가능한 AI 기술을 포함한 인공지능의 IP-R&D 전략”, 한국특허전략개발원, 2018.09.26
※ AI-Helper는 부적절한 답변을 할 수 있습니다.