우리 중 대다수는 어린 시절 “왜 그랬니?”라는 질문을 많이 받았다. 인공지능(AI, Artificial Intelligence)가 우리의 삶에 영향을 주는 결정이 많아짐에 따라 우리도 간단하지만 심오한 질문을 하고 AI는 이에 대해 대답할 수 있어야 한다. 결국 이는 우리가 AI의 결정을 어떻게 신뢰할 수 있는지의 문제로 귀결된다.

만족할 만한 설명을 얻기 위해 국가표준기술연구소(NIST, National Institute of Standards and Technology)의 과학자들은 AI의 결정이 어떻게 설명가능한지 우리가 판단할 수 있는 일련의 원칙을 제안하였다. 그 보고서 초안은 설명 가능한 인공지능의 4가지 원칙(Four Principles of Explainable Artificial Intelligence (Draft NISTIR 8312))이라는 제하로 발표되었는데, 그 목적은 우리의 의사결정 디바이스가 어떠해야 하는지에 대한 논의를 촉발시키는 데에 있다.

이 보고서는 신뢰할 수 있는 AI 시스템의 개발을 돕기 위한 NIST의 폭넓은 노력 중 하나라고 할 수 있다. NIST의 기반연구는 인공지능의 논리적 능력과 한계에 대해 이해하고, 정확성, 신뢰성, 보안성, 견고성(robustness), 그리고 설명 가능성을 개선함으로써 시스템의 신뢰를 구축하는 데 목적을 둔다.

보고서 저자들은 초안에 대한 공개 검토를 요청하고 있는데, 이는 이 주제가 공학, 컴퓨터 과학에서 심리학, 법적 이슈 등 폭넓은 범위에 걸친 이슈이기 때문이다. 이를 통해 폭넓은 토론이 이루어질 수 있을 것으로 기대하고 있다.

보고서 저자 중 한명인 NIST의 엔지니어 조나단 필립스(Jonathon Phillips)는 AI가 점차 높은 수준의 의사결정 과정에 참여하지만, 누구도 기계가 이유에 대한 설명도 없이 결정을 내리는 상황을 원하지 않는다고 말했다. 한편 공학자들을 만족시키는 답변이라고 할지라도 다른 배경의 사람들에게는 그렇지 않을 수 있다. 따라서 다양한 시각과 의견을 보고서에 반영코자 한다고 그는 말했다.

AI 시스템의 결과물이 도출된 이유에 대한 이해는 결과물로 영향을 받는 모든 이들에게 혜택을 줄 수 있다. 예를 들어 만일 AI가 대출 승인 결정을 한다면, 그에 대한 이해는 소프트웨어 설계자가 시스템을 개선하는데 도움을 줄 수 있다. 그러나 신청자가 AI의 의사결정 과정에 대한 이해를 필요로 할 때, 예를 들어 승인이나 거절 사유를 알고자 할 때, 그 이해는 해당 신청인이 신용도를 높게 유지하는데 도움을 줄 수 있다.

보고서에서 제시된 설명 가능한 AI의 네 가지 원칙은 다음과 같다.

- AI 시스템은 모든 산출물에 대해 증거 혹은 그 이유를 제시해야 한다.

- 시스템은 개별 이용자들에게 의미 있거나 이해할 수 있는 설명을 제시해야 한다.

- 해당 설명은 산출물을 생성하는 시스템 프로세스를 적절하게 반영해야 한다.

- 시스템은 충분히 신뢰할 수 있을만한 산출물을 생성할 것이라는 믿음을 전제하고 운영되어야 한다.(만일 시스템이 충분히 신뢰할 수 있을 만한 결정을 내릴 수 없다면, 의사결정을 이용자에게 제공해서는 안 된다)

NIST는 이 보고서 초안에 대한 의견을 10월 15일까지 접수할 예정이라고 밝히고 보다 자세한 정보는 NIST의 AI 설명가능성에 대한 웹페이지를 참고하도록 안내했다.