최근 인공지능은 빠른 발전을 통해 여러 분야에 적용되고 있다. 특히 이미지 분류 작업에서는 딥러닝 모델이 2015년 이후로 사람의 분류 능력을 뛰어넘는다고 평가받을 정도로 굉장한 성과를 이룩하였다. 그러나 이러한 발전에도 불구하고 인공지능은 어떠한 판단에 대해 전혀 근거를 알 수 없다는 블랙박스 방법이라는 한계점에 갇혀 있다. 이러한 한계는 인간의 삶에 지대한 영향을 미칠 수 있는 의학, 법률, 군사, 금융, 자율주행 등의 분야에서는 굉장히 큰 단점으로 다가올 수 있다. 이러한 단점을 극복하기 위해 설명가능 인공지능에 대한 연구가 진행되었다. 경사도 방법, 디컨볼루션 방법 등 설명가능 인공지능에 대한 다양한 연구가 제시되었지만 최근에는 Layer-wise Relevance Propagation (LRP) 중심으로 설명가능 인공지능이 연구되고 있는 추세이다. 설명가능 인공지능 그 자체에 대한 연구와 함께, 해당 설명가능 인공지능이 모델의 판단을 정확하게 설명하는지 평가하는 방법에 대한 연구도 진행되어왔다. 설명가능 인공지능은 기본적으로 ...
최근 인공지능은 빠른 발전을 통해 여러 분야에 적용되고 있다. 특히 이미지 분류 작업에서는 딥러닝 모델이 2015년 이후로 사람의 분류 능력을 뛰어넘는다고 평가받을 정도로 굉장한 성과를 이룩하였다. 그러나 이러한 발전에도 불구하고 인공지능은 어떠한 판단에 대해 전혀 근거를 알 수 없다는 블랙박스 방법이라는 한계점에 갇혀 있다. 이러한 한계는 인간의 삶에 지대한 영향을 미칠 수 있는 의학, 법률, 군사, 금융, 자율주행 등의 분야에서는 굉장히 큰 단점으로 다가올 수 있다. 이러한 단점을 극복하기 위해 설명가능 인공지능에 대한 연구가 진행되었다. 경사도 방법, 디컨볼루션 방법 등 설명가능 인공지능에 대한 다양한 연구가 제시되었지만 최근에는 Layer-wise Relevance Propagation (LRP) 중심으로 설명가능 인공지능이 연구되고 있는 추세이다. 설명가능 인공지능 그 자체에 대한 연구와 함께, 해당 설명가능 인공지능이 모델의 판단을 정확하게 설명하는지 평가하는 방법에 대한 연구도 진행되어왔다. 설명가능 인공지능은 기본적으로 히트맵을 통해 시각적인 설명을 제공해주는데, 시각적인 평가는 사용자의 주관이 상당히 많이 개입될 여지가 있다. 따라서 정량적인 평가방법 또한 연구되어왔고 그 중 가장 대표적인 것이 Area Over MoRF Perturbation Curve (AOPC)이다. 그러나 AOPC는 그 과정이 한 이미지당 수십, 수백 단계를 거쳐 진행되기 때문에 굉장히 복잡하며 오래 걸리고 계산량이 많이 소요된다. 또한 AOPC는 설명가능 인공지능의 결과 중 양의 방향으로 큰 요소 순서대로 픽셀 정보를 말소하며 평가를 진행하기 때문에, 음의 부호를 띄는 부정적인 요소는 평가에서 제외된다. 즉 AOPC는 해당 이미지가 특정 클래스에 속하지 않는다고 판단하는 것에 대한 증거는 평가할 수 없다. 이러한 단점을 보완하기 위해, 본 논문에서는 새로운 설명가능 인공지능 평가방법으로 Heatmap Assisted Accuracy Score (HAAS)를 제안한다. HAAS는 히트맵을 직접 가중치로 이용하여 원래 이미지를 변형한다. 이를 전체 데이터 집합에 대해 진행하여 모델의 분류 정확도를 구한 후 원래 이미지에 대한 정확도와 비교하는 방식이다. 따라서 히트맵 전체를 가중치로 이용하기 때문에 음수인 부정적 증거도 정량적으로 평가할 수 있다. 또한 한 이미지에 대해 변환과정 한 단계만을 거치기 때문에 기존 방법에 비해 매우 간결하고 빠르다는 장점을 갖고 있다. 이 방법이 실제로 설명가능 인공지능을 정확히 평가하는지 검증하기 위해 MNIST, CIFAR-10, STL-10, ILSVRC 2012 등의 데이터 집합과 여러 LRP rule의 9가지 조합을 이용한 실험을 진행하였다. 해상도가 낮은 이미지만을 포함하는 데이터 집합에서는 원래 이미지의 분류 정확도보다 HAAS에서의 변환과정을 거친 이미지가 모든 조합에 대해 정확도가 높아지는 결과를 보였다. 그러나 해상도가 높은 이미지를 포함하는 STL-10, ILSVRC 2012 등의 데이터 집합에서는 컨볼루션 층에 ε-rule이 적용되었을 때는 상당히 좋지만 αβ-rule이 적용되었을 때는 좋지 않은 결과를 보였다. 이에 대해 ε-rule의 결과로 나오는 히트맵이 실제 모델의 예측에 큰 영향을 미치는 부분이며 αβ-rule은 그저 모델의 결정을 인간의 입장에서 해석하여 보기 좋게 시각화 한 것에 불과하다는 가설을 세웠다. 그리고 이를 검증하기 위해 히트맵의 부호를 반대로 바꿔 HAAS를 측정하였다. 그 결과 직전에 보았던 것과는 반대로 컨볼루션 층에 ε-rule이 적용되었을 때는 모델의 정확도가 매우 큰 하강폭을 보이며 감소하였다. 그리고 αβ-rule이 적용되었을 때는 정확도에 큰 변화가 없었다. 이를 통해 설명가능 인공지능에 대한 정량적 평가방법으로서 HAAS에 대한 검증을 마쳤다. 또한 LRP의 각 rule에 대한 직접적인 비교도 수행하였으며, 앞서 세웠던 가설에 대한 검증을 어느정도 마쳤다고 판단된다.
최근 인공지능은 빠른 발전을 통해 여러 분야에 적용되고 있다. 특히 이미지 분류 작업에서는 딥러닝 모델이 2015년 이후로 사람의 분류 능력을 뛰어넘는다고 평가받을 정도로 굉장한 성과를 이룩하였다. 그러나 이러한 발전에도 불구하고 인공지능은 어떠한 판단에 대해 전혀 근거를 알 수 없다는 블랙박스 방법이라는 한계점에 갇혀 있다. 이러한 한계는 인간의 삶에 지대한 영향을 미칠 수 있는 의학, 법률, 군사, 금융, 자율주행 등의 분야에서는 굉장히 큰 단점으로 다가올 수 있다. 이러한 단점을 극복하기 위해 설명가능 인공지능에 대한 연구가 진행되었다. 경사도 방법, 디컨볼루션 방법 등 설명가능 인공지능에 대한 다양한 연구가 제시되었지만 최근에는 Layer-wise Relevance Propagation (LRP) 중심으로 설명가능 인공지능이 연구되고 있는 추세이다. 설명가능 인공지능 그 자체에 대한 연구와 함께, 해당 설명가능 인공지능이 모델의 판단을 정확하게 설명하는지 평가하는 방법에 대한 연구도 진행되어왔다. 설명가능 인공지능은 기본적으로 히트맵을 통해 시각적인 설명을 제공해주는데, 시각적인 평가는 사용자의 주관이 상당히 많이 개입될 여지가 있다. 따라서 정량적인 평가방법 또한 연구되어왔고 그 중 가장 대표적인 것이 Area Over MoRF Perturbation Curve (AOPC)이다. 그러나 AOPC는 그 과정이 한 이미지당 수십, 수백 단계를 거쳐 진행되기 때문에 굉장히 복잡하며 오래 걸리고 계산량이 많이 소요된다. 또한 AOPC는 설명가능 인공지능의 결과 중 양의 방향으로 큰 요소 순서대로 픽셀 정보를 말소하며 평가를 진행하기 때문에, 음의 부호를 띄는 부정적인 요소는 평가에서 제외된다. 즉 AOPC는 해당 이미지가 특정 클래스에 속하지 않는다고 판단하는 것에 대한 증거는 평가할 수 없다. 이러한 단점을 보완하기 위해, 본 논문에서는 새로운 설명가능 인공지능 평가방법으로 Heatmap Assisted Accuracy Score (HAAS)를 제안한다. HAAS는 히트맵을 직접 가중치로 이용하여 원래 이미지를 변형한다. 이를 전체 데이터 집합에 대해 진행하여 모델의 분류 정확도를 구한 후 원래 이미지에 대한 정확도와 비교하는 방식이다. 따라서 히트맵 전체를 가중치로 이용하기 때문에 음수인 부정적 증거도 정량적으로 평가할 수 있다. 또한 한 이미지에 대해 변환과정 한 단계만을 거치기 때문에 기존 방법에 비해 매우 간결하고 빠르다는 장점을 갖고 있다. 이 방법이 실제로 설명가능 인공지능을 정확히 평가하는지 검증하기 위해 MNIST, CIFAR-10, STL-10, ILSVRC 2012 등의 데이터 집합과 여러 LRP rule의 9가지 조합을 이용한 실험을 진행하였다. 해상도가 낮은 이미지만을 포함하는 데이터 집합에서는 원래 이미지의 분류 정확도보다 HAAS에서의 변환과정을 거친 이미지가 모든 조합에 대해 정확도가 높아지는 결과를 보였다. 그러나 해상도가 높은 이미지를 포함하는 STL-10, ILSVRC 2012 등의 데이터 집합에서는 컨볼루션 층에 ε-rule이 적용되었을 때는 상당히 좋지만 αβ-rule이 적용되었을 때는 좋지 않은 결과를 보였다. 이에 대해 ε-rule의 결과로 나오는 히트맵이 실제 모델의 예측에 큰 영향을 미치는 부분이며 αβ-rule은 그저 모델의 결정을 인간의 입장에서 해석하여 보기 좋게 시각화 한 것에 불과하다는 가설을 세웠다. 그리고 이를 검증하기 위해 히트맵의 부호를 반대로 바꿔 HAAS를 측정하였다. 그 결과 직전에 보았던 것과는 반대로 컨볼루션 층에 ε-rule이 적용되었을 때는 모델의 정확도가 매우 큰 하강폭을 보이며 감소하였다. 그리고 αβ-rule이 적용되었을 때는 정확도에 큰 변화가 없었다. 이를 통해 설명가능 인공지능에 대한 정량적 평가방법으로서 HAAS에 대한 검증을 마쳤다. 또한 LRP의 각 rule에 대한 직접적인 비교도 수행하였으며, 앞서 세웠던 가설에 대한 검증을 어느정도 마쳤다고 판단된다.
Recently, artificial intelligence (AI) has been rapidly developed and applied in various fields. In particular, in the image classification task, the deep learning model has achieved remarkable results since 2015, to the extent that it has been evaluated as exceeding the classification ability of hu...
Recently, artificial intelligence (AI) has been rapidly developed and applied in various fields. In particular, in the image classification task, the deep learning model has achieved remarkable results since 2015, to the extent that it has been evaluated as exceeding the classification ability of humans. However, despite these developments, AI is stuck in the limitation of a black box method, which means that the user cannot know the basis for any judgment at all. This limitation can come as a huge disadvantage in fields such as medicine, law, military, finance, and autonomous driving that can have a profound impact on human life. In order to overcome these shortcomings, research on explainable AI (XAI) has been conducted. Various studies on XAI such as sensitivity method and deconvolution method have been proposed, but recently, it is being studied mainly with Layer-wise Relevance Propagation (LRP). Along with the research on XAI, research on how to evaluate whether the XAI accurately explains the model’s judgment has been conducted. Explainable AI basically provides a visual explanation through a heatmap, but the visual evaluation has a lot of room for the user’s subjective opinion to be involved. Therefore, quantitative evaluation methods for XAI have also been studied, and the most representative of them is the Area Over MoRF Perturbation Curve (AOPC). However, AOPC is very complicated, takes a long time, and requires a lot of computational costs because the process goes through several tens or hundreds of steps per one image. In addition, AOPC removes pixel information in the order of large elements in the positive direction among the results of XAI and evaluates them, so negative elements with a negative sign are excluded from the evaluation. That is, AOPC cannot evaluate the evidence for determining that the image does not belong to a specific class. To compensate for these shortcomings, this thesis proposes the Heatmap Assisted Accuracy Score (HAAS) as a new XAI evaluation method. HAAS uses heatmaps as weights directly to transform the original image. Then, these transforms are performed on the entire dataset to obtain the classification accuracy of the model, and then compared with the accuracy of the original image. Therefore, since the entire heatmap is used as a weight, negative evidences can be evaluated quantitatively with positive parts. In addition, it has the advantage of being very concise and fast compared to the existing method because only one step of the conversion process is performed for one image. In order to verify that this method accurately evaluates XAI, an experiment was conducted using datasets such as MNIST, CIFAR-10, STL-10, and ILSVRC 2012 and 9 combinations of several LRP rules. In the data set including only low-resolution images, the accuracy of the image that has undergone the conversion process in HAAS is higher for all combinations than the classification accuracy of the original image. However, in datasets such as STL-10 and ILSVRC 2012 that contain high-resolution images, when ε-rule is applied to the convolution layer, the results are quite good, but when αβ-rule is applied, the results are not good. In this regard, this thesis hypothesized that the heatmap resulting from ε-rule has a great influence on the actual prediction of the model, while αβ-rule is just a nice visualization of the model’s decision from the human point of view. And to verify this, inverted HAAS was measured by changing the sign of the heatmap in reverse. As a result, contrary to what was seen before, when ε-rule was applied to the convolutional layer, the accuracy of the model decreased with a very large drop. On the other hand, there was no significant change in accuracy when αβ-rule was applied. Through this, HAAS was verified as a quantitative evaluation method for explainable artificial intelligence. In addition, a direct comparison of each rule of LRP was also performed, and it is considered that the verification of the hypothesis established above has been completed to some extent.
Recently, artificial intelligence (AI) has been rapidly developed and applied in various fields. In particular, in the image classification task, the deep learning model has achieved remarkable results since 2015, to the extent that it has been evaluated as exceeding the classification ability of humans. However, despite these developments, AI is stuck in the limitation of a black box method, which means that the user cannot know the basis for any judgment at all. This limitation can come as a huge disadvantage in fields such as medicine, law, military, finance, and autonomous driving that can have a profound impact on human life. In order to overcome these shortcomings, research on explainable AI (XAI) has been conducted. Various studies on XAI such as sensitivity method and deconvolution method have been proposed, but recently, it is being studied mainly with Layer-wise Relevance Propagation (LRP). Along with the research on XAI, research on how to evaluate whether the XAI accurately explains the model’s judgment has been conducted. Explainable AI basically provides a visual explanation through a heatmap, but the visual evaluation has a lot of room for the user’s subjective opinion to be involved. Therefore, quantitative evaluation methods for XAI have also been studied, and the most representative of them is the Area Over MoRF Perturbation Curve (AOPC). However, AOPC is very complicated, takes a long time, and requires a lot of computational costs because the process goes through several tens or hundreds of steps per one image. In addition, AOPC removes pixel information in the order of large elements in the positive direction among the results of XAI and evaluates them, so negative elements with a negative sign are excluded from the evaluation. That is, AOPC cannot evaluate the evidence for determining that the image does not belong to a specific class. To compensate for these shortcomings, this thesis proposes the Heatmap Assisted Accuracy Score (HAAS) as a new XAI evaluation method. HAAS uses heatmaps as weights directly to transform the original image. Then, these transforms are performed on the entire dataset to obtain the classification accuracy of the model, and then compared with the accuracy of the original image. Therefore, since the entire heatmap is used as a weight, negative evidences can be evaluated quantitatively with positive parts. In addition, it has the advantage of being very concise and fast compared to the existing method because only one step of the conversion process is performed for one image. In order to verify that this method accurately evaluates XAI, an experiment was conducted using datasets such as MNIST, CIFAR-10, STL-10, and ILSVRC 2012 and 9 combinations of several LRP rules. In the data set including only low-resolution images, the accuracy of the image that has undergone the conversion process in HAAS is higher for all combinations than the classification accuracy of the original image. However, in datasets such as STL-10 and ILSVRC 2012 that contain high-resolution images, when ε-rule is applied to the convolution layer, the results are quite good, but when αβ-rule is applied, the results are not good. In this regard, this thesis hypothesized that the heatmap resulting from ε-rule has a great influence on the actual prediction of the model, while αβ-rule is just a nice visualization of the model’s decision from the human point of view. And to verify this, inverted HAAS was measured by changing the sign of the heatmap in reverse. As a result, contrary to what was seen before, when ε-rule was applied to the convolutional layer, the accuracy of the model decreased with a very large drop. On the other hand, there was no significant change in accuracy when αβ-rule was applied. Through this, HAAS was verified as a quantitative evaluation method for explainable artificial intelligence. In addition, a direct comparison of each rule of LRP was also performed, and it is considered that the verification of the hypothesis established above has been completed to some extent.
주제어
#Artificial intelligence, Machine learning, Deep learning, Deep neural network, Image classification, Explainable artificial intelligence, Layer-wise Relevance Propagation, Heatmap, Evaluation method for XAI, 인공지능, 기계학습, 심층학습, 심층 인공 신경망, 이미지 분류, 설명
학위논문 정보
저자
이준희
학위수여기관
경희대학교 대학원
학위구분
국내석사
학과
정보디스플레이학과
지도교수
남형식
발행연도
2022
총페이지
ix, 67 p.
키워드
Artificial intelligence, Machine learning, Deep learning, Deep neural network, Image classification, Explainable artificial intelligence, Layer-wise Relevance Propagation, Heatmap, Evaluation method for XAI, 인공지능, 기계학습, 심층학습, 심층 인공 신경망, 이미지 분류, 설명
※ AI-Helper는 부적절한 답변을 할 수 있습니다.