[논문]딥러닝 설명을 위한 슈퍼픽셀 제외·포함 다중스케일 접근법

서다솜; 오강한; 오일석; 유태웅

doi:10.30693/smj.2019.8.2.39

딥러닝 설명을 위한 슈퍼픽셀 제외·포함 다중스케일 접근법
Superpixel Exclusion-Inclusion Multiscale Approach for Explanations of Deep Learning 원문보기

스마트미디어저널 = Smart media journal, v.8 no.2, 2019년, pp.39 - 45

서다솜 (전북대학교 컴퓨터공학부) , 오강한 (전북대학교 컴퓨터공학부) , 오일석 (전북대학교 컴퓨터공학부) , 유태웅 (전북대학교 컴퓨터공학부)

초록
AI-Helper

딥러닝이 보편화되면서 예측 결과를 설명하는 연구가 중요해졌다. 최근 슈퍼픽셀에 기반한 다중스케일 결합 기법이 제안되었는데, 물체의 모양을 유지함으로써 시각적 공감이라는 장점을 제공한다. 이 기법은 예측 차이라는 원리에 기반을 두고 있으며, 슈퍼픽셀을 가리고 얻은 예측 결과와 원래 예측 결과의 차이를 보고 돌출맵을 구성한다. 본 논문은 슈퍼픽셀을 가리는 제외 연산뿐 아니라 슈퍼픽셀만 보여주는 포함 연산까지 사용하는 새로운 기법을 제안한다. 실험 결과 제안한 방법은 IoU에서 3.3%의 성능 향상을 보인다.

Abstract ▼ AI-Helper

As deep learning has become popular, researches which can help explaining the prediction results also become important. Superpixel based multi-scale combining technique, which provides the advantage of visual pleasing by maintaining the shape of the object, has been recently proposed. Based on the principle of prediction difference, this technique computes the saliency map from the difference between the predicted result excluding the superpixel and the original predicted result. In this paper, we propose a new technique of both excluding and including super pixels. Experimental results show 3.3% improvement in IoU evaluation.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이 기법은 예측 차이라는 원리에 기반을 두고 있으며, 입력 영상에 변화를 주기위하여 슈퍼픽셀을 가리는 제외 연산을 사용한다. 본 논문에서는 제외 연산뿐 아니라 슈퍼픽셀만 보여주는 포함 연산까지 사용하는 새로운 기법을 제안한다. 제안한 방법은 슈퍼픽셀의 제외·포함 연산을 사용하여 보다 부류 분별적이며 시각적 공감이 가는 돌출맵을 생성한다.
본 논문은 기존 알고리즘 [12]가 사용한 제외 연산뿐만 아니라 포함 연산까지 사용하여 성능 개선을 모색한다. 이 방법은 기존 알고리즘에 포함 연산만을 추가하였으므로 기존 알고리즘의 특성을 그대로 받는다.
[12]이 제안한 Algorithm 1은 제외(Ex) 연산만 사용한다. 본 논문은 제외뿐만 아니라 포함 연산까지 사용하는 알고리즘을 제안한다. 그림 4는 본 논문이 제안하는 아이디어를 설명한다.

제안 방법

[23]은 CNN으로 영상을 처리하기 위해 Robnik-Šikonja et al.이 제안한 일반적인 예측 차이 알고리즘[11]을 조건부 샘플링과 다변량 분석을 이용하여 픽셀 단위의 예측 차이를 계산하는 알고리즘으로 확장하였다. 이 알고리즘으로 생성된 돌출맵은 그림 6의 (d) 열에 나타나듯이 돌출 값이 물체 영역 내에 분산되고 배경 영역으로 삽입되는 문제를 나타낸다.
분할된 영역의 중요도 및 영향력 측정을 위하여 분할된 영역(슈퍼픽셀)들을 제외하는 연산을 사용한다. 입력 영상으로부터 대상 인스턴스를 제외하며 다중스케일로부터 생성된 맵을 최종 하나의 돌출맵으로 융합함으로써, 보다 분별적이고 시각적으로 공감이 가는 맵을 획득한다.
제안하는 알고리즘은 예측 차이라는 원리를 따른다. 예측 차이는 모든 특징을 가지고 예측한 결과 f(x_\i) 와 i 번째 특징을 제외하고 예측한 결과 f(x_\i) 사이의 차이인f(x)- f(x_\i) 값을 측정한다.
본 논문에서는 제외 연산뿐 아니라 슈퍼픽셀만 보여주는 포함 연산까지 사용하는 새로운 기법을 제안한다. 제안한 방법은 슈퍼픽셀의 제외·포함 연산을 사용하여 보다 부류 분별적이며 시각적 공감이 가는 돌출맵을 생성한다. 시각적 공감이 가는 설명 및 해석이 가능한 시스템은 사용자들로부터 높은 신뢰를 얻을 것으로 기대된다.
은 [11] 방법을 기반으로 영상 특성에 대한 사전 지식을 이용하는 방법을 제안하였다[23]. 주어진 픽셀 값은 인접 픽셀에 크게 의존한다는 사실을 고려하여 조건부 확률을 공식화하였다. Dong et al.

대상 데이터

[12]의 특성 물려받기: 그림 6은 5 가지 기존 방법(DC[25], SA[21], LRP[17], PD[29], Grad-CAM[19])과 [12]의 결과, 그리고 본 논문이 제안한 제외-포함 연산을 사용한 결과를 비교한다. 기존 방법을 이용한 결과 영상은 공개 소프트웨어 (https://github.com/lmzintgraf/DeepVis-PredDiff) 및 공개사이트(https://lrpserve r.hhi.fraunhofer.de/imageclassification)를 이용하였다.
실험은 ILSVRC 2012 데이터셋(ImageNet)과 GoogLeNet[27]을 가지고 수행하였다. NVIDIA GTX 1080 GPU가 장착된 Intel Core i5-4670 CPU(3.

이론/모형

은 전역 평균 풀링(global average pooling)을 이용하는 CAM 기법[19]을 제안했으며, Selvaraju et al.는 CAM 기법을 Grad-CAM(Gradient-weighted Class Activation Map)으로 확장하여 더 넓은 범위의 CNN에 적용하였다[20].
이 기법은 슈퍼픽셀을 가리고 얻은 예측 결과와 원래 예측 결과의 차이를 보고 돌출맵을 구성한다. 이 방법은 입력 영상에 변화를 주었을 때 결과에 어떠한 변화가 발생하는지 측정하는 예측 차이(prediction difference) 기법을 사용한다. 입력 영상에 변화를 주기위하여 슈퍼픽셀(superpixel) 기반의 영역 분할과 다중스케일 기법을 사용한다.
이 방법은 입력 영상에 변화를 주었을 때 결과에 어떠한 변화가 발생하는지 측정하는 예측 차이(prediction difference) 기법을 사용한다. 입력 영상에 변화를 주기위하여 슈퍼픽셀(superpixel) 기반의 영역 분할과 다중스케일 기법을 사용한다. 슈퍼픽셀 기반의 영역 분할 기법과 다중 스케일을 사용하는 이유는 기존 픽셀단위 영역 분할 처리방법보다 계산속도가 빠르고 영상 내 대상 객체의 크기에 관계없이 효율적으로 영역단위 분할을 수행하기 때문이다.
정량적 비교: 제외-포함 연산을 사용한 본 논문과 제외 연산만 사용한 [12]의 성능을 정량적으로 비교하기 위해 물체 검출(detection)에서 주로 사용하는 IoU(Intersection of Union) 점수를 이용한다. IoU는 정답 바운딩 박스와 돌출맵의 임계값 별 바운딩 박스가 겹쳐지는 정도를 나타내는데, 그림 7은 IoU 계산 방법을 설명한다.

성능/효과

이 방법은 기존 알고리즘에 포함 연산만을 추가하였으므로 기존 알고리즘의 특성을 그대로 받는다. 따라서 제안한 알고리즘은 모델자유성(model-agnostic)과 시각적 공감성을 보장한다. 실험 결과 제안한 방법은 IoU에서 46.
따라서 제안한 알고리즘은 모델자유성(model-agnostic)과 시각적 공감성을 보장한다. 실험 결과 제안한 방법은 IoU에서 46.2%의 성능을 보이는데, 이는 기존 알고리즘에 비해 3.3% 향상에 해당한다
제안한 방법은 40∼50%까지 폭넓은 범위에서 안정적인 성능을 보여준다.

질의응답

핵심어	질문	논문에서 추출한 답변
	예측 차이 기법은 무엇인가?	예측 차이 (prediction difference) 접근방법은 이런 한계로부터 자유로우며 결과적으로 모델자유성(model-agnostic)이라는 중요한 성질을 만족한다. 예측 차이 기법은 특징 벡터의 예측 값과 특징 i가 없는 특징 벡터 예측 값 사이의 차를 계산하는 방법이다. 예측 차이 기법을 사용하기 위해서는 원본 특징 벡터로부터 특징 i를 제외하는 방법을 고안해야한다.
	딥러닝의 예측에 대한 설명은 무엇에 중점을 두는가?	딥러닝의 예측에 대한 설명은 네트워크 모델의 데이터 처리를 설명하거나 네트워크 모델의 데이터 표현을 설명하는데 중점을 둔다. 데이터 처리에 대한 설명은 "특정 입력이 특정 출력으로 이어지는 이유는 무엇입니까?"라는 질문에 대한 답이며 프로그램 실행 단계를 추적하는 것과 유사하다[6].
	슈퍼픽셀을 사용한 다중스케일 결합 기법은 어떻게 돌출맵을 구성하는가?	[12]는 예측 차이 원리에 기반을 두고 슈퍼픽셀을 사용한 다중스케일 결합 기법을 제안하였다. 이 기법은 슈퍼픽셀을 가리고 얻은 예측 결과와 원래 예측 결과의 차이를 보고 돌출맵을 구성한다. 이 방법은 입력 영상에 변화를 주었을 때 결과에 어떠한 변화가 발생하는지 측정하는 예측 차이(prediction difference) 기법을 사용한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

딥러닝 설명을 위한 슈퍼픽셀 제외·포함 다중스케일 접근법
Superpixel Exclusion-Inclusion Multiscale Approach for Explanations of Deep Learning 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

딥러닝 설명을 위한 슈퍼픽셀 제외·포함 다중스케일 접근법 Superpixel Exclusion-Inclusion Multiscale Approach for Explanations of Deep Learning 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

딥러닝 설명을 위한 슈퍼픽셀 제외·포함 다중스케일 접근법
Superpixel Exclusion-Inclusion Multiscale Approach for Explanations of Deep Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper