[논문]비전 트랜스포머 성능향상을 위한 이중 구조 셀프 어텐션

이광엽; 문환희; 박태룡

doi:10.7471/ikeee.2023.27.3.251

초록
AI-Helper

본 논문에서는 비전 트랜스포머의 셀프 어텐션이 갖는 지역적 특징 부족을 개선하는 이중 구조 셀프 어텐션 방법을 제안한다. 객체 분류, 객체 분할, 비디오 영상 인식에서 합성곱 신경망보다 연산 효율성이 높은 비전 트랜스포머는 상대적으로 지역적 특징 추출능력이 부족하다. 이 문제를 해결하기 위해 윈도우 또는 쉬프트 윈도우를 기반으로 하는 연구가 많이 이루어지고 있으나 이러한 방법은 여러 단계의 인코더를 사용하여 연산 복잡도의 증가로 셀프 어텐션 기반 트랜스포머의 장점이 약화 된다. 본 논문에서는 기존의 방법보다 locality inductive bias 향상을 위해 self-attention과 neighborhood network를 이용하여 이중 구조 셀프 어텐션을 제안한다. 지역적 컨텍스트 정보 추출을 위한 neighborhood network은 윈도우 구조보다 훨씬 단순한 연산 복잡도를 제공한다. 제안된 이중 구조 셀프 어텐션 트랜스포머와 기존의 트랜스포머의 성능 비교를 위해 CIFAR-10과 CIFAR-100을 학습 데이터를 사용하였으며 실험결과 Top-1 정확도에서 각각 0.63%과 1.57% 성능이 개선되었다.

Abstract ▼ AI-Helper

In this paper, we propose a dual-structured self-attention method that improves the lack of regional features of the vision transformer's self-attention. Vision Transformers, which are more computationally efficient than convolutional neural networks in object classification, object segmentation, an...

In this paper, we propose a dual-structured self-attention method that improves the lack of regional features of the vision transformer's self-attention. Vision Transformers, which are more computationally efficient than convolutional neural networks in object classification, object segmentation, and video image recognition, lack the ability to extract regional features relatively. To solve this problem, many studies are conducted based on Windows or Shift Windows, but these methods weaken the advantages of self-attention-based transformers by increasing computational complexity using multiple levels of encoders. This paper proposes a dual-structure self-attention using self-attention and neighborhood network to improve locality inductive bias compared to the existing method. The neighborhood network for extracting local context information provides a much simpler computational complexity than the window structure. CIFAR-10 and CIFAR-100 were used to compare the performance of the proposed dual-structure self-attention transformer and the existing transformer, and the experiment showed improvements of 0.63% and 1.57% in Top-1 accuracy, respectively.

주제어

표/그림 (9)

그림 Fig. 1. Cyclic shifted window structure for attention. 그림 1. Cyclic shifted window구조 어텐션
그림 Fig. 2. Self Attention Score generation. 그림 2. 셀프 어텐션 스코어 생성
그림 Fig. 3. Comparison of Attention Structures. 그림 3. Attention 구조 비교
그림 Fig. 4. Comparison of Attention Score Computation. 그림 4. 어텐션 스코어 연산 비교
그림 Fig. 5. Structure of a proposed self-attention. 그림 5. 제안하는 셀프 어텐션 구조
표 Table 1. Performance comparison of different attention mechanisms using CIFAR-10. 표 1. CIFAR-10을 사용한 다양한 어텐션구조에서 성능비교
표 Table 2. Performance comparison of different attention mechanisms CIFAR-100. 표 2. CIFAR-100을 사용한 다양한 어텐션구조에서 성능비교
그림 Fig. 6. Learning accuracy for CIFAR-10. 그림 6. CIFAR-10에 대한 학습 정학도
그림 Fig. 7. Learning accuracy for CIFAR-100. 그림 7. CIFAR-100에 대한 학습 정학도

참고문헌 (8)

A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit,？L. Jones, A. N. Gomez, L. Kaiser, "Attention Is All？You Need," 31st Conf. on Neural Information？Processing Systems(NIPS 2017), 2017.？DOI: 10.48550/arXiv.1706.03762
Chih-Yang Lin, Yi-Cheng Chiu, Hui-Fuang？Ng, Timothy K. Shih, Kuan-Hung Lin, "Global-and-Local Context Network for Semantic Segmentation of Street View Images," Sensors, Vol.20,？No.10, 2020. DOI: 10.3390 /s20102907

상세보기
Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan？Wei, Zheng Zhang, Stephen Lin, Baining Guo,？"Swin Transformer: Hierarchical Vision Transformer？Using Shifted Windows," Proceedings of the？IEEE/CVF International Conference on Computer？Vision (ICCV), pp.10012-10022, 2021.
Jinpeng Li, Yichao Yan, Shengcai Liao,？Xiaokang Yang, Ling Shao, "Local-to-Global？Self-Attention in Vision Transformers," 2021.？DOI: 10.48550/arXiv.2107.04735
Nikolas Ebert, Didier Stricker, Oliver Wasenmuller, "PLG-ViT: Vision Transformer with Parallel？Local and Global Self-Attention," Sensors, Vol.23,？No.7, 2023. DOI: 10.3390/s23073447

상세보기
B Yang, J Li, DF Wong, LS Chao, X Wang, Z？Tu, "Context-aware self-attention networks," Proceedings of the AAAI conference on artificial？intelligence, 2019.？DOI: 10.48550/arXiv.1902.05766
Ali Hassani, Steven Walton, Jiachen Li, Shen？Li, Humphrey Shi, "Neighborhood Attention Transformer," Proceedings of the IEEE/CVF Conference？on Computer Vision and Pattern Recognition？(CVPR), pp.6185-6194, 2023.？DOI: 10.48550/arXiv.2204.07143
Alexey Dosovitskiy, Lucas Beyer, Alexander？Kolesnikov, Dirk Weissenborn, Xiaohua Zhai,？Thomas Unterthiner, Mostafa Dehghani, Matthias？Minderer, Georg Heigold, SylvainGelly, Jakob？Uszkoreit, Neil Houlsby, "An image is worth 16×16 words: Transformersfor image recognition at scale," ICLR, 2020.？DOI: 10.48550/arXiv.2010.11929

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

비전 트랜스포머 성능향상을 위한 이중 구조 셀프 어텐션
A Dual-Structured Self-Attention for improving the Performance of Vision Transformers 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (9)

표/그림 (9)

참고문헌 (8)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

비전 트랜스포머 성능향상을 위한 이중 구조 셀프 어텐션 A Dual-Structured Self-Attention for improving the Performance of Vision Transformers 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (9) 모든 표/그림 보기

표/그림 (9) 슬라이드로 보기

참고문헌 (8)

이 논문을 인용한 문헌

저자의 다른 논문 :

이광엽 (43) 박태룡 (21)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

비전 트랜스포머 성능향상을 위한 이중 구조 셀프 어텐션
A Dual-Structured Self-Attention for improving the Performance of Vision Transformers 원문보기

초록
AI-Helper

표/그림 (9)

표/그림 (9)