[논문]딥러닝 기반의 도메인 적응 기술: 서베이

나재민; 황원준

doi:10.5909/jbe.2022.27.4.511

딥러닝 기반의 도메인 적응 기술: 서베이
Deep Learning based Domain Adaptation: A Survey 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.27 no.4, 2022년, pp.511 - 518

나재민 (아주대학교 인공지능학과) , 황원준 (아주대학교 인공지능학과)

초록
AI-Helper

딥러닝 기반의 지도학습은 다양한 응용 분야에서 비약적인 발전을 이루었다. 그러나 많은 지도 학습 방법들은 학습 및 테스트 데이터가 동일한 분포에서 추출된다는 공통된 가정 하에 이루어진다. 이 제약 조건에서 벗어나는 경우, 학습 도메인에서 훈련된 딥러닝 네트워크는 도메인 간의 분포 차이로 인하여 테스트 도메인에서의 성능이 급격하게 저하될 가능성이 높다. 도메인 적응 기술은 레이블이 풍부한 학습 도메인 (소스 도메인)의 학습된 지식을 기반으로 레이블이 불충분한 테스트 도메인 (타겟 도메인) 에서 성공적인 추론을 할 수 있도록 딥러닝 네트워크를 훈련하는 전이 학습의 한 방법론이다. 특히 비지도 도메인 적응 기술은 타겟 도메인에 레이블이 전혀 없는 이미지 데이터에만 접근할 수 있는 상황을 가정하여 도메인 적응 문제를 다룬다. 본 논문에서는 이러한 비지도 학습 기반의 도메인 적응 기술들에 대해 탐구한다.

Abstract ▼ AI-Helper

Supervised learning based on deep learning has made a leap forward in various application fields. However, many supervised learning methods work under the common assumption that training and test data are extracted from the same distribution. If it deviates from this constraint, the deep learning network trained in the training domain is highly likely to deteriorate rapidly in the test domain due to the distribution difference between domains. Domain adaptation is a methodology of transfer learning that trains a deep learning network to make successful inferences in a label-poor test domain (i.e., target domain) based on learned knowledge of a labeled-rich training domain (i.e., source domain). In particular, the unsupervised domain adaptation technique deals with the domain adaptation problem by assuming that only image data without labels in the target domain can be accessed. In this paper, we explore the unsupervised domain adaptation techniques.

주제어

표/그림 (9)

그림 그림 1. DANN 아키텍처^[2] Fig. 1. The architecture of domain adversarial neural networks (DANN) model^[2]
그림 그림 2. ADDA 아키텍처^[3] Fig. 2. The architecture of adversarial discriminative domain adaptation (ADDA) model^[3]
그림 그림 3. MSTN 아키텍처^[4] Fig. 3. The architecture of moving semantic transfer network (MSTN) model^[4]
그림 그림 4. 비지도 도메인 적응을 위한 브리징 도메인 공간의 개념도^[5] Fig. 4. The concept of bridging domain space for unsupervised domain adaptation^[5]
그림 그림 5. FixBi의 제안하는 알고리즘^[5] Fig. 5. An algorithm of the FixBi^[5]
그림 그림 6. 비지도 도메인 적응을 위한 대조적인 주변 공간의 개념도^[6] Fig. 6. The concept of contrastive vicinal space for unsupervised domain adaptation^[6]
그림 그림 7. 대조적 보기와 레이블 스와핑의 개념도^[6] Fig. 7. The concept of swapping contrastive views and labels^[6]
표 표 1. 비지도 도메인 적응에 대한 Office-31의 정확도(%) Table 1. Accuracy (%) on Office-31 for unsupervised domain adaptation (ResNet-50)
표 표 2. 비지도 도메인 적응에 대한 Office-Home의 정확도(%) Table 2. Accuracy (%) on Office-Home for unsupervised domain adaptation (ResNet-50)

참고문헌 (20)

I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio, "Generative adversarial nets" Advances in neural information processing systems, Vol.27, 2014.
Y. Ganin, E. Ustinova, H. Ajakan, P. Germain, H. Larochelle, F. Laviolette, M. Marchand, and V. Lempitsky, "Domain-Adversarial Training of Neural Networks" The journal of machine learning research, Vol.17, 2016.

상세보기
E. Tzeng, J. Hoffman, J. Saenko, and C. Chen, "Adversarial discriminative domain adaptation" Proceedings of the IEEE conference on computer vision and pattern recognition, 2017. doi: https://doi.org/10.1109/cvpr.2017.316
S. Xie, Z. Zheng, L. Chen, and C. Chen, "Learning semantic representations for unsupervised domain adaptation" International conference on machine learning. PMLR, 2018.
J. Na, H. Jung, H. Chang, and W. Hwang, "FixBi: Bridging Domain Spaces for Unsupervised Domain Adaptation" Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021. doi: https://doi.org/10.1109/cvpr46437.2021.00115
J. Na, D. Han, H. Chang, and W. Hwang, "Contrastive Vicinal Space for Unsupervised Domain Adaptation" arXiv preprint arXiv:2111.13353, 2021.
X. Gu, J. Sun, and Z. Xu. "Spherical space domain adaptation with robust pseudo-label loss" In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9101-9110, 2020. doi: https://doi.org/10.1109/cvpr42600.2020.00912
K. Saito, Y. Ushiku, and T. Harada. Asymmetric tri-training for unsupervised domain adaptation. International Conference on Machine Learning, pages 2988-2997. PMLR, 2017.
G. Kang, L. Jiang, Y. Yang, and A. G. Hauptmann. Contrastive adaptation network for unsupervised domain adaptation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4893-4902, 944 2019. doi: https://doi.org/10.1109/cvpr.2019.00503
Mengxue Li, Yi Ming Zhai, You Wei Luo, Peng Fei Ge, and Chuan Xian Ren. Enhanced transport distance for unsupervised domain adaptation. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13936-13944, 2020. doi: https://doi.org/10.1109/cvpr42600.2020.01395
Shimodaira Hidetoshi. Improving predictive inference under covariate shift by weightingthe log-likelihood function. Journal of statistical planning and inference 90(2),227-244 (2000).

상세보기
Xiao, N., Zhang, L.: Dynamic weighted learning for unsupervised domain adaptation. In: Proceedings of the IEEE/CVF Conference on Computer Vision andPattern Recognition. pp. 15242-15251 (2021) doi:https://doi.org/10.1109/cvpr46437.2021.01499
Yue, Z., Sun, Q., Hua, X.S., Zhang, H.: Transporting causal mechanisms for un-supervised domain adaptation. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 8599-8608 (2021) doi: https://doi.org/10.1109/iccv48922.2021.00848
Zhang, H., Cisse, M., Dauphin, Y.N., Lopez-Paz, D.: mixup: Beyond empirical risk minimization. arXiv preprint arXiv:1710.09412 (2017)
Saenko, K., Kulis, B., Fritz, M., Darrell, T.: Adapting visual category models to new domains. In: European conference on computer vision. pp. 213-226. Springer(2010) doi: https://doi.org/10.1007/978-3-642-15561-1_16
Venkateswara, H., Eusebio, J., Chakraborty, S., Panchanathan, S.: Deep hashing network for unsupervised domain adaptation. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 5018-5027 (2017) doi: https://doi.org/10.1109/cvpr.2017.572
Lee, D.H., et al.: Pseudo-label: The simple and efficient semi-supervised learning method for deep neural networks. In: Workshop on challenges in representation learning, ICML. p. 896 (2013)
H. Pham, Z. Dai, Q. Xie, and Q. V. Le. Meta pseudo labels. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 11557-11568, 2021. doi: https://doi.org/10.1109/cvpr46437.2021.01139
He, K., Zhang, X., Ren, S., Sun, J.: Deep residual learning for image recognition. In: Proceedings of the IEEE conference on computer vision and pattern recognition. 770-778 (2016) doi: https://doi.org/10.1109/cvpr.2016.90
He, K., Zhang, X., Ren, S., Sun, J.: Identity mappings in deep residual networks. In: European conference on computer vision. pp. 630-645. Springer (2016) doi: https://doi.org/10.1007/978-3-319-46493-0_38

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증