$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

인물 개체 분할을 위한 맥락-의존적 비디오 데이터 보강
Context-Dependent Video Data Augmentation for Human Instance Segmentation 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.12 no.5, 2023년, pp.217 - 228  

전현진 (경기대학교 컴퓨터과학과) ,  이종훈 (경기대학교 컴퓨터과학과) ,  김인철 (경기대학교 컴퓨터과학과)

초록
AI-Helper 아이콘AI-Helper

비디오 개체 분할은 비디오를 구성하는 영상 프레임 각각에 대해 관심 개체 분할을 수행해야 할 뿐만 아니라, 해당 비디오를 구성하는 프레임 시퀀스 전체에 걸쳐 개체들에 대한 정확한 트래킹을 요구하기 때문에 난이도가 높은 기술이다. 특히 드라마 비디오에서 인물 개체 분할은 다양한 장소와 시간대에서 상호 작용하는 복수의 주요 등장인물들에 대한 정확한 트래킹을 요구하는 특징을 가지고 있다. 또한, 드라마 비디오 인물 개체분할은 주연 인물들과 조연 혹은 보조 출연 인물들 간의 등장 빈도에 상당한 차이가 있어 일종의 클래스 불균형 문제도 있다. 본 논문에서는 미생 드라마 비디오들을 토대로 구축한 인물 개체 분할 데이터 집합인 MHIS를 소개하고, 등장인물 클래스 간의 심각한 데이터 불균형 문제를 효과적으로 해결하기 위한 새로운 비디오 데이터 보강 기법인 CDVA를 제안한다. 기존의 비디오 데이터 보강 기법들과는 달리, 새로운 CDVA 보강 기법은 비디오들의 시-공간적 맥락을 충분히 고려해서 목표 인물이 삽입되어야 할 배경 클립 내의 위치를 결정함으로써, 보다 더 현실적인 보강 비디오들을 생성한다. 따라서 본 논문에서 제안하는 새로운 비디오 데이터 보강 기법인 CDVA는 비디오 개체 분할을 위한 심층 신경망 모델의 성능을 효과적으로 향상시킬 수 있다. 본 논문에서는 MHIS 데이터 집합을 이용한 다양한 정량 및 정성 실험들을 통해, 제안 비디오 데이터 보강 기법의 유용성과 효과를 입증한다.

Abstract ▼ AI-Helper 아이콘AI-Helper

Video instance segmentation is an intelligent visual task with high complexity because it not only requires object instance segmentation for each image frame constituting a video, but also requires accurate tracking of instances throughout the frame sequence of the video. In special, human instance ...

주제어

#드라마 비디오   #인물 개체 분할   #범주 간 데이터 불균형   #비디오 데이터 보강   #시-공간 맥락  

표/그림 (12)

참고문헌 (14)

  1. L. Yang, Y. Fan, and N. Xu, "Video instance segmentation,"？Proceedings of IEEE/CVF International Conference on？Computer Vision, 2019. 

  2. S. Yun, S. J. Oh, B. Heo, D. Han, and J. Kim, "VideoMix:？Rethinking data augmentation for video classification,"？arXiv preprint arXiv: 2012.03457, 2020. 

  3. J. Kimata, T. Nitta, and T. Tamaki, "ObjectMix: Data？augmentation by copy-pasting by copy-pasting objects in？videos for action recognition." arXiv preprint arXiv:？2204.00239, 2022. 

  4. H. Kim, D. Kim, J. Kim, and S. Im, "Data augmentation？scheme for semi-supervised video object segmentation,"？Journal of Broadcast Engineering, Vol.27, No.1, 2022. 

  5. H. J. Chun and I. Kim, "Human instance segmentation？using video data augmentation." Proceedings of the Annual？Conference of Korea Information Processing Society？Conference (KIPS) 2022, Vol.29, No.2, pp.532-534, 2022. 

  6. J. Wu, Y. Jiang, S. Bai, W. Zhang, and X. Bai, "SeqFormer:？Sequential transformer for video instance segmentation,"？European Conference on Computer Vision, Springer, Cham,？2022. 

  7. A. Athar, S. Mahadevan, A. Osep, L. Leal-Taixe, and B.？Leibe, "STEm-Seg: Spatio-temporal embeddings for instance segmentation in videos." European Conference on？Computer Vision, Springer, Cham, 2020. 

  8. Y. Wang, Z. Xu, X. Wang, C. Shen, B. Cheng, H. Shen,？and H. Xia, "End-to-end video instance segmentation with？transformers." Proceedings of IEEE/CVF Conference on？Computer Vision and Pattern Recognition, 2022. 

  9. S. Hwang, M. Heo, S. W. Oh, and S. J. Kim, "Video instance segmentation using inter-frame communication？transformers." Advances in Neural Information Processing？Systems, Vol.34, 2021. 

  10. N. Carion, F. Massa, G. Synnaeve, N. Usunier, A. Kirillov,？and S. Zagoruyko, "End-to-end object detection with transformers," European Conference on Computer Vision,？Springerm Cham, 2020. 

  11. H. S. Fang, J. Sun, R. Wang, M. Gou, Y. L. Li, and C. Lu,？"InstaBoost: Boosting instance segmentation via probability map guided copy-pasting," Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019. 

  12. N. Dvornik, J. Mairal, and C. Schmid, "Modeling visual？context is key to augmenting object detection datasets,"？Proceedings of the European Conference on Computer？Vision, 2018. 

  13. G. Ghiasi et al., "Simple copy-paste is a strong data？augmentation method for instance segmentation,"？Proceedings of IEEE/CVF Conference on Computer Vision？and Pattern Recognition, 2021. 

  14. J. Qi et al., "Occluded video instance segmentation." arXiv？preprint arXiv: 2102.01558, 2021. 

저자의 다른 논문 :

관련 콘텐츠

오픈액세스(OA) 유형

GOLD

오픈액세스 학술지에 출판된 논문

이 논문과 함께 이용한 콘텐츠

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로