최근 동물 행동 분석 및 건강관리 분야를 중심으로 딥러닝 기반 동물 자세 추정 기법에 대한 관심이 높아지고 있다. 그러나 기존 동물 자세 추정 기법은 영상에서 신체 부위가 가려지거나 존재하지 않을 경우 좋은 성능을 보이지 않는다. 특히 꼬리나 귀가 가려진 경우, 반려견의 행동 및 감정 분석의 성능에도 심각한 영향을 미친다. 본 논문에서는 이러한 다루기 힘든 문제를 해결하기 위해, 이미지 아웃페인팅 네트워크를 자세 추정 네트워크에 연결하여 이미지 외부에 존재하는 반려견의 신체를 복원한 확장된 이미지를 생성하여 반려견의 자세를 추정하는 단순하면서도 새로운 접근방법을 제안하였고, 제안된 방법의 실현가능성을 검토하는 예비 연구를 수행하였다. 이미지 아웃페인팅 모델로는 CE-GAN과 트랜스포머 기반의 BAT-Fill을 사용하였고, 자세 추정 모델로는 SimpleBaseline을 사용하였다. 실험 결과, 크롭된 입력 이미지에서 반려견의 자세를 추정하였을 때보다, BAT-Fill을 사용하여 아웃페인팅된 확장 이미지에서 반려견의 자세를 추정하였을 때 자세 추정의 성능이 향상되었다.
최근 동물 행동 분석 및 건강관리 분야를 중심으로 딥러닝 기반 동물 자세 추정 기법에 대한 관심이 높아지고 있다. 그러나 기존 동물 자세 추정 기법은 영상에서 신체 부위가 가려지거나 존재하지 않을 경우 좋은 성능을 보이지 않는다. 특히 꼬리나 귀가 가려진 경우, 반려견의 행동 및 감정 분석의 성능에도 심각한 영향을 미친다. 본 논문에서는 이러한 다루기 힘든 문제를 해결하기 위해, 이미지 아웃페인팅 네트워크를 자세 추정 네트워크에 연결하여 이미지 외부에 존재하는 반려견의 신체를 복원한 확장된 이미지를 생성하여 반려견의 자세를 추정하는 단순하면서도 새로운 접근방법을 제안하였고, 제안된 방법의 실현가능성을 검토하는 예비 연구를 수행하였다. 이미지 아웃페인팅 모델로는 CE-GAN과 트랜스포머 기반의 BAT-Fill을 사용하였고, 자세 추정 모델로는 SimpleBaseline을 사용하였다. 실험 결과, 크롭된 입력 이미지에서 반려견의 자세를 추정하였을 때보다, BAT-Fill을 사용하여 아웃페인팅된 확장 이미지에서 반려견의 자세를 추정하였을 때 자세 추정의 성능이 향상되었다.
In recent years, there has been a growing interest in deep learning-based animal pose estimation, especially in the areas of animal behavior analysis and healthcare. However, existing animal pose estimation techniques do not perform well when body parts are occluded or not present. In particular, th...
In recent years, there has been a growing interest in deep learning-based animal pose estimation, especially in the areas of animal behavior analysis and healthcare. However, existing animal pose estimation techniques do not perform well when body parts are occluded or not present. In particular, the occlusion of dog tail or ear might lead to a significant degradation of performance in pet behavior and emotion recognition. In this paper, to solve this intractable problem, we propose a simple yet novel framework for pet pose estimation where pet pose is predicted on an outpainted image where some body parts hidden outside the input image are reconstructed by the image inpainting network preceding the pose estimation network, and we performed a preliminary study to test the feasibility of the proposed approach. We assessed CE-GAN and BAT-Fill for image outpainting, and evaluated SimpleBaseline for pet pose estimation. Our experimental results show that pet pose estimation on outpainted images generated using BAT-Fill outperforms the existing methods of pose estimation on outpainting-less input image.
In recent years, there has been a growing interest in deep learning-based animal pose estimation, especially in the areas of animal behavior analysis and healthcare. However, existing animal pose estimation techniques do not perform well when body parts are occluded or not present. In particular, the occlusion of dog tail or ear might lead to a significant degradation of performance in pet behavior and emotion recognition. In this paper, to solve this intractable problem, we propose a simple yet novel framework for pet pose estimation where pet pose is predicted on an outpainted image where some body parts hidden outside the input image are reconstructed by the image inpainting network preceding the pose estimation network, and we performed a preliminary study to test the feasibility of the proposed approach. We assessed CE-GAN and BAT-Fill for image outpainting, and evaluated SimpleBaseline for pet pose estimation. Our experimental results show that pet pose estimation on outpainted images generated using BAT-Fill outperforms the existing methods of pose estimation on outpainting-less input image.
M. Chae, C. Lee, "Implementation of Prevention and？Eradication System for Harmful Wild Animals Based on？YOLO," The Journal of Korea Institute of？Convergence Signal Processing, vol.23, no.3, pp.？137-142, 2022.
P. Gao, X. Yang, R. Zhang, J. Y. Goulermas, Y.？Geng, Y.Yan, K. Huang, (2023). "Generalised image？outpainting with U-Transformer." Neural Networks,？162, pp.1-10.
M., Sabini, G. Rusak, "Painting outside the box:？Image outpainting with gans." arXiv arXiv:1808.08483,？2018
Z. Yang, J. Dong, P. Liu, Y. Yang, S. Yan, "Very？long natural scenery image prediction by？outpainting," in Proc. IEEE/CVF, 2019, pp. 10561-10570.
K.. Kim, Y. Yun, K.-W. Kang, K. Kong, S. Lee, S.-J.？Kang, "Painting outside as inside: Edge guided image？outpainting via bidirectional rearrangement with？progressive step learning," in Proc. IEEE/CVF, 2021,？pp. 2122-2130.
C. Li, G. H. Lee, "From synthetic to real:？Unsupervised domain adaptation for animal pose？estimation," in Proc. IEEE/CVF, 2021, pp. 1482-1491.
J. Cao, H. Tang, H. S. Fang, X. Shen, C. Lu, & Y.？W. Tai,"Cross-domain adaptation for animal pose？estimation," in Proc. IEEE/CVF, 2019, pp. 9498-9507.
H. Russello, R. van der Tol, & G. Kootstra, (2022).？"T-LEAP: Occlusion-robust pose estimation of？walking cows using temporal information." Computers？and Electronics in Agriculture, 192, 106559.
H. Yu, Y. Xu, J. Zhang, W. Zhao, Z. Guan, & D.？Tao,"Ap-10k: A benchmark for animal pose？estimation in the wild,", NeurIPS 2021 Datasets and？Benchmarks Track (Round 2), 2021.
B. V. Hoorick, "Image outpainting and harmonization？using generative adversarial networks" arXiv？arXiv:1912. 10960, 2019.
Y. Yu, F. Zhan, R. Wu, J. Pan, K. Cui, S. Lu,？Miao, "Diverse image inpainting with bidirectional？and autoregressive transformers." in Proc. ACM？International Conference on Multimedia, 2021, pp.？69-78.
B. Xiao, H. Wu, & Y. Wei. "Simple baselines for？human pose estimation and tracking." in Proc.？ECCV, 2018, pp. 466-481.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.