본 논문에서는 실제 전장에서 전투수행 중인 병사의 개인화기 조준 능력 향상 관점에서 추적기법의 성능평가를 하였다. 실제 전장에서는 짧은 시간동안 전투를 하는 것뿐만 아니라 며칠에 걸쳐서 실시되는 경우도 있다. 이와 같이 장시간 지속되는 작전 중에서 다양한 요소에 의해서 지속적으로 병사의 신체능력이 감소된다. 이렇게 손실되는 신체능력을 보완하기 위하여 시각추적 기술을 화기의 조준경에 적용하여 적 병사 이동상황을 자동적으로 추적하고 이로 인해 감소된 조준능력을 향상시키기 위한 실험을 하였다. 최신영상 추적 기법들 중에서 최적의 것을 결정하기 위하여, 겹침 현상, 카메라 이동, 크기변화, 저대비 영상, 조명변화 등의 특징이 포함된 여러 실제 전장 영상으로 그 성능을 평가하였다. VTD (Visual Tracking Decomposition)[2]가 정확도에서 IVT (Incremental learning for robust Visual Tracking)[7]가 속도 평가에서 가장 우수하였으며 종합적으로는 MIL (Multiple Instance Learning)[1]이 가장 우수한 결과를 보여 주었다. 이러한 성능평가 결과는 시각추적기술이 적용된 조준경이 실제 전장에서 전투수행을 하면서 신체능력이 감소된 병사의 전투력을 보완할 가능성이 있다는 것을 보여 준다.
본 논문에서는 실제 전장에서 전투수행 중인 병사의 개인화기 조준 능력 향상 관점에서 추적기법의 성능평가를 하였다. 실제 전장에서는 짧은 시간동안 전투를 하는 것뿐만 아니라 며칠에 걸쳐서 실시되는 경우도 있다. 이와 같이 장시간 지속되는 작전 중에서 다양한 요소에 의해서 지속적으로 병사의 신체능력이 감소된다. 이렇게 손실되는 신체능력을 보완하기 위하여 시각추적 기술을 화기의 조준경에 적용하여 적 병사 이동상황을 자동적으로 추적하고 이로 인해 감소된 조준능력을 향상시키기 위한 실험을 하였다. 최신영상 추적 기법들 중에서 최적의 것을 결정하기 위하여, 겹침 현상, 카메라 이동, 크기변화, 저대비 영상, 조명변화 등의 특징이 포함된 여러 실제 전장 영상으로 그 성능을 평가하였다. VTD (Visual Tracking Decomposition)[2]가 정확도에서 IVT (Incremental learning for robust Visual Tracking)[7]가 속도 평가에서 가장 우수하였으며 종합적으로는 MIL (Multiple Instance Learning)[1]이 가장 우수한 결과를 보여 주었다. 이러한 성능평가 결과는 시각추적기술이 적용된 조준경이 실제 전장에서 전투수행을 하면서 신체능력이 감소된 병사의 전투력을 보완할 가능성이 있다는 것을 보여 준다.
In this paper, an investigation of weapon tracking performance is shown in regard to improving individual weapon performance of aiming objects. On the battlefield, a battle can last only a few hours, sometimes it can last several days until finished. In these long-lasting combats, a wide variety of ...
In this paper, an investigation of weapon tracking performance is shown in regard to improving individual weapon performance of aiming objects. On the battlefield, a battle can last only a few hours, sometimes it can last several days until finished. In these long-lasting combats, a wide variety of factors will gradually lower the visual ability of soldiers. The experiments were focusing on enhancing the degraded aiming performance by applying visual tracking technology to roof mounted sights so as to track the movement of troops automatically. In order to select the optimal algorithm among the latest visual tracking techniques, performance of each algorithm was evaluated using the real combat images with characteristics of overlapping problems, camera's mobility, size changes, low contrast images, and illumination changes. The results show that VTD (Visual Tracking Decomposition)[2], IVT (Incremental learning for robust Visual Tracking)[7], and MIL (Multiple Instance Learning)[1] perform the best at accuracy, response speed, and total performance, respectively. The evaluation suggests that the roof mounted sights equipped with visual tracking technology are likely to improve the reduced aiming ability of forces.
In this paper, an investigation of weapon tracking performance is shown in regard to improving individual weapon performance of aiming objects. On the battlefield, a battle can last only a few hours, sometimes it can last several days until finished. In these long-lasting combats, a wide variety of factors will gradually lower the visual ability of soldiers. The experiments were focusing on enhancing the degraded aiming performance by applying visual tracking technology to roof mounted sights so as to track the movement of troops automatically. In order to select the optimal algorithm among the latest visual tracking techniques, performance of each algorithm was evaluated using the real combat images with characteristics of overlapping problems, camera's mobility, size changes, low contrast images, and illumination changes. The results show that VTD (Visual Tracking Decomposition)[2], IVT (Incremental learning for robust Visual Tracking)[7], and MIL (Multiple Instance Learning)[1] perform the best at accuracy, response speed, and total performance, respectively. The evaluation suggests that the roof mounted sights equipped with visual tracking technology are likely to improve the reduced aiming ability of forces.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
저하된 신체능력은 임무수행능력을 저하시키고 비효율적인 전투를 수행하게 하고 비효율적인 사격을 하게 한다. 그래서 우리는 시각추적기술을 탑재한 조준경이 개발 가능하다면 자동으로 적을 찾고 추적하여 저하된 신체능력을 보완하고 보다 효율적인 전투를 수행할 수 있다고 보고 개인화기 조준능력 향상관점에서 시각추적기술의 성능평가를 하였다.
본 절에서는 추적기의 성능 평가기준을 설명하고 이를 이용한 실험 결과를 제시한다. 추적하기 위한 표적은 조준경의 십자망선 중간(총구에서 가장 가까운 표적)에서 가장 가까운 표적을 자동 탐지한다고 가정하였다.
우리는 본 논문에서 지속작전으로 표적탐지능력과 급속사격능력이 떨어져 비효율적인 전투를 수행할 수 있는 병사의 신체능력을 보완하기 위하여 최근 제안된 시각추적기술을 개인화기 조준경에 탑재하는 경우를 가정하고 적합한 시각추적 알고리듬들의 성능을 평가해 보았다. 평가 결과는 MIL, VTD, IVT 순서로 적합하다는 결과가 나왔다.
뿐만 아니라 미래전쟁은 핵무기, 생화학무기, 초정밀 무기 등의 대량살상 무기와 첨단무기를 활용하게 되고 이로 인해 더욱 치명적으로 위험한 상황에 처할 수 있으며 이에 대비하기 위해 다양한 작전 및 방호구 사용으로 더욱 활동에 장애를 받을 수 있다. 이런 작전 수행 중에 병사의 전투능력 손실을 보완하기 위하여 우리는 시각추적기술을 개인화기에 활용하는 방안을 생각해 보게 되었다. 최근에 발표되는 시각추적기술에 관한 논문들을 보면 연구실 환경 내에서 임의로 설정한 시나리오보다 실제세계에서 벌어지는 환경에서 실험하는 경우가 많고 그 결과에 대해 여러 논문이 발표되었다[1][2][3][4].
가설 설정
본 절에서는 추적기의 성능 평가기준을 설명하고 이를 이용한 실험 결과를 제시한다. 추적하기 위한 표적은 조준경의 십자망선 중간(총구에서 가장 가까운 표적)에서 가장 가까운 표적을 자동 탐지한다고 가정하였다. 성능 평가는 위의 영상에 각 알고리듬을 적용하여 얻어지는 정확성과 실제로 개인화기 조준경에 탑재하여 사용하기 위해서는 속도도 중요하기 때문에 추적 속도, 이 두 가지 부분의 점수합산으로 평가 한다.
제안 방법
추적하기 위한 표적은 조준경의 십자망선 중간(총구에서 가장 가까운 표적)에서 가장 가까운 표적을 자동 탐지한다고 가정하였다. 성능 평가는 위의 영상에 각 알고리듬을 적용하여 얻어지는 정확성과 실제로 개인화기 조준경에 탑재하여 사용하기 위해서는 속도도 중요하기 때문에 추적 속도, 이 두 가지 부분의 점수합산으로 평가 한다.
우리는 우수한 성능의 시각추적기술 3 개를 7 개의 실험영상에 적용하여 정확성 평가 실험을 하였다. 여기에 사용된 시각추적기술은 공정한 평가를 위하여 각 저자가 제공한 소스코드 (Source Code)를 이용하여 실험하였으며[9][10][11] 결과 비교는 사람이 직접 보고 손으로 그린 결과와 실험하여 나온 결과의 중앙점의 평균 픽셀 차이로 하였다.
최근에 발표되는 시각추적기술에 관한 논문들을 보면 연구실 환경 내에서 임의로 설정한 시나리오보다 실제세계에서 벌어지는 환경에서 실험하는 경우가 많고 그 결과에 대해 여러 논문이 발표되었다[1][2][3][4]. 우리는 이러한 우수한 시각추적기술이 작전수행 중에 저하되는 병사의 어떤 능력을 보완할 수 있을지 알아보고 그 상황에 맞게 실제 전장 상황에 벌어지는 영상에 시각추적기술을 적용하여서 비교하고 성능평가를 해 보았다. 본 연구의 주요구성은 비교할 추적기법들의 특성, 실험기준 및 결과, 결론의 순서로 되어있다.
가장 우측의 것은 표적이 옳다는 표시가 된 이미지 패치들을 하나로 묶어서 업데이트 하는 것으로 이것이 MIL 분류기이다. 이 분류기를 이용하여 다음 프레임(Frame)에서 표적을 찾고 이를 연속적으로 업데이트하면서 또 다음 프레임에서 표적을 찾는 방식으로 추적한다.
이렇게 6 개의 실제 전투영상에 실험을 하였지만 Coming에 있는 카메라 이동은 조금 부족하였기 때문에 위의 영상에는 카메라 이동에 대한 충분한 성능평가가 이루어지지 않았다고 판단하여 카메라 이동에 대한 성능을 측정하기 위해 김연아의 피겨스케이팅 영상을 추가로 실험하였다. 표 3은 각 영상의 특징 요소들을 정리하여 보여 준다.
추적 속도 성능의 평가는 조준경에 탑재되는 CPU 및 RAM이 어느 정도 성능인가에 영향을 많이 받는다. 하지만 현재 상황에서는 어느 정도까지 고성능 CPU 및 RAM을 소형화 할 수 있는지 알 수 없으므로 앞으로 출시될 갤럭시 S4 정도의 예상 CPU 및 RAM 보다 약간 더 성능이 좋은 기준으로 실험을 하였으며 군사용임을 감안하여 표 6과 같이 속도 성은에 상대적으로 높은 기준으로 평가 하였다. 구체적으로는 초당 26 프레임 이상 시 30 점 만점, 이후 5 프레임 단위로 차등 점수를 주었다.
대상 데이터
정확도 측정을 위한 영상선정 이후 실험을 할 시각추적기술들을 선정하였다. 이는 최근에 발표된 논문들 중에서 선정하였으며, 초기에는 MIL[1], VTD[2], VTS[3], MTT[4] 그리고 최근에 나온 논문 중 가장 많은 참고문헌을 기록하고 있고 가장 널리 비교되고 있는 IVT[7]가 고려되었으나 VTS와 MTT는 속도 측면에서 현저하게 떨어져 배제하고 IVT, MIL, VTD 기법을 대상으로 실험하였다.
이밖에도 카메라의 움직임, 폭발로 인한 불길 속에서의 병사이동 등의 상황에서도 잘 작동하여야한다. 이러한 이유로 기존의 시각추적기술의 성능평가 때 사용되는 일반적인 영상들이 아닌 실제 전투상황 영상을 선정하여 실험을 했고 그 영상들의 목록과 내용은 아래와 같다.
정확도 측정을 위한 영상선정 이후 실험을 할 시각추적기술들을 선정하였다. 이는 최근에 발표된 논문들 중에서 선정하였으며, 초기에는 MIL[1], VTD[2], VTS[3], MTT[4] 그리고 최근에 나온 논문 중 가장 많은 참고문헌을 기록하고 있고 가장 널리 비교되고 있는 IVT[7]가 고려되었으나 VTS와 MTT는 속도 측면에서 현저하게 떨어져 배제하고 IVT, MIL, VTD 기법을 대상으로 실험하였다.
데이터처리
우리는 우수한 성능의 시각추적기술 3 개를 7 개의 실험영상에 적용하여 정확성 평가 실험을 하였다. 여기에 사용된 시각추적기술은 공정한 평가를 위하여 각 저자가 제공한 소스코드 (Source Code)를 이용하여 실험하였으며[9][10][11] 결과 비교는 사람이 직접 보고 손으로 그린 결과와 실험하여 나온 결과의 중앙점의 평균 픽셀 차이로 하였다.
이론/모형
VTD는 이런 혼합되어 있는 관측모델을 r 개로 동작모델을 s 개로 각각 나눈 다음 이런 각각의 관측모델과 동작모델을 정합하여 r*s 개의 기본추적기를 만든다. 이렇게 만들어진 r*s 개의 기본추적기를 마코프 체인 몬테 칼로(Markov Chain Monte Carlo, MCMC) 기법을 이용하여 샘플링 기반의 추적한다.
성능/효과
결과를 보면 한 눈에 알 수 있듯이 VTD가 대체적으로 가장 좋은 결과를 보여 줬다. 7 개 부분 중 5 개 부분에서 가장 우수했고 나머지 두 개 부분도 두 번째로 좋은 결과를 보여 줬다. MIL 또한 대체적으로 좋은 결과를 보여 줬으나 VTD보다는 부족하였고 IVT는 Coming부분에서만 좋은 결과를 보여 줬다.
7 개 부분 중 5 개 부분에서 가장 우수했고 나머지 두 개 부분도 두 번째로 좋은 결과를 보여 줬다. MIL 또한 대체적으로 좋은 결과를 보여 줬으나 VTD보다는 부족하였고 IVT는 Coming부분에서만 좋은 결과를 보여 줬다.
표의 빨간색 부분은 각 영상별 가장 성능이 좋았던 알고리듬의 결과이며 파란색 부분은 두 번째 좋았던 알고리듬의 결과를 표시한다. 결과를 보면 한 눈에 알 수 있듯이 VTD가 대체적으로 가장 좋은 결과를 보여 줬다. 7 개 부분 중 5 개 부분에서 가장 우수했고 나머지 두 개 부분도 두 번째로 좋은 결과를 보여 줬다.
그림 5 는 Flame 영상에서의 결과이며 55번째 프레임 근처에서 좌측으로 이동하는 병사 뒤쪽으로 희미하게 우측으로 이동하는 병사가 겹칠 때 박스가 살짝 우측으로 이동하면서 오차가 커지는 것을 볼 수 있다. 마지막으로 VTD는 정확성 부분에서는 대체적으로 우수한 성능을 보여 줬다.
4GHz CPU와 4GB RAM의 상황에서 실험을 하였으며 IVT가 26 frame/sec, MIL이 25 frame/sec, VTD가 1 frame/sec의 성능을 각각 보였다. 이러한 결과를 바탕으로 정확성 부분 7 개 영상에 대한 점수와 속도 평가 점수를 합한 종합적인 성능평가를 했을 때 표 8에서 볼 수 있듯이 개인화기 조준경 탑재에는 MIL이 가장 적합한 알고리듬으로 볼 수 있었다.
우리는 본 논문에서 지속작전으로 표적탐지능력과 급속사격능력이 떨어져 비효율적인 전투를 수행할 수 있는 병사의 신체능력을 보완하기 위하여 최근 제안된 시각추적기술을 개인화기 조준경에 탑재하는 경우를 가정하고 적합한 시각추적 알고리듬들의 성능을 평가해 보았다. 평가 결과는 MIL, VTD, IVT 순서로 적합하다는 결과가 나왔다. 앞으로 MIL 기반의 기법은 정확성 부분에서 좀 더 보완이 된다면 실제 개인화기 조준능력 향상을 시킬 수 있는 조준경 개발에 활용될 수 있을 것이다.
후속연구
평가 결과는 MIL, VTD, IVT 순서로 적합하다는 결과가 나왔다. 앞으로 MIL 기반의 기법은 정확성 부분에서 좀 더 보완이 된다면 실제 개인화기 조준능력 향상을 시킬 수 있는 조준경 개발에 활용될 수 있을 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
지속적인 전투에서의 극한 상황에는 무엇이 있는가?
지속적인 전투는 병사들의 업무수행능력 저하를 가져오는 악 조건하에서 임무수행을 강요한다. 이러한 극한 상황들의 예는 정상 수면 방해, 육체적 피로, 수면부족, 공포 등이다. 이러한 악조건 하에서 계속되는 전투는 병사들을 탈진하게 하고, 따라서 병사들은 작전 시 요구되는 만큼 신속하게 또는 효과적으로 업무를 수행할 수 없게 된다.
병사들의 업무수행능력 저하를 가져오는 악 조건이 병사에게 미치는 영향은?
이러한 극한 상황들의 예는 정상 수면 방해, 육체적 피로, 수면부족, 공포 등이다. 이러한 악조건 하에서 계속되는 전투는 병사들을 탈진하게 하고, 따라서 병사들은 작전 시 요구되는 만큼 신속하게 또는 효과적으로 업무를 수행할 수 없게 된다. 심지어는 전투 초일 야간조차도, 정상적인 수면습관과 일상의 행위들이 임무수행을 방해한다. 또한 병사들은 피로와 소음, 방해받은 수면시간 및 생명에 대한 위협으로 인해 커다란 스트레스를 받게 된다. 병사들의 강한 결단력도 참고 견딜 수 있도록 하는 데는 필수적이지만, 악조건들이 상승효과를 나타내는 것을 상쇄시킬 수는 없다. 잘못된 결심을 포함한 지각능력 저하는 수면을 취하지 못한 최초 24 시간 중 또는 그 이후부터 시작 된다[5].
지속작전이란?
전쟁 중에 병사는 짧은 전투만 할 수도 있지만 지속작전 및 계속작전을 많이 수행한다. 지속작전과 계속작전에 관한 정의를 간략히 설명하면 지속작전(CONOPS: Continuous Operations)이란 일정 기간 동안 똑같은 수준으로 강도 높게 계속 실시되는 전투로서 이러한 전투에 참가하는 장병들은 수면을 취할 기회를 가질 수는 있겠지만 수면은 짧은 시간동안 순간적으로 잠깐씩 취하는 형태의 작전을 말하며, 계속작전(SUSOPS: Sustained Operations)이란 부대 및 부대원들이 경계태세를 늦추지 않고 작전을 계속 실시함으로써 병사들은 단 몇 분의 수면조차도 취할 수 있는 기회가 주어지지 않는 작전을 말하며 따라서 지속작전에는 일련의 계속작전이 포함될 수 있다[5].
참고문헌 (36)
B. Babenko, M. Yang, and S. Belongie. Visual tracking with online multiple instance learning. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition 2009.
J. Kwon and K. Lee, "Visual tracking decomposition," Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp. 1269-1276, 2010.
Junseok Kwon and Kyoung Mu Lee. Tracking by sampling trackers. Proceedings of International Conference on Computer Vision, pages 1195-1202, 2011.
Tianzhu Zhang, Bernard Ghanem, Si Liu, Narendra Ahuja. Robust visual tracking via multi-task sparse learning. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition 2012
U.S. Army. FM 22-9 Soldier Performance In Continuous Operations. 1991
Defense Daily. "Vietnam Var and the advent of M16 Rifle" 2008. 9. 9. in Korean
D. Ross, J. Lim, R.-S. Lin, and M.-H. Yang. Incremental learning for robust visual tracking. IJCV, 77(1): 125-141, May 2008.
Weapons data center of Defense Acquisition Program Administration. in Korean
http://www.cs.toronto.edu/-dross/ivt/
http://vision.ucsd.edu/-bbabenko/data/
http://cv.snu.ac.kr/research/-vtd/
G. H. Golub and C.F. Van Loan. Matrix Computations. The Jojns Hopkins University Press, 1996.
P. Hall, D. Marshall, and R. Martin. Incremental eigenanalysis for classification. Proceedings of British Machine Vision Conference, pages 286-295, 1998.
A. Levy and M. Lindenbaum. Sequential Karhunen-Loeve basis extraction and its application to images. IEEE Transactions on Image Processing, 9(8):1371-1374, 2000.
M. Brand. Incremental singular value decomposition of uncertain data with missing values. In A. Heyden, G. Sparr, M. Nielsen, and P. Johansen, editors, Proceedings of the Seventh European Conference on Computer Vision, LNCS 2350 pages 707-720. Springer Verlag, 2002.
P. Hall, D. Marshall, and R. Martin. Adding and subtracting eigenspaces with eigenvalue decomposition and singular value decomposition. Image and Vision Computing, 20(13-14): 1009-1016, 2002.
J. Lim, D. Ross, R.-S. Lin, and M.-H. Yang. Incremental learning for visual tracking. In L. Saul, Y. Weiss, and L. Bottou, editors, Advances in Neural Information Processing Systems, pages 793-800. MIT Press, 2005.
R.-S. Lin, D. Ross, J. Lin, and M.-H. Yang. Adaptive discriminative generative model and its applications. In L. Saul, Y. Weiss, and L. Bottou, editors, Advances in Neural Information Processing Systems, pages 801-808. MIT Press, 2005.
M. Isard and A. Blake. Contour tracking by stochastic propagation of conditional density. In B. Buxton and R. Cipolla, editors, Proceedings of the Fourth European Conference on Computer Vision, LNCS 1064, pages 343-356. Springer Verlag, 1996.
B. North and A. Blake. Learning dynamical models using expectation- maximization. Proceedings of IEEE International Conference on Computer Vision, pages 384-389, 1998.
M. E. Tipping and C. M. Bishop. Probabilistic principal component analysis. Journal of the Royal Statistical Society, Series B, 61(3): 611-622, 1999.
S. Roweis. EM algorithms for PCA and SPCA. In M. I. Jordan, M. J. Kearms, and S. A. Solla, editors, Advances in Neural Information Processing Systems 10, pages 626-632. MIT Press, 1997.
M. J. Black and A. D. Jepson. Eigentracking: Robust matching and tracking of articulated objects using view-based representation. In B. Buxton and R. Cipolla, editors, Proceedings of the Fourth European Conference on Computer Vision, LNCS 1064, pages 329-342. Springer Verlag, 1996.
P. Viola and M. Jones. Rapid object detection using a boosted cascade of simple features. In Proceedings of IEEE International Conference on Computer Vision, volume 1, pages 511-518, 2001.
P. Dllar, Z. Tu, H. Tao, and S. Belongie. Feature mining for image classification. Proceedings of IEEE International Conference on Computer Vision, June 2007.
J. Wang, X. Chen, and W. Gao. Online selecting discriminative tracking features using particle filter. Proceedings of IEEE International Conference on Computer Vision, volume 2, pages 1037-1042, 2005.
T. G. Dietterich, R. H. Lathrop, and L. T. Perez. Solving the multiple instance problem with axis parallel rectangles. Artificial Intelligence, pages 31-71, 1997.
S. Andrews, I. Tsochantaridis, and T. Hofmann. Support vector machines for multiple-instance learning. Proceedings of Annual Conference on Neural Information Processing Systems, pages 577-584, 2003.
P. Viola, J. C. Platt, and C. Zhang. Multiple instance boosting for object detection. Proceedings of Annual Conference on Neural Information Processing Systems, pages 1417-1426, 2005.
J. Friedman, Greedy function approximation: A gradient boosting machine. The Annals of Statistics, 29(5):1189-1232, 2001.
N. C. Oza. Online Ensemble Learning. Ph.D. Thesis, University of California, Berkeley, 2001.
H. Grabner, M. Grabner, and H. Bischof. Real-time tracking via online boosting. Proceedings of British Machine Vision Conference, pages 47-56, 2006.
J. Friedman, T. Hastie, and R. Tibshirani. Additive logistic regression: a statistical view of boosting. The Annals of Statistics, 28(2): 337-407, 2000.
H. Ling and K. Okade. Diffusion distance for histogram comparison. Proceedings of IEEE International Conference on Computer Vision, 2006
A. d'Aspremont, L. El Ghaoui, M. Jordan, and G. Lanckriet. A direct formulation for sparse PCA using semidefinite programming. SIAM Review, 49(3). 2007.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.