선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 도망자인 에이전트가 조기에 봉쇄구역을 벗어나지 못했을 경우, 식량ㆍ체력 고갈, 탐색자의 증가, GPS 장비의 고장 등으로 인해 행위에 제약이 가해질 가능성이 높기 때문이다. 둘째, 보상이 동적으로 부여되는 상황에 대한 연구이다. 에이전트가 은닉해서 이동하던 중 어떤 상태에 탐색자가 있는 지를 관찰(확인)했다면, 그 상황에서 다시 가치반복법을 시행해서 각 상태의 효용을 재산출 할 것이다.
- 본 논문에서는 도망자인 에이전트가 봉쇄구역에서 벗어나기 위해 의사결정을 내리는 과정을 MDP를 이용해 모델링했다. 특히, GIS로부터 추출한 데이터를 이용해 보상 구조를 구성함으로써 객관성을 높였다.
- 본 모델에서 구현하고자 하는 목표는 2가지로, 각 상태에서 에이전트가 어떤 방향으로 이동할지 선택하는데 필요한 최적 정책(π)과 특정 시점 이후에 각 상태에서 에이전트가 존재할 확률을 도출하는 것이다.
- 본 연구는 [그림 1]와 같이 폐쇄된 공간(이하 봉쇄구역)에 있는 에이전트가 그 공간에서 벗어나기 위해 임의의 방향으로 움직일 때, 에이전트의 이동 경로를 마코프 의사결정 프로세스를 이용해 예측하는 문제이다.
- 에이전트의 목표는 목적상태로 이동하는 것이므로 중간 과정의 성격을 가진 보통상태보다 보상값이 상대적으로 더 크다. 본 연구에서는 지형정보체계 전자지도로부터 보상구조와 관련된 정보를 추출해 객관성을 높였으며. 이 과정에서 상용 툴인 ArcGIS 10.
- 본 연구에서는 이처럼 계획적으로 행동하는 에이전트의 움직임을 예측하기 위해, 에이전트의 행동을 랜덤하게 보지 않고, 목적을 달성하기까지 보상 (reward)을 가장 크게 받는 방식으로 행동할 것이 라고 가정했다. 이 같은 가정을 바탕으로, 폐쇄된 공간에서 에이전트가 이동할 경로를 예측하는 효율적인 방법을 제시하고자 한다.
- 셋째, 앞서 설명한 기존 확률론적 기반 연구에서는 최적 정책을 구해 목적지에 도달하는 경로만 보여주었으나, 본 연구에서는 최적 정책 뿐 아니라 일정시간 이후에 에이전트가 각각의 상태에 존재할 확률도 함께 제시했다. 특히, 확률을 도출하는 과정에서 매트릭스(matrix)의 특성을 이용해 복잡한 계산을 손쉽게 처리할 수 있는 방법도 함께 제시했다. 넷째, 지형 정보체계(GIS; Geographic Information System)로터 추출한 정량적인 값으로 보상 구조(reward structure)를 구성해 객관성을 높였다.
가설 설정
- P(s′normal | snormal )1.5%로 가정했다.
- P(s′normal | snormal ) 은 최적 정책으로 선택된 방향으로 이동할 확률을 75%, 나머지 5방향으로 이동할 확률을 5%라고 가정한다.
- 가정 1：탐색자로부터 추적을 당하고 있는 에이전트는 최초 봉쇄구역의 중앙에 위치하며, 봉쇄구역을 탈출하는 것을 목표로 한다. 이를 위해 일정한 속도로 쉬지 않고 움직인다.
- 가정 2：봉쇄선은 사람이나 장비가 지키고 있으므로 에이전트가 쉽게 탈출할 수 없다. 단, 탈출 가능성이 낮지만 탈출이 불가능한 것은 아니다.
- 가정 3：에이전트는 이동하는 과정에서 노출을 줄이고, 체력을 비축할 수 있으며, 평소에 경험하거나 훈련받은 지형을 선택해서 움직인다.
- 가정 4：에이전트는 이동 과정에서 자신이 선택한 지역으로 100% 이동할 수는 없다(체력 고갈, 방위 장비 고장, 탐색자 사전 선점 등이 원인).
- 본 연구에서 에이전트는 고도로 훈련받은 요원이지만 탐색자에게 포위된 불리한 상황임을 가정, 가장 미흡한 부대의 방향 유지율 수준을 적용했다. 또한, 에이전트가 원하는 방향으로 이동하지 못했을 경우, 나머지 방향으로의 이동 확률을 동일하게 적용해 불확실성을 높임으로써 탐색자 입장에서 가장 보수적인 상황을 가정했다. [그림 2]에서 s0에 있는 에이전트가 최적 정책으로 α1을 선택했다면, 다음 스텝에서 에이전트가 s1에 있을 확률이 75%, s2～s6 에 있을 확률이 각각 5%가 된다.
- ○○○ 부대 데이터에 따르면 방향 유지가 우수한 침투부대가 목표 지역으로 정확히 이동할 확률은 약 90%였 으며, 상대적으로 훈련이 미흡한 침투부대의 경우, 약 73%의 방향 유지율을 보였다. 본 연구에서 에이전트는 고도로 훈련받은 요원이지만 탐색자에게 포위된 불리한 상황임을 가정, 가장 미흡한 부대의 방향 유지율 수준을 적용했다. 또한, 에이전트가 원하는 방향으로 이동하지 못했을 경우, 나머지 방향으로의 이동 확률을 동일하게 적용해 불확실성을 높임으로써 탐색자 입장에서 가장 보수적인 상황을 가정했다.
- 첫째, 에이전트가 최적 정책을 선택했을 때의 이동 확률을 동적으로 부여하는 문제이다. 본 연구에서는 시간의 흐름에 관계없이 최적 정책 선택 방향으로 75%의 확률로 이동한다고 가정했다. 하지만 이 확률은 시간에 따라 변할 가능성도 존재한다.
- 본 연구에서는 이처럼 계획적으로 행동하는 에이전트의 움직임을 예측하기 위해, 에이전트의 행동을 랜덤하게 보지 않고, 목적을 달성하기까지 보상 (reward)을 가장 크게 받는 방식으로 행동할 것이 라고 가정했다. 이 같은 가정을 바탕으로, 폐쇄된 공간에서 에이전트가 이동할 경로를 예측하는 효율적인 방법을 제시하고자 한다.
- 1절에서 정의한 문제에 대해 MDP 기반 모델링을 한다. 연속적인 공간에서 에이전트의 이동이 가능한 공간은 무한대이므로 문제를 단순화하기 위해서 본 연구에서는 연구 대상 지역이 [그림 2]과 같이 육각형의 셀들로 이루어져 있으며 에이전트는 셀 중심에서 셀 중심으로 이동한다고 가정한다. 예를 들어, [그림 2]은 총 36개의 셀들로 구성된 지역을 나타내며, 굵은 실선은 봉쇄선을 의미한다.
- 이를 위해서는 현 시점에서 에이전트가 존재할 확률이 높은 지역을 예측해야 하며, 일정시간 동안 에이전트를 잡지 못했다면 봉쇄구역을 더 확장 시켜야 할지 여부를 결정해야한다. 요컨대, 본 연구는 에이전트 입장에서 가장 탈출하기 용이한 경로 ㆍ지역이 어디인지 예측하는 모델이며, 연구에서 사용된 가정은 아래와 같다.
- 우선, 보통상태에서의 보상은 은닉 요인, 체력 요인, 전술 요인을 기준으로 결정된다고 가정하며, 각 요인은 에이전트의 선택에 있어 복합적으로 작용하는 정량적인 값이다.
- 만약 시간에 따른 봉쇄선 통과 확률을 더 줄이려면 봉쇄선을 지금보다 더 강력하게 구축해야 한다. 즉, 더 많은 인원과 장비를 투입해 봉쇄선을 구축한다면 각 상태에서 에이전트가 봉쇄선을 통과할 확률은 지금보다 낮아질 것이며, 시간의 흐름에 따른 에이전트의 봉쇄구역 탈출 확률도 그만큼 줄어들 것이다. 다만 이 경우에는 더 많은 비용이 소요된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.