선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 미래병사는 첨단의 복합 기술을 적용한 착용형 장치를 활용하여 전장상황에서 고도의 전투능력을 발휘할 것으로 예견되며, 최근 국방 분야에서 활발한 연구가 수행되고 있다. 본 논문에서는 무선 네트워크 환경하에서 병사 간 효과적인 영상 공유를 위하여, 헬멧에 장착된 시선감지센서를 활용하여 병사가 손을 이용한 조작 없이 보다 편리하게 영상 내 ROI를 설정하고,가용 대역폭 정보를 반영하여 해당 ROI 영역의 화질저하를 최소화하도록 압축하는 방법을 설계하고, 제작 및 구현을 통하여 제안된 방법을 확인하였다. 전장 환경에서 병사의 조작 용이성과 관련하여 시선감지 알고리즘의 실행시간 분석 결과 통상적 허용치 이내의 응답 지연시간을 보임을 확인함으로서 착용형 환경기반의 자연스러운 병사용 인터페이스로서의 적용 가능성을 확인하였다.
- 또한, 작전지역 내 이동하는 병사의 무선환경과 관심영역이 유동적으로 변화하기 때문에, 병사가 이동 중 자연스러운 방식으로 조작이 가능해야 한다. 본 논문에서는 이러한 유동적이며 제한적인 대역폭 하에서 이동 중인 병사의 조작용이성을 고려하면서도, 표적 등 주요정보를 포함하는 영상 내 관심영역의 화질 저하를 최소화하기 위한 방안으로 관심영역(Region Of Interest, ROI) 기반의 영상압축 방법을 기술한다. 이동 중인 병사를 위한 자연스러운 ROI 설정방법으로서 헬멧에 부착된 시선감지센서를 활용하는 방법을 구현하고 실행시간 성능을 확인함으로써 적용가능성을 확인한다.
- 본 논문은 병사용 착용형 시스템에서 효과적인 병사 간 영상 공유를 위하여 시선감지를 활용한 ROI 설정 및 영상압축 방법을 제안한다. Fig.
- 전장의 제한된 대역폭 하에서 운용자의 관심영역이 주어졌을 때, ROI 압축된 영상에서의 ROI 영역과 비 ROI 영역에서의 화질을 동일한 대역폭으로 설정된 균등 압축된 영상과 비교하여 분석한 결과 ROI 영역에서는 균등 압축시 대비 화질이 향상됨을 확인하였다. 이를 통해 제한된 대역폭을 갖는 무선 환경에서의 효율적 영상 공유를 위한 ROI 영상 압축 방법의 적용가능성을 확인하였다. 향후 제안된 방법의 실효성을 높이기 위하여 다양한 시험데이터 구축과 시제 구성품 통합을 통한 추가적인 검증을 수행할 예정이며, 알고리즘 개선을 통하여 성능 최적화를 수행할 예정이다.
제안 방법
- ROI 압축된 영상의 ROI 영역 및 비 ROI 영역에서 화질 개선 및 저하 여부에 대한 검증을 위하여 균등압축 영상에서의 해당 영역 화질과 비교하였다.
- 가중치 계산 단계에서는 렌즈 반사 등으로 인한 노이즈의 영향을 줄이기 위하여 가우시안 스무딩 처리를 수행하고, 피부보다 어두운 색상을 갖는 동공영역에 대하여 높은 가중치를 할당하기 위하여 반전 처리를 수행한다. 동공위치 추정단계에서는 이미지 상의 모든 점 \(x\)\(i\) , iε{1, .
- 따라서 적용 시스템 상에서 헬멧 장착 위치의 정면/측면 여부, 화면제어 정밀도에 관한요구수준 등을 고려하여 정해야 한다. 다양한 상황을 고려하여 센서가 안정적으로 동작 가능하도록 화면ROI 구역을 각각 3개, 6개, 9개 등으로 최소 단위로 분할한 후 기준좌표와의 거리를 통하여 해당영역을 판단하도록 설계하였다.
- 동공 위치 보정 단계에서는 눈의 깜빡임, 동공의 의도치 않은 위치 변화로 인한 문제를 해결하기 위하여 동공 위치를 보정한다. 동공위치 검출 알고리즘을 일정시간 동안 수행하여 임계치 이하의 점들을 제거하고, 임계치 이상의 동공 중심점 c*를 수집한 후meanshift 방식을 적용하여, 프레임 단위의 수집된 좌표들의 밀집영역 내 평균점을 좌표로 정하고, 신규프레임으로부터 검출된 동공위치 간의 오차가 최소화될 때까지 반복 수행하면서 동공의 위치를 갱신한다.
- 이동 중인 병사를 위한 자연스러운 ROI 설정방법으로서 헬멧에 부착된 시선감지센서를 활용하는 방법을 구현하고 실행시간 성능을 확인함으로써 적용가능성을 확인한다. 또한 압축된 ROI 영역과 비ROI영역의 화질 분석을 통하여 제안된 방법의 효용성을 확인한다. 본 논문의 2장에서는 병사의 시선감지를 활용한 ROI 영상 압축 방안을 설명하고, 3장에서는 제안된 방법의 실험 및 검증 결과를 설명한 후 4장에서는 결론을 맺는다.
- 본 장에서는 착용형 시스템을 활용한 병사 간의 영상 공유 기술과 관련하여 병사용 착용형 시스템 설계를 개략적으로 기술하고, 타병사로부터 공유된 영상에서의 관심영역 화질 개선 문제와 관련하여 시스템 환경 상의 특성을 기술한다. 또한, 병사용 착용형 시스템에서 효과적인 병사 간 영상 공유를 위한 시선감지를 이용한 ROI 자동설정 및 압축 방법을 제시하고, 주요 모듈에 대한 세부 설계/구현 방안을 기술한다.
- 본 논문에서는 2종의 테스트영상에 대하여 균등압축 영상, ROI 차등압축 영상을 생성하고 ROI 영역과 비ROI 영역에 대하여 주관적 방법 및 객관적 방법으로 화질 비교를 수행하였다. Fig.
- 본 장에서는 착용형 시스템을 활용한 병사 간의 영상 공유 기술과 관련하여 병사용 착용형 시스템 설계를 개략적으로 기술하고, 타병사로부터 공유된 영상에서의 관심영역 화질 개선 문제와 관련하여 시스템 환경 상의 특성을 기술한다. 또한, 병사용 착용형 시스템에서 효과적인 병사 간 영상 공유를 위한 시선감지를 이용한 ROI 자동설정 및 압축 방법을 제시하고, 주요 모듈에 대한 세부 설계/구현 방안을 기술한다.
- 2와 같이 헬멧에 탑재된 시선감지센서 영상으로부터 시선방향 추적을 통하여 ROI를 설정하고, 무선상황에 따른 비트레이트 정보를 반영하여 영상을 압축함에 따라 병사가 손을 사용하지 않고도 자연스러운 방식으로 ROI 설정이 가능하며, 무선 환경에서의 가용대역폭 변화를 실시간 자동으로 반영 가능하다. 여기서 ROI 설정은 정적인 장애물, 지형지물, 이동 표적 등 다양한 관심영역의 대상에 대하여 ROI 영역의 위치 및 크기를 임의로 변경할 수 있도록 하기 위하여 시선위치 뿐 아니라 표적위치, 사용자 임의영역, ROI OFF 총 4가지 방법 중 선택 적용이 가능하도록 설계하였다. 시선위치기반의 모드에서는 시선추적센서를 활용한 시선위치추정에 의하여 자동 설정되고, 표적위치 기반의 ROI설정은 표적탐지/추적에 의해 표적을 포함하는 복수개의 영역으로 자동 설정된다.
- 영상 압축단계에서는 설정에 따라 영상압축처리 및 수신 영상에 대한 설정정보를 이용한 복원처리를 수행한다. 영상 압축을 위해서는 다양한 상용기술이 있지만, 그 중에서 고화질영상의 스트리밍에 가장 많이 사용되고 있는 Mpeg4(H.264)[7]를 채택하였고, 신속한 ROI 압축처리를 위하여 하드웨어 방식의 압축 코덱을 적용하여 설계하였다. 적용된 압축처리기(코덱)는 ROI영역의 고화질(High Definition, HD) H.
- 본 논문에서는 이러한 유동적이며 제한적인 대역폭 하에서 이동 중인 병사의 조작용이성을 고려하면서도, 표적 등 주요정보를 포함하는 영상 내 관심영역의 화질 저하를 최소화하기 위한 방안으로 관심영역(Region Of Interest, ROI) 기반의 영상압축 방법을 기술한다. 이동 중인 병사를 위한 자연스러운 ROI 설정방법으로서 헬멧에 부착된 시선감지센서를 활용하는 방법을 구현하고 실행시간 성능을 확인함으로써 적용가능성을 확인한다. 또한 압축된 ROI 영역과 비ROI영역의 화질 분석을 통하여 제안된 방법의 효용성을 확인한다.
- 제시된 방안에 대한 적용 가능성을 시스템 통합 이전 단계에서 사전에 확인하기 위하여 시선위치추정알고리즘과 ROI기반의 영상 차등압축 모듈을 구현하여 구성품 단위에서의 검증을 수행하였다.
- 제안된 방법은 크게 운용단계와 초기설정 단계로 구분되며, 운용단계는 동공위치 검출 단계, 동공위치보정단계, 시선위치 추정 단계로 구성된다.
- 제안된 방법을 위한 영상압축처리 단계는 Fig. 3과 같이 영상 ROI 감지 단계, 영상 압축 파라미터 설정단계, ROI 영상압축처리 단계로 구성된다. 영상 ROI감지 단계에서는 입력장치를 이용한 사용자 입력을 통하여 ROI 모드 정보와 그에 따른 사용자 설정 파라미터를 입력받는다.
- 작전환경에서 병사는 통합형 헬멧, 통합처리기, 헤드 장착형 전시기(HMD), 정보입력기로 구성되는 착용형 장치를 활용하여 다양한 임무를 수행한다. 헬멧에 장착된 첨단 관측장비를 이용하여 적을 탐지하고, 디지털화된 지휘통제 네트워크를 통하여 상급부대에 보고 및 수집한 전술정보와 현장영상을 애드혹 네트워크 기반으로 병사간 실시간으로 공유한다. 공유된 영상 및 전술정보는 각 병사의 헬멧 전시기를 통하여 전시되고, 병사는 이를 통해 작전지역의 피아상황을 인지하고 신속히 대응한다.
- 원본영상으로부터 ROI 압축영상과 균등압축 영상을 생성하였고, 원본 및 압축영상 모두 1920×1080의 해상도를 갖는 RGB 8 bit 영상이며, framerate은 25 fps이다. 화질측정을 위한 ROI 영역(Fig. 7적색박스)은 전체화면의 9등분 중 2개영역에 해당하는 영역의 x, y, width, height(640, 360, 640, 720)를 설정하였고, 비교실험을 위한 비 ROI 영역은 ROI를 제외한 나머지 영역 중에서도 ROI 영역과 동일한 크기의 영역(0, 360, 640, 720)으로 설정하였다. 대역폭은 전장의 무선통신 환경 하에서 다수의 병사간 영상공유를 위하여 실질적으로 할당 가능한 대역폭 수치로서 균등압축과 차등압축 모두 1 Mbps로 설정하였다.
대상 데이터
- 실행환경은 DSP기반의 개발용 보드로서 크로스컴파일 및 압축 기능 구현을 위하여 TI 사의 dvsdk[10]를 활용하였다. 본 실험을 위하여 사용한 원본 영상은 야외에서 촬영한 2종의 영상으로서, 사람이 카메라로부터 25 m 거리에서 좌우로 이동하는 영상(videoA)과 50~300 m 거리를 앞뒤로 이동하는 영상(videoB)이다. 원본영상으로부터 ROI 압축영상과 균등압축 영상을 생성하였고, 원본 및 압축영상 모두 1920×1080의 해상도를 갖는 RGB 8 bit 영상이며, framerate은 25 fps이다.
- 원본영상으로부터 ROI 압축영상과 균등압축 영상을 생성하였고, 원본 및 압축영상 모두 1920×1080의 해상도를 갖는 RGB 8 bit 영상이며, framerate은 25 fps이다.
이론/모형
- 시선위치 추정 단계에서는 보정된 동공의 중심 좌표를 사전 설정된 각 영역의 기준좌표와 매칭하여 가장 가까운 영역을 현재의 시선방향으로 결정한다. 각영역의 기준좌표와의 매칭을 위하여 (4)와 같이 최근접 이웃(nearest neighbor) 방법을 활용하였다. 여기서\(x\)\(n\)은 n번째 영역을 대표하는 \(y\)\(n\)과 매핑된 동공중심좌표로서 초기화 과정을 통하여 사전 설정된 좌표이다.
- 22이다. 실행환경은 DSP기반의 개발용 보드로서 크로스컴파일 및 압축 기능 구현을 위하여 TI 사의 dvsdk[10]를 활용하였다. 본 실험을 위하여 사용한 원본 영상은 야외에서 촬영한 2종의 영상으로서, 사람이 카메라로부터 25 m 거리에서 좌우로 이동하는 영상(videoA)과 50~300 m 거리를 앞뒤로 이동하는 영상(videoB)이다.
- 프레임 단위의 동공위치 검출 단계의 구현을 위하여 F. Timm[8]의 알고리즘을 적용하였다. 적용된 방법은 내적연산을 주로 사용하므로 디지털 신호처리기(Digital Signal Processor, DSP)에서 정해진 해상도의 입력에 대해 고정처리 시간을 가지며, 동공 이미지의 회전 및 조도 변화에 대한 안정적인 성능을 보이는 동시에 최적화가 용이한 장점을 갖는다.
성능/효과
- 원본영상으로부터 생성된 균등압축과 ROI/NROI 차등압축 영상의 초당 비트전송율은 Table 2와 같으며, 여기서 비압축 RGB 8비트 영상의 초당 전송율이 1.24Gbps임을 고려할 때 원본영상은 wmv파일로 저장되는과정에서 상당한 손실압축이 반영되었음을 확인 가능하며, (b)의 균등압축 영상과 (c)의 ROI 및 비ROI 차등압축 영상은 약 0.85 정도로 1 Mbps를 초과하지 않는 선에서 유사한 수준의 초당 비트 전송율을 갖도록 압축되었음을 확인 가능하다.
- 8과 9는 25m 영상과 50~300 m 테스트 영상에 대하여 정량적수치에 의한 객관적 비교를 위해 PSNR과 MSSIM을계산한 결과이다. PSNR1과 MSSIM-R1, G1, B1은 균등압축에 대한 수치 그래프로서 ROI 영역과 비 ROI영역에서 약간의 변동은 있으나 비교적 균등한 수치를 보임을 확인할 수 있다. PSNR2 및 MSSIM-R2,G2, B2는 ROI 차등 압축에 대한 그래프로서 ROI 영역에서의 수치가 각각 균등압축보다 높은 값을 보이고 있으며, 비 ROI 영역에서는 균등압축보다 큰 폭으로 낮은 수치를 보임을 확인할 수 있다.
- PSNR1과 MSSIM-R1, G1, B1은 균등압축에 대한 수치 그래프로서 ROI 영역과 비 ROI영역에서 약간의 변동은 있으나 비교적 균등한 수치를 보임을 확인할 수 있다. PSNR2 및 MSSIM-R2,G2, B2는 ROI 차등 압축에 대한 그래프로서 ROI 영역에서의 수치가 각각 균등압축보다 높은 값을 보이고 있으며, 비 ROI 영역에서는 균등압축보다 큰 폭으로 낮은 수치를 보임을 확인할 수 있다. Table 3은 2종의 영상에 대한 화질 측정 평균값으로서 PSNR의경우 ROI 영역에서의 균등압축시 25~26 dB 사이의평균값을 보이며, 차등압축시의 약 27 dB로 1~2 dB정도 높게 나타났다.
- 33 ms이다. 시선위치 추정을 위한 전체 수행시간 중에서 상대적으로 긴 시간이 소요될 것으로 예상되는 주요 처리절차에 대한 단계별 수행시간 측정 결과는 Table 1과 같으며, 총 수행시간은 20 ms로서, 병사간 영상 ROI 설정을 위해 제시된 시선감지 알고리즘을 적용할 경우 처리 시간 측면에서의 요구조건이 충족됨을 확인 가능하다.
- 6은시선감지 센서 위치에 따른 눈의 입력 영상이 정면이 아닌 다소 비스듬한 입력 영상임에도 불구하고 제안된 방법에 따라 시선위치 추정이 수행되고 있음을 보여준다. 시선을 각각 좌측, 중앙, 우측으로 움직임에 따라 정상적으로 시선위치가 추정됨을 확인하였다.
- 264 방식의 비선형 압축처리 기능을 제공하고, SVC(Scalable VideoCoding) 기술 적용을 통한 다양한 프레임율 적용이 가능하다. 이에 따라 제안된 방법에서 요구되는 ROI 차등압축 기능과 망 상태에 따른 비트전송율 실시간 설정 기능을 지원 가능하다.
- 264)[7]를 채택하였고, 신속한 ROI 압축처리를 위하여 하드웨어 방식의 압축 코덱을 적용하여 설계하였다. 적용된 압축처리기(코덱)는 ROI영역의 고화질(High Definition, HD) H.264 방식의 비선형 압축처리 기능을 제공하고, SVC(Scalable VideoCoding) 기술 적용을 통한 다양한 프레임율 적용이 가능하다. 이에 따라 제안된 방법에서 요구되는 ROI 차등압축 기능과 망 상태에 따른 비트전송율 실시간 설정 기능을 지원 가능하다.
- 본 논문에서는 무선 네트워크 환경하에서 병사 간 효과적인 영상 공유를 위하여, 헬멧에 장착된 시선감지센서를 활용하여 병사가 손을 이용한 조작 없이 보다 편리하게 영상 내 ROI를 설정하고,가용 대역폭 정보를 반영하여 해당 ROI 영역의 화질저하를 최소화하도록 압축하는 방법을 설계하고, 제작 및 구현을 통하여 제안된 방법을 확인하였다. 전장 환경에서 병사의 조작 용이성과 관련하여 시선감지 알고리즘의 실행시간 분석 결과 통상적 허용치 이내의 응답 지연시간을 보임을 확인함으로서 착용형 환경기반의 자연스러운 병사용 인터페이스로서의 적용 가능성을 확인하였다. 전장의 제한된 대역폭 하에서 운용자의 관심영역이 주어졌을 때, ROI 압축된 영상에서의 ROI 영역과 비 ROI 영역에서의 화질을 동일한 대역폭으로 설정된 균등 압축된 영상과 비교하여 분석한 결과 ROI 영역에서는 균등 압축시 대비 화질이 향상됨을 확인하였다.
- 전장 환경에서 병사의 조작 용이성과 관련하여 시선감지 알고리즘의 실행시간 분석 결과 통상적 허용치 이내의 응답 지연시간을 보임을 확인함으로서 착용형 환경기반의 자연스러운 병사용 인터페이스로서의 적용 가능성을 확인하였다. 전장의 제한된 대역폭 하에서 운용자의 관심영역이 주어졌을 때, ROI 압축된 영상에서의 ROI 영역과 비 ROI 영역에서의 화질을 동일한 대역폭으로 설정된 균등 압축된 영상과 비교하여 분석한 결과 ROI 영역에서는 균등 압축시 대비 화질이 향상됨을 확인하였다. 이를 통해 제한된 대역폭을 갖는 무선 환경에서의 효율적 영상 공유를 위한 ROI 영상 압축 방법의 적용가능성을 확인하였다.
- 제한된 대역폭을 효율적으로 사용하기 위한방법으로 관심 영역(ROI)에 대한 차등적 영상압축 기술을 적용시킬 경우 ROI의 화질을 개선시키는 대신, 비 ROI 영역에 대한 화질을 저하시킴으로서 동등한 대역폭 내에서 관심 영역에 대한 화질을 향상시킬 수있다.
- 61 %으로 유사도가 상당히 낮게 나타났다. 즉, 1 Mbps의 제한된 통신환경 하에서 균등압축에 비하여 ROI 영상 압축시 ROI에 대한 개선된 화질로 병사 간 영상 공유가 가능함을 확인하였다. 화질 개선의 정도는 전체영상에서ROI가 차지하는 면적의 크기, ROI와 NROI 영역 간의 비트(bit) 분배율과 밀접한 관련이 있다.
후속연구
- 이를 통해 제한된 대역폭을 갖는 무선 환경에서의 효율적 영상 공유를 위한 ROI 영상 압축 방법의 적용가능성을 확인하였다. 향후 제안된 방법의 실효성을 높이기 위하여 다양한 시험데이터 구축과 시제 구성품 통합을 통한 추가적인 검증을 수행할 예정이며, 알고리즘 개선을 통하여 성능 최적화를 수행할 예정이다.
- 분배율 차이를 크게할 경우 1 Mbps환경에서 NROI의 화질이 크게 저하되며, 분배율 차이를 낮출 경우에는 균등압축과 유사해지는 결과를 보인다. 향후, 표적 존재유무, 크기 등 상황에 따라 ROI 크기를 변화시키며 비트를 적응적으로 분배 할 경우 제한된 대역폭을 보다 효율적으로 활용할 수 있을 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.