본 논문에서는 해양 환경에서 선박의 안전 운행에 위험 요소인 해상 물표를 검출하기 위한 방법을 제안한다. 해양 환경에서 획득한 적외선 영상에 대한 분석을 통하여, 우리는 해수면과 같은 배경 영역들에서는 주로 수직 방향 에지가 나타나는 반면에, 해상 물표 영역은 수직 및 수평 방향 에지가 모두 나타나는 특징을 확인할 수 있었다. 따라서 우리는 IR 영상에 대해서 수평 및 수직 에지 특징 추출에 기반한 물체 영역 검출 방법을 제안한다. 이를 위해, 첫 번째 단계에서는, 통계적 필터링 방법을 이용하여 해수면의 반짝임과 복잡한 클러터와 같은 잡음들을 효과적으로 제거할 수 있는 영상 개선 작업을 수행한다. 두 번째 단계에서는 1-D Discrete Cosine Transform(DCT) 기법을 이용하여 수직 방향 에지의 정보를 나타내는 수직 에지 지도 영상, 수평 방향 에지의 정보를 나타내는 수평 에지 지도 영상을 생성한다. 그런 다음, 수직 및 수평 에지 지도 영상들을 하나의 에지 지도 영상으로 통합한다. 세 번째 단계에서는 적응적인 문턱치 방법을 사용하여 물표 후보 영역을 검출한다. 마지막 단계에서는 IR 영상에서 검출한 물표 후보 영역들에 대해서 모폴로지 연산을 수행하여 배경 및 잡음 영역을 제거함으로써 정확한 물표 영역을 검출한다.
본 논문에서는 해양 환경에서 선박의 안전 운행에 위험 요소인 해상 물표를 검출하기 위한 방법을 제안한다. 해양 환경에서 획득한 적외선 영상에 대한 분석을 통하여, 우리는 해수면과 같은 배경 영역들에서는 주로 수직 방향 에지가 나타나는 반면에, 해상 물표 영역은 수직 및 수평 방향 에지가 모두 나타나는 특징을 확인할 수 있었다. 따라서 우리는 IR 영상에 대해서 수평 및 수직 에지 특징 추출에 기반한 물체 영역 검출 방법을 제안한다. 이를 위해, 첫 번째 단계에서는, 통계적 필터링 방법을 이용하여 해수면의 반짝임과 복잡한 클러터와 같은 잡음들을 효과적으로 제거할 수 있는 영상 개선 작업을 수행한다. 두 번째 단계에서는 1-D Discrete Cosine Transform(DCT) 기법을 이용하여 수직 방향 에지의 정보를 나타내는 수직 에지 지도 영상, 수평 방향 에지의 정보를 나타내는 수평 에지 지도 영상을 생성한다. 그런 다음, 수직 및 수평 에지 지도 영상들을 하나의 에지 지도 영상으로 통합한다. 세 번째 단계에서는 적응적인 문턱치 방법을 사용하여 물표 후보 영역을 검출한다. 마지막 단계에서는 IR 영상에서 검출한 물표 후보 영역들에 대해서 모폴로지 연산을 수행하여 배경 및 잡음 영역을 제거함으로써 정확한 물표 영역을 검출한다.
In this paper, a new method for detecting various objects that can be risks to safety navigation in sea environment is proposed. By analysing Infrared(IR) images obtained from various sea environments, we could find out that object regions include both horizontal and vertical direction edges while b...
In this paper, a new method for detecting various objects that can be risks to safety navigation in sea environment is proposed. By analysing Infrared(IR) images obtained from various sea environments, we could find out that object regions include both horizontal and vertical direction edges while background regions of sea surface mainly include vertical direction edges. Therefore, we present an approach to detecting object regions considering horizontal and vertical edges. To this end, in the first step, image enhancement is performed by suppressing noises such as sea glint and complex clutters using a statistical filter. In the second step, a horizontal edge map and a vertical edge map are generated by 1-D Discrete Cosine Transform technique. Then, a combined map integrating the horizontal and the vertical edge maps is generated. In the third step, candidate object regions are detected by a adaptive thresholding method. Finally, exact object regions are extracted by eliminating background and clutter regions based on morphological operation.
In this paper, a new method for detecting various objects that can be risks to safety navigation in sea environment is proposed. By analysing Infrared(IR) images obtained from various sea environments, we could find out that object regions include both horizontal and vertical direction edges while background regions of sea surface mainly include vertical direction edges. Therefore, we present an approach to detecting object regions considering horizontal and vertical edges. To this end, in the first step, image enhancement is performed by suppressing noises such as sea glint and complex clutters using a statistical filter. In the second step, a horizontal edge map and a vertical edge map are generated by 1-D Discrete Cosine Transform technique. Then, a combined map integrating the horizontal and the vertical edge maps is generated. In the third step, candidate object regions are detected by a adaptive thresholding method. Finally, exact object regions are extracted by eliminating background and clutter regions based on morphological operation.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
통합 에지 영상은 각각 가우시안 블러링된 수직 및 수평 에지 영상을 곱함으로써 만들어진다. 두 영상을 곱한 이유는 수직 및 수평 에지가 동시에 강하게 나타나는 영역을 효과적으로 추출하기 위해서이다. 그림 4(e)는 식 (4)에 의해서 생성된 통합 에지 영상을 보여주고 있다.
침식 연산은 객체의 외곽을 깍아 내면서 노이즈 영역을 효과적으로 제거하고, 팽창 연산은 객체의 크기를 확장하기 때문에 열림 연산은 일반적으로 객체의 외곽선을 부드럽게 만들어주며 뾰족하게 돌출된 부분을 제거할 뿐만 아니라 영상에 존재할 수 있는 잡음을 제거하는데 효과적이다. 따라서 본 논문에서는 물표 후보 영역 영상에서 잡음을 제거하기 위해 모폴로지 열림 연산을 수행한다. 또한, 추출하고자 하는 물표의 크기가 클 경우 물표 영역의 내부가 배경 영역으로 되는 경우가 발생하기 때문에, 이를 해결하기 위해서 모폴로지 닫힘 연산을 수행한다.
앞에서 언급한 것과 같이, 해양 환경에서 획득한 IR 영상을 분석한 결과 물표 영역은 수평 및 수직 에지 성분들이 동시에 강하게 나타나며, 배경 영역에서는 수평 에지 또는 수직 에지에 대해서 한 쪽 방향의 성분만이 강하게 나타나는 것을 확인할 수 있었다. 따라서, 본 논문에서는 물표 영역을 정확하게 추출하기 위해서 물표 영역으로 판단할 수 있는 근거가 될 수 있는 수평 및 수직 에지 성분이 강하게 나타는 영역을 물표 후보 영역으로 먼저 추출한다. 이를 위해서, 1-D DCT에 기반하여 생성한 수평 및 수직 에지 영상을 하나의 에지 영상으로 통합하고, 상대적으로 강한 에지 성분을 나타내는 영역을 물표 후보 영역으로 추출한다.
하지만, 해양 환경에서 획득한 IR 영상을 분석하면 수평 방향으로 밝기값의 변화가 심하게 나타나는 영역들은 주로 바다의 해수면 또는 수평선이고, 수평 및 수직 방향으로 동시에 밝기값의 변화가 나타나는 영역은 다른 선박이나 부표와 같은 해양 환경에서의 물표인 것을 확인할 수 있다. 따라서, 본 논문에서는 에지의 방향성 정보를 사용하여 해상 환경에서의 물표를 검출하는 알고리즘을 제안한다. 이를 위해, 첫 번째 단계에서는 수평 및 수직 에지 정보를 효과적으로 추출하기 위해서 빛의 반짝임과 복잡한 클러터와 같은 노이즈를 제거하는 영상 개선 작업을 수행한다.
따라서 다양한 잡음들을 효과적으로 제거하기 위한 영상 개선 방법이 요구된다. 본 논문에서는 IR 영상의 잡음들을 효과적으로 제거하기 위하여 통계적 필터링 방법을 제안한다.
IR 카메라는 상기와 같은 열악한 환경에서도 거의 변함없는 적외선 영상을 획득할 수 있기 때문에, 선박의 사고의 원인이 될 수 있는 물표를 자동으로 검출할 수 있으며, 선박 운항에 있어서 항해사의 시계 제한과 레이더의 문제점을 효과적으로 보완할 수 있다[6-8]. 본 논문에서는 선박의 안전한 항해를 위하여 IR 카메라로부터 획득한 영상을 분석하여, 항해중인 선박 주위의 다른 선박들과 부표와 같은 해양환경에서의 물표를 효과적으로 검출할 수 있는 방법을 제안한다. 제안된 알고리즘은 전자해도(ECDIS: Electronic Chart Display and Information System), 알파 레이더(ARPA: Automatic Radar Plotting Aids), 선박 자동 식별 장치(AIS: Automatic Identification System), GPS등 선교의 다른 항해 보조 장비와 함께 선박의 안전 운항에 매우 중요한 정보를 제공할 수 있다.
본 논문에서는 에지의 방향성 정보를 사용하여 해상 환경에서의 물표를 검출하는 알고리즘을 제안하였다. 이를 위해, 첫 번째 단계에서는 수평 및 수직 에지 정보를 효과적으로 추출하기 위해서 빛의 반짝임과 복잡한 클러터와 같은 노이즈를 제거하는 영상 개선 작업을 수행하였고, 두 번째 단계에서는, 1-D DCT 변환 방법을 사용하여 수평 및 수직 방향의 에지 정보를 각각 추출한 후, 수평 에지 영상 및 수직 에지 영상을 결합한 통합 에지 영상을 생성하였다.
본 논문에서는 추출된 물표 후보 영역들에 대해서 노이즈와 같은 작은 배경 영역들을 효과적으로 제거함으로써 정확한 물표 영역을 추출하는 방법을 제안한다. 이를 위해, 영상 처리 분야에서 노이즈 영역을 효과적으로 제거할 수 있는 모폴로지 연산을 사용한다.
본 논문에서는, 물표 후보 영역을 추출하기 위해서, 먼저 수직 및 수평 에지 영상들을 하나의 에지 영상으로 통합한다. 그러나, 그림 4(a)와 그림 4(b)에서 확인 할 수 있듯이, 수직 에지와 수평 에지가 정확하게 일치하지 않기 때문에, 단지 두 수직 에지 영상을 통합 할 경우에, 두 에지 성분이 강하게 나타는 영역을 찾기가 쉽지 않다.
제안 방법
이를 위해, 첫 번째 단계에서는 수평 및 수직 에지 정보를 효과적으로 추출하기 위해서 빛의 반짝임과 복잡한 클러터와 같은 노이즈를 제거하는 영상 개선 작업을 수행하였고, 두 번째 단계에서는, 1-D DCT 변환 방법을 사용하여 수평 및 수직 방향의 에지 정보를 각각 추출한 후, 수평 에지 영상 및 수직 에지 영상을 결합한 통합 에지 영상을 생성하였다. 그런 다음, 수평 및 수직 에지 성분이 동시에 나타나는 물표 후보 영역을 검출한 후, 마지막 단계에서는 첫 번째 단계와 두 번째 단계에서 생성한 물표 후보 영역과 통합 에지 영역을 논리적인 AND 연산을 통하여 최종적인 물표 영역을 검출하였다. 제안된 방법은 전자해도, 알파 레이더, 선박 자동식별 장치, GPS등 선교위 다른 항해 보조 장비와 결합되어 선박의 안전 항해에 필요한 중요한 정보를 제공할 수 있다.
이를 위해, 첫 번째 단계에서는 수평 및 수직 에지 정보를 효과적으로 추출하기 위해서 빛의 반짝임과 복잡한 클러터와 같은 노이즈를 제거하는 영상 개선 작업을 수행한다. 두 번째 단계에서는, 1-D DCT 변환 방법을 사용하여 수평 및 수직 방향의 에지 정보를 각각 추출한 후, 수평 에지영상 및 수직 에지 영상을 결합한다. 그런 다음, 수평 및 수직 에지 성분이 동시에 나타나는 물표 후보 영역을 검출한다.
그러나, Otsu 방법은 영상의 크기가 커질수록 계산량이 늘어나기 때문에, 실시간 처리에 부적합할 수 있다. 따라서, 본 논문에서는 통합 에지 영상에서 물표 영역이 주변 배경 영역보다 현저히 강한 에지 성분을 나타내고 있는 것을 고려하여, 영상 전체의 평균 에지 세기와 에지 세기에 대한 표준편차 값을 이용한 임계값 설정을 함으로써, Otsu 방법과 같이 통계적인 방법을 사용하여 다양한 영상의 화질에 대해서 물표 영역을 효과적으로 추출하면서, 계산량이 상대적으로 적은 방법을 사용한다. 식 (5)는
M은 원본 영상의 가로 또는 세로크기에 대한 화소수를 나타내며, #는 저주파 성분의 계수를 제외한 고주파 성분들만을 고려하여 복원한 영상이다. 본 논문에서는 다양한 실험을 통하여 고주파 성분을 중간 주파수 대역에서 고주파 대역으로 정의하였다.
또한, 물표 영역은 다양한 밝기값을 갖는 불규칙한 질감 영역으로 나타나기 때문에 수평 및 수직 에지가 복합적으로 나타나며, 해수면과 같은 배경 영역은 주로 수평 에지가 난다. 이러한 분석 결과를 바탕으로, 본 논문에서는 질감 정보를 갖는 물표의 수평 및 수직 에지를 효과적으로 검출하기 위해서 먼저, 노이즈 제거를 통해 개선된 영상을 가로와 세로에 대해 1-D DCT를 수행한다. 그런 다음, 고주파 통과 필터(high pass filter) 기법을 적용하여 저주파수 성분을 제외한 고주파수 성분만을 이용하여 1-D Inverse DCT(IDCT)를 수행한다.
본 논문에서는 에지의 방향성 정보를 사용하여 해상 환경에서의 물표를 검출하는 알고리즘을 제안하였다. 이를 위해, 첫 번째 단계에서는 수평 및 수직 에지 정보를 효과적으로 추출하기 위해서 빛의 반짝임과 복잡한 클러터와 같은 노이즈를 제거하는 영상 개선 작업을 수행하였고, 두 번째 단계에서는, 1-D DCT 변환 방법을 사용하여 수평 및 수직 방향의 에지 정보를 각각 추출한 후, 수평 에지 영상 및 수직 에지 영상을 결합한 통합 에지 영상을 생성하였다. 그런 다음, 수평 및 수직 에지 성분이 동시에 나타나는 물표 후보 영역을 검출한 후, 마지막 단계에서는 첫 번째 단계와 두 번째 단계에서 생성한 물표 후보 영역과 통합 에지 영역을 논리적인 AND 연산을 통하여 최종적인 물표 영역을 검출하였다.
따라서, 본 논문에서는 에지의 방향성 정보를 사용하여 해상 환경에서의 물표를 검출하는 알고리즘을 제안한다. 이를 위해, 첫 번째 단계에서는 수평 및 수직 에지 정보를 효과적으로 추출하기 위해서 빛의 반짝임과 복잡한 클러터와 같은 노이즈를 제거하는 영상 개선 작업을 수행한다. 두 번째 단계에서는, 1-D DCT 변환 방법을 사용하여 수평 및 수직 방향의 에지 정보를 각각 추출한 후, 수평 에지영상 및 수직 에지 영상을 결합한다.
따라서, 본 논문에서는 물표 영역을 정확하게 추출하기 위해서 물표 영역으로 판단할 수 있는 근거가 될 수 있는 수평 및 수직 에지 성분이 강하게 나타는 영역을 물표 후보 영역으로 먼저 추출한다. 이를 위해서, 1-D DCT에 기반하여 생성한 수평 및 수직 에지 영상을 하나의 에지 영상으로 통합하고, 상대적으로 강한 에지 성분을 나타내는 영역을 물표 후보 영역으로 추출한다. 그림 4는 물표 후보 영역을 추출하는 단계별 결과 영상을 보여주고 있다.
그런 다음, 수평 및 수직 에지 성분이 동시에 나타나는 물표 후보 영역을 검출한 후, 마지막 단계에서는 첫 번째 단계와 두 번째 단계에서 생성한 물표 후보 영역과 통합 에지 영역을 논리적인 AND 연산을 통하여 최종적인 물표 영역을 검출하였다. 제안된 방법은 전자해도, 알파 레이더, 선박 자동식별 장치, GPS등 선교위 다른 항해 보조 장비와 결합되어 선박의 안전 항해에 필요한 중요한 정보를 제공할 수 있다.
제안된 방법의 성능 평가를 위해서 해양 환경에서 선박과 부표 등을 촬영한 다양한 IR 영상들에 대해서 실험을 진행하였다. 그림 6은 다양한 배경 노이즈가 포함된 입력 영상들에 대한 물표 영역을 검출한 결과 영상들을 보여준다.
이론/모형
그러므로, 통합 에지 영상에 대해 전반적으로 강한 에지 성분을 나타내는 영역을 물표후보 영역으로 추출할 수 있다. 이를 위해, 본 논문에서는 이진화 기법을 통한 물표 후보 영역을 추출하고자 한다. 영상의 이진화 방법은 하나의 임계값(threshold value)을 설정하여 객체와 배경을 분리할 수 있는 가장 간단한 방법이며, 일반적으로 통계적인 방법을 이용한 Otsu 기법이 널리 사용되고 있다[9].
성능/효과
그림 3(a)와 그림 3(b)는 원본 영상과 노이즈를 제거한 영상을 나타내며, 그림 3(c)와 그림 3(d)는 수평 1-D DCT와 수직 1-D DCT를 수행하는 방법을 나타내며, 그림 3(e)와 그림 3(f)는 수평 및 수직 1-DCT한 결과를 고주파 성분만을 고려하여 복원한 영상을 보여주고 있다. 결과적으로, 수직 및 수평 에지 영상을 분석하면, 물표 영역에 해당하는 영역들에 대해서 수직 및 수평 에지 성분들이 모두 강하게 나타는 것을 확인할 수 있다. 반면에, 배경 영역에 해당하는 영역들은 하나의 수평 또는 수직 에지 성분이 나타나는 것을 확인할 수 있다.
그런 다음, 고주파 통과 필터(high pass filter) 기법을 적용하여 저주파수 성분을 제외한 고주파수 성분만을 이용하여 1-D Inverse DCT(IDCT)를 수행한다. 결과적으로, 수평 성분과 수직 성분이 강한 에지 성분만을 나타내는 수평 에지 영상과 수직 에지 영상을 얻을 수 있다. 식(2)와 식(3)은 1D-DCT와 1D-IDCT에 관한 식을 보여주고 있다.
그림 2에서와 같이, 통계적 필터링 기법이 해수면의 빛 반짝임과 다양한 잡음을 효과적으로 제거하는 것을 확인할 수 있으며, 차수가 높을수록 잡음 제거가 더욱 잘되는 것을 확인할 수 있다. 그러나 차수가 높아지면, 잡음이 아닌 영역도 제거 되는 문제점이 있다.
그러나 차수가 높아지면, 잡음이 아닌 영역도 제거 되는 문제점이 있다. 따라서 본 논문에서는 다양한 해양 환경에서 촬영한 영상들에 대해서 실험을 한 결과 1차 (n=1) 통계적 필터링 방법이 가장 효과적인 것을 확인할 수 있었다.
그림 6은 다양한 배경 노이즈가 포함된 입력 영상들에 대한 물표 영역을 검출한 결과 영상들을 보여준다. 실험 결과는 해양 환경에서 촬영한 IR 영상에 포함된 다양한 노이즈 영역을 효과적으로 제거하고, 수평 및 수직 에지 추출을 통한 물표 후보 영역을 검출한 후 모폴로지 연산을 통해 효과적으로 물표 영역을 검출한 결과를 보여준다. 그림 6(a)와 그림 6(b)는 육지와 바다가 인접한 연안에서 선박이 바다 영역에만 위치한 경우에 대해서 선박에 대한 영역을 효과적으로 추출한 결과를 보여주고 있다.
앞에서 언급한 것과 같이, 해양 환경에서 획득한 IR 영상을 분석한 결과 물표 영역은 수평 및 수직 에지 성분들이 동시에 강하게 나타나며, 배경 영역에서는 수평 에지 또는 수직 에지에 대해서 한 쪽 방향의 성분만이 강하게 나타나는 것을 확인할 수 있었다. 따라서, 본 논문에서는 물표 영역을 정확하게 추출하기 위해서 물표 영역으로 판단할 수 있는 근거가 될 수 있는 수평 및 수직 에지 성분이 강하게 나타는 영역을 물표 후보 영역으로 먼저 추출한다.
제안된 알고리즘은 전자해도(ECDIS: Electronic Chart Display and Information System), 알파 레이더(ARPA: Automatic Radar Plotting Aids), 선박 자동 식별 장치(AIS: Automatic Identification System), GPS등 선교의 다른 항해 보조 장비와 함께 선박의 안전 운항에 매우 중요한 정보를 제공할 수 있다.
후속연구
향후에는 원거리에서 촬영하여 물표 영역이 작게 나타는 영상에 대해서도 물표 영역을 효과적으로 추출할 수 있는 연구가 필요하며, 또한 정지 영상이 아닌 동영상에 대해서 움직임 정보를 이용한 물표 추출 방법에 대한 연구 그리고 영상 장비와 선교의 항해 보조 장비와의 연동을 위한 연구도 요구된다.
질의응답
핵심어
질문
논문에서 추출한 답변
선박 운항시 항해사는 시야 경계와 장비를 사용하는 경계 모두 고려해야하는 이유는?
선박의 운항에 있어 경계는 시야 경계와 레이더 및 IR 카메라와 같은 장비를 사용하는 경계로 구분할 수 있으며, 항해사는 선박 운항시에 이들 두 가지 정보들을 모두 고려해야만 한다. 왜냐하면 기상악화의 상태, 연무, 또는 야간 시에 항해를 할 경우 시계제한으로 시야 경계만으로 운항하는 것은 선박들 간의 충돌사고의 큰 원인이 될 수 있기 때문이다.
항해에 사용하는데 있어 레이더의 단점은?
레이더는 항해사가 선박 주위 정보를 획득하기 위해 가장 많이 의존하는 장비이지만, 연안 항해 시 레이더 전파 특성으로 인해 다양한 형태의 잡음이 레이더 영상에 나타나며, 레이더의 다중 반사, 경면 반사 등의 레이더 자체 오차도 발생할 수 있기 때문에 항해사의 판단에 혼란을 주는 경우가 많다[5]. 따라서 기상 악화의 상태, 연무, 또는 야간과 같이 선박 운항에 열악한 환경에서도 선박의 안정적인 운항이 가능하여야 한다.
지난 수십 년간 선박은 어떻게 발전해 왔는가?
지난 수십 년간 선박은 규모의 경제를 실현하기 위한 대형화, 서비스 수준의 향상을 지향하는 고속화, 연료비 절감을 위한 고효율화, 그리고 승선감 제고를 위한 고성능화로 발전되었다. 하지만 선박의 대형화와 고속화는 해양선박사고 발생 시 큰 피해를 야기하므로 위험 요인에 대한 분석과 사고 예방을 위한 방안이 마련되어야 한다[1].
참고문헌 (10)
Dong Jin Kim, and Su Yong Kwak, "Evaluation of Human Factors in Ship Accedents in the Domestic Sea," Journal of the Ergonomics Society of Korea, vol. 30, no. 1, pp. 87-98, 2011.
A. Toffoli, J. M. Lefevra, E. Bitner-Gregersen, and J. Monbaliu, "Toward the Identification of Warning Criteria: Analysis of a Ship Accident Database," Journal of Applied Ocean Research, vol. 27, pp. 281-291, 2005.
A. Toffoli, J. M. Lefevra, E. Bitner-Gregersen, J. Monbaliu, "Towards the identification of warning criteria : Analysis of a ship accident database," Journal of applied ocean research, vol. 27, pp. 281-291, 2005.
S. Gaarder, K Rongstad, M Olofsson, "Image of human elements in marine risk management," Guedes Soares C., Advances in safety and reliability, pp. 857-898, Pergarmon, 1997.
V. E. Vicker, "Plateu equalization algorithm for real-time display of high-quality infrared imagery," Optical Engineering. vol. 35, no. 7, pp. 1921-1926, July 1996.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.