송재욱
(Graduate School of Electrical Engineering and Computer Science, Chungbuk University)
,
정나라
(Graduate School of Electrical Engineering and Computer Science, Chungbuk University)
,
강현수
(Graduate School of Electrical Engineering and Computer Science, Chungbuk University)
컨테이너 BIC-code란 국제 운송 및 복합적인 운송환경에서의 편의성을 위해 사용하고 있는 약속된 규약이다. BIC-code는 해상운송 컨테이너의 식별 부호이며 국가 code와 다양한 조작 등의 내용을 포함하고 있다. 해가 거듭될수록 항공, 해양을 통한 물류운송은 계속 증가하고 있으며 이에 따라 해당 물류를 처리하는 항만에서는 신속하고 정확한 처리가 요구되고 있다. 따라서 본 논문에서는 컨테이너의 BIC-code를 다중 이진화를 통해 영역을 추출하고 개별 code를 인식하는 방법을 제안한다. 코드 인식에 있어서, 기후 요소, 빛, 카메라 위치, 컨테이너의 색과 같은 다양한 요인으로 인해 고정된 임계값을 사용할 수 없다. 따라서 제안된 방법에서는 각 영상에 대해 다양한 임계값으로 인식을 수행하여 가장 우수한 인식 결과를 선택한다. 각 임계값에 대한 이진화, 레이블링, close연산을 통해 BIC-code의 가로, 세로 여부를 판단하여 잡음을 제거하고, 개별 code를 분리한다. 분리된 개별 code는 데이터베이스의 기본 자료와 템플릿 매칭을 통해 인식한다. 각 임계값에 대한 인식결과의 신뢰도를 측정하여 가장 신뢰도가 높은 결과를 선택하게 된다. 실험 결과를 통해 제안한 방법이 조명상황에 관계없이 컨테이너 BIC-code를 효과적으로 추출하고 인식함을 보인다.
컨테이너 BIC-code란 국제 운송 및 복합적인 운송환경에서의 편의성을 위해 사용하고 있는 약속된 규약이다. BIC-code는 해상운송 컨테이너의 식별 부호이며 국가 code와 다양한 조작 등의 내용을 포함하고 있다. 해가 거듭될수록 항공, 해양을 통한 물류운송은 계속 증가하고 있으며 이에 따라 해당 물류를 처리하는 항만에서는 신속하고 정확한 처리가 요구되고 있다. 따라서 본 논문에서는 컨테이너의 BIC-code를 다중 이진화를 통해 영역을 추출하고 개별 code를 인식하는 방법을 제안한다. 코드 인식에 있어서, 기후 요소, 빛, 카메라 위치, 컨테이너의 색과 같은 다양한 요인으로 인해 고정된 임계값을 사용할 수 없다. 따라서 제안된 방법에서는 각 영상에 대해 다양한 임계값으로 인식을 수행하여 가장 우수한 인식 결과를 선택한다. 각 임계값에 대한 이진화, 레이블링, close연산을 통해 BIC-code의 가로, 세로 여부를 판단하여 잡음을 제거하고, 개별 code를 분리한다. 분리된 개별 code는 데이터베이스의 기본 자료와 템플릿 매칭을 통해 인식한다. 각 임계값에 대한 인식결과의 신뢰도를 측정하여 가장 신뢰도가 높은 결과를 선택하게 된다. 실험 결과를 통해 제안한 방법이 조명상황에 관계없이 컨테이너 BIC-code를 효과적으로 추출하고 인식함을 보인다.
The container BIC-code is a transport protocol for convenience in international shipping and combined transport environment. It is an identification code of a marine transport container which displays a wide variety of information including country's code. Recently, transportation through aircrafts ...
The container BIC-code is a transport protocol for convenience in international shipping and combined transport environment. It is an identification code of a marine transport container which displays a wide variety of information including country's code. Recently, transportation through aircrafts and ships continues to rise. Thus fast and accurate processes are required in the ports to manage transportation. Accordingly, in this paper, we propose a BIC-code region extraction and recognition method using multiple thresholds. In the code recognition, applying a fixed threshold is not reasonable due to a variety of illumination conditions caused by change of weather, lightening, camera position, color of the container and so on. Thus, the proposed method selects the best recognition result at the final stage after applying multiple thresholds to recognition. For each threshold, we performs binarization, labeling, BIC-code pattern decision (horizontal or vertical pattern) by morphological close operation, and character separation from the BIC-code. Then, each characters is recognized by template matching. Finally we measure recognition confidence scores for all the thresholds and choose the best one. Experimental results show that the proposed method yields accurate recognition for the container BIC-code with robustness to illumination change.
The container BIC-code is a transport protocol for convenience in international shipping and combined transport environment. It is an identification code of a marine transport container which displays a wide variety of information including country's code. Recently, transportation through aircrafts and ships continues to rise. Thus fast and accurate processes are required in the ports to manage transportation. Accordingly, in this paper, we propose a BIC-code region extraction and recognition method using multiple thresholds. In the code recognition, applying a fixed threshold is not reasonable due to a variety of illumination conditions caused by change of weather, lightening, camera position, color of the container and so on. Thus, the proposed method selects the best recognition result at the final stage after applying multiple thresholds to recognition. For each threshold, we performs binarization, labeling, BIC-code pattern decision (horizontal or vertical pattern) by morphological close operation, and character separation from the BIC-code. Then, each characters is recognized by template matching. Finally we measure recognition confidence scores for all the thresholds and choose the best one. Experimental results show that the proposed method yields accurate recognition for the container BIC-code with robustness to illumination change.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 컨테이너 BIC-code의 영역 추출과 개별 문자의 분리, 최종적인 인식단계에 이르기까지 그림 1과 같은 전체적인 알고리즘을 제안한다.
가설 설정
이를 바탕으로 전체 입력 영상에 대해 호모그래피 변환을 실행하여 기울어진 영상을 똑바로 세워진 영상으로 변환하는 작업을 진행한다. 호모그래피를 구하는 과정은 BIC-code를 촬영하는 카메라의 위치가 고정되어 있다는 가정 하에 한 번만 수행하며 호모그래피 자료는 저장한다. 저장된 호모그래피는 입력영상이 들어올 때 다시 불러들여 호모그래피 변환을 하는데 사용한다.
제안 방법
BIC-code를 정확하게 분리하고 인식하기 위해서는 Otsu로 이진화한 후의 영상이 11개의 code를 모두 가지고 있어야 한다. 11개의 BIC-code가 모두 검출됐다면 각 code를 개별 분리하고 데이터베이스에 가지고 있는 자료들과 템플릿 매칭을 이용한 문자인식과정을 거쳐 최종적인 결과를 나타내도록 하였다.
이진화를 하였다. 11개의 BIC-code를 모두 분리한 임계 값에 대하여 템플릿 매칭을 수행하였고 매칭 점수의 총합을 저장하였다. 각 임계값에 저장된 최대 매칭점수를 구하여 BIC-code를 인식하고 출력한 결과는 그림 8과 같다.
다중 이진화를 사용함으로써 대부분의 물류처리를 실외에서 진행하는 항만의 가변적인 상황에 대응할 수 있었다. 디지털 카메라로 획득한 영상은 다중 이진화를 기반으로 각 임계 값에 대한 이진화 영상을 통해 잡음 제거, 닫힘연산을 통한 BIC- code 위치 및 나열구조 파악, Otsu 알고리즘, 개별 문자추출, 문자인식을 과정을 통해 결과를 도출하였다. 특히 위치가 고정된 카메라를 사용한 것이 아니라 부산신항의 게이트를 빠르게 지나가는 컨테이너의 사진을 여러 각도로 찍은 영상을 사용하였고, 회전되어 기울어진 영상, 컨테이너의 외부의 굴곡진 부분에 의해 왜곡된 영상들이 BIC-code를 인식하기 위한 알고리즘을 거쳐 정상적으로 추출되고 인식하는 모습을 보였다.
실외는 시간에 따라 변하는 밝기, 계절, 비나 눈 같은 외부요인이 많이 작용하기 때문에 고정된 임계값을 사용하기가 힘들다. 따라서 BIC-code를 인식할 시기에 가장 좋은 결과를 얻을 수 있는 임계값을 찾기 위해 다중 이진화를 실시한다. 이진화된 영상은 BIC-code 영역이 아닌 잡음을 제거하는 과정을 거친 후, 형태학적 필터(morphological filter) 중 하나인 닫힘(close) 연산을 통해 BIC-code의 나열 구조를 파악한 후, 원본 영상에서 BIC-code만 따로 추출한 뒤, Otsu 이진화를 실시한다.
따라서 본 논문에서는 다중 이진화를 통해 컨테이너의 글자 영역을 추출 후 인식하는 방법을 사용하였다[9]. 제안한 방법은 이진화를 통한 영상의 글자 영역을 추출하는 과정과 추출된 영상을 인식하는 단계로 구성한다.
본 논문에서는 기준 영상에서의 4점의 좌표는 항만의 관리자가 직접 입력되어 들어온 영상을 보며 기울어진 좌표를 마우스로 클릭하여 설정할 수 있도록 하였다. 이렇게 구해진 4점의 좌표 중 좌측 상단의 좌표를 기준으로 가로와 세로의 길이를 측정하여 직사각형의 형태로 출력 영상의 4점을 설정한다.
본 논문에서는 다양한 BIC-code 영상에 대해 가장 좋은 인식결과를 찾을 수 있는 임계값을 찾기 위해 다중 이중화를 적용하였다.
이진화된 영상을 바탕으로 BIC-code 영역이 아닌 잡음을 제거하고 BIC-code가 세로, 가로로 나열되어 있는지를 판단하고 BIC-code 영역만 추출하게 된다. 영역만 추출된 영상에서 체크 번호의 특징인 사각형을 제거하고 11개의 BIC-code 개별 문자를 추출한다.
템플릿 매칭은 조명 변화나 배경의 영향을 덜 받게 되고 복잡한 환경에서도 객체검출이 가능하다는 장점이 있지만 크기 변화, 회전 각도, 기울어짐에 민감한 단점이 있다. 이런 단점을 보완하기 위해 호모그래피 변환을 수행하여 기울어진 영상을 수정하였고, 모두 같은 크기의 영상으로 저장해서 효과적인 템플릿 매칭을 수행할 수 있도록 했다.
이렇게 설정된 좌표를 이용해 호모그래피를 추정한다. 이를 바탕으로 전체 입력 영상에 대해 호모그래피 변환을 실행하여 기울어진 영상을 똑바로 세워진 영상으로 변환하는 작업을 진행한다. 호모그래피를 구하는 과정은 BIC-code를 촬영하는 카메라의 위치가 고정되어 있다는 가정 하에 한 번만 수행하며 호모그래피 자료는 저장한다.
따라서 BIC-code를 인식할 시기에 가장 좋은 결과를 얻을 수 있는 임계값을 찾기 위해 다중 이진화를 실시한다. 이진화된 영상은 BIC-code 영역이 아닌 잡음을 제거하는 과정을 거친 후, 형태학적 필터(morphological filter) 중 하나인 닫힘(close) 연산을 통해 BIC-code의 나열 구조를 파악한 후, 원본 영상에서 BIC-code만 따로 추출한 뒤, Otsu 이진화를 실시한다.
제안한 방법은 이진화를 통한 영상의 글자 영역을 추출하는 과정과 추출된 영상을 인식하는 단계로 구성한다. 제안한 방법에서 이진화(thresholding)는 여러 가지 방법이 있으나[10-12].
제안한 방법은 항만에서 컨테이너의 선적 및 야적과 같은 물류처리를 신속하고 빠르게 처리하기 위해 컨테이너 고유 식별부호인 BIC-code를 자동으로 추출하고 인식하도록 구현하였다. 다중 이진화를 사용함으로써 대부분의 물류처리를 실외에서 진행하는 항만의 가변적인 상황에 대응할 수 있었다.
제안한 방법에서 이진화(thresholding)는 여러 가지 방법이 있으나[10-12]. 제안한 방법인 다중 이진화가 외부 요인을 많이 받는 실시간 컨테이너 처리에 보다 효과적으로 추출 할 수 있기 때문에 제안한 방법을 선택하였다. 여기서 이진화는 .
제안한 알고리즘은 다중 이진화를 사용하여 최대 5번 이진화를 하였다. 11개의 BIC-code를 모두 분리한 임계 값에 대하여 템플릿 매칭을 수행하였고 매칭 점수의 총합을 저장하였다.
식(5)는 이 min부터 최대 밝기값이 255까지를 균등 분할한 값으로 정해짐을 나타낸다. 은 사용자가 설정한 최대 이진화 횟수이며, 본 논문에서는 5회 이진화하였다. 즉, ⋯이다.
대상 데이터
제안한 알고리즘은 부산신항에서 직접 촬영한 컨테이너 영상 527장 중, 육안으로도 판단하기 어려울 만큼 열화된 BIC-code를 가진 사진 14장을 제외한 총 513장에 대하여 실험하였다. 513장 중 490장을 정확히 추출하고 인식하여 95.
컨테이너 BIC-code 영역 추출 및 인식 알고리즘 실험을 위해 부산신항에서 527장의 영상을 직접 촬영하여 획득하였다.
이론/모형
BIC-code 영역이 추출된 영상은 Otsu 알고리즘을 이용하여 이진화를 다시 수행한다. Otsu 알고리즘을 이용하여 이진화를 다시 수행하는 이유는 전체 영상에 대한 이진화보다는 코드만 포함된 영역에서의 이진화가 코드와 코드 주변 영역을 분리하는데 효과적이기 때문이다.
개별 분리된 문자들의 인식에는 템플릿 매칭을 사용하였다. 템플릿 매칭은 검출도구로써 영상처리에서 많이 사용하는 기법이며 유사도가 가장 높은 영역으로 선택하는 방법이다.
문자를 인식하는 방법은 템플릿 매칭 방법을 사용하였다. 템플릿 매칭 방법은 문자 인식에 가장 많이 사용되는 방법으로 유사도가 가장 높은 영역으로 선택하는 방법이다[13-15].
추출해낸 영상을 나타낸다. 이 영상을 Otsu 알고리즘을 사용한 이진화를 수행하고 그림 6과 같이 체크 번호를 제거한 최종 BIC-code를 획득한다.
카메라가 설치된 위치에 따라 얻을 수 있는 BIC-code의 영상은 기울어짐 같은 왜곡이 발생할 수 있다. 이를 해결하기 위해 호모그래피 변환을 사용한다. 호모그래피변환을 통해 기울어진 영상을 정사각형 또는 직사각형의 영상으로 보정함으로써 BIC-code의 분리, 인식에 미치는 정확도를 향상시킬 수 있다.
성능/효과
대하여 실험하였다. 513장 중 490장을 정확히 추출하고 인식하여 95.5%의 성공률 및 인식률을 보였다. 또한 제안한 알고리즘의 수행시간은 표 2에서 보는 것과 같다.
하지만 모든 BIC-code의 세로 길이는 가로길이보다 길다. 그리고 인터넷과 논문에서 제공하는 컨테이너 사진과 부산신항에서 직접 찍어 온 컨테이너 사진 527장을 분석한 결과 표 1의 특징 2~4번을 만족한다는 것을 파악했다. 이와 같은 특징을 이용하여 BIC-code외의 잡음 영역을 제거한다.
제안한 알고리즘을 수행한 시스템의 사양은 CPU : Intel i5-3570, RAM : 8G, VGA : Geforce GTX 260이다. 이와 같은 시스템에서 테스트한 513장의 영상의 수행속도는 최소 0.59초에서 최대 2.05초, 평균 수행속도는 1.37초가 소요되었다. 이처럼 제안한 전체적인 알고리즘의 수행속도는 컨테이너가 항만에 진입하기 위해 게이트에서 대기하는 시간보다 짧은 시간에 이루어지므로 실시간으로 연산을 수행할 수 있음을 보여준다.
37초가 소요되었다. 이처럼 제안한 전체적인 알고리즘의 수행속도는 컨테이너가 항만에 진입하기 위해 게이트에서 대기하는 시간보다 짧은 시간에 이루어지므로 실시간으로 연산을 수행할 수 있음을 보여준다.
0% 증가를 기록했다. 자세히는 수입화물 처리실적은 2, 569, 713TEU로 전년 동기대비 23.5%, 수출화물 처리실적은 2, 581, 087TEU로 전년 동기대비 21.9%, 환적화물 처리실적은 4, 221, 915TEU로 전년 동기대비 22.6%, 연안화물 처리실적은 48, 416TEU로 전년 동기대비 150.1% 증가했다. 또한 중국 상하이항의 컨테이너 물동량은 매년 264.
디지털 카메라로 획득한 영상은 다중 이진화를 기반으로 각 임계 값에 대한 이진화 영상을 통해 잡음 제거, 닫힘연산을 통한 BIC- code 위치 및 나열구조 파악, Otsu 알고리즘, 개별 문자추출, 문자인식을 과정을 통해 결과를 도출하였다. 특히 위치가 고정된 카메라를 사용한 것이 아니라 부산신항의 게이트를 빠르게 지나가는 컨테이너의 사진을 여러 각도로 찍은 영상을 사용하였고, 회전되어 기울어진 영상, 컨테이너의 외부의 굴곡진 부분에 의해 왜곡된 영상들이 BIC-code를 인식하기 위한 알고리즘을 거쳐 정상적으로 추출되고 인식하는 모습을 보였다. 따라서 추후에 컨테이너가 고정된 위치에 들어왔을 때 카메라를 통해 고정된 각도와 배율을 가진 영상을 통해 더욱 정확한 결과를 낼 수 있는 여지가 충분하다.
후속연구
이처럼 매년 각 항만에서 처리하는 컨테이너의 수는 급격하게 증가 하고 있다. 더욱이 해양화물은 비용이 항공화물보다 저렴해 지금도 많은 화물들이 해양으로 운송되고 있고 앞으로 더욱 많이 증가할 예정이다. 때문에 컨테이너를 처리하는 각 항만들은 증가하는 물류 량에 맞춰 신속하고 정확한 처리가 요구되고 있다.
특히 위치가 고정된 카메라를 사용한 것이 아니라 부산신항의 게이트를 빠르게 지나가는 컨테이너의 사진을 여러 각도로 찍은 영상을 사용하였고, 회전되어 기울어진 영상, 컨테이너의 외부의 굴곡진 부분에 의해 왜곡된 영상들이 BIC-code를 인식하기 위한 알고리즘을 거쳐 정상적으로 추출되고 인식하는 모습을 보였다. 따라서 추후에 컨테이너가 고정된 위치에 들어왔을 때 카메라를 통해 고정된 각도와 배율을 가진 영상을 통해 더욱 정확한 결과를 낼 수 있는 여지가 충분하다.
이런 이유로 컨테이너 외부에 부착되거나 인쇄되어있는 BIC-code의 손상이 매우 많다. 향후에는 이와 같은 이유로 손상되어 인식할 수 없는 BIC-code를 인식할 수 있는 방법을 연구할 필요성이 있다.
참고문헌 (17)
H. Lim, B. Choo, M. Bae, S. Shin, M. Yoon, Y. Kim, J. Park, "Logistics trends of east asia," Busan development institute, pp. 2-106, 2012.
http://www.boxjoin.com/bic-korean.php
Taewan Choi, “Implementation of the Container ISO Code Recognition System for Real-Time Processing”, Journal of Korea Institute of Information and Communication Engineering, vol. 10, no. 8, pp. 1478-1489, 2006.
W. Hwang and H. Ko, "Real-time Vehicle Recognition Using Local Feature Extraction,", Electronic Letter, vol. 37, no.7, 2001.
Christoph Bush, Ralf Dorner, Christian Freytag, Heike ziegler, "Feature based Recognition of Traffic video Streams for online Route Tracing," IEEE conf on Vehicle Technology Conf, pp. 1790-1794, 1999.
E. R. Lee, P. K. Kim, H. J. Kim, "Automatic recognition of a car license plate using color image processing," IEEE International Conf. on Image Proc, vol. 2,pp. 301-305, 1994.
C. Kimme, D. Ballard and J. Sklansky, "Finding circles by an array of accumulators," Commu. ACM, vol. 18, pp. 120-122, 1975.
ManHyong Lee, DaeHoon Hwang, "A study on the Container Identifier Recognition using Back-propagation Algorithm," The Institute of Electronics and Information Engineers of Korea, vol. 21, no. 1, 1998.
R. C. Gonzalez and R. E. Wood, Digital Image Processing, second edition Addison Wesley, 2002
G. A. Churchill and R. W. Doerge, "Empirical Threshold Values for Quantitative Trait Mapping," Genetics Society of America, pp. 963-971, 1994.
Nobuyuki otsu, "A Threshold Selection Method from Gray-Lavel Histograms," IEEE trans. on Systems, Man, and Cybernetics, SMC-9, no. 1, 1979.
Mark Granovetter, "Threshold Models of Collective Behavior" American Journal of Sociology, vol. 83, no.6, pp. 1420-1443, 1978.
J. P. Lewis, "Fast Template Matching," Canadian Image Processing and pattern Recognition Society, Vision Interface 95, pp. 120-123, 1995.
T. C. Terwilliger, "Automated main-chain model building by template matching and iterative fragment extension," Acta Crystallographica, Biological Crystallography, pp. 38-44, 2003.
Marc Lalonde, Mario Beaulieu, Langis Gragnon, "Fast and Robust Optic Disc Detection Using Pyramidal Decomposition and Hausdorff-Based Template Matching," IEEE Trans. on Medical Imaging, vol. 20, no. 11, 2001.
Sangwon Seo, Soowoong, Joeng, Yunsang Han, Jongsoo Choi, and Sangkeun Lee, "Efficient Homography Estimation for Panoramic Image Generation," Journal of The Institute of Electronics Engineers of Korea, vol. 50, no. 8, 2013.
Rahul Sukthankar, Robert G. Stockton, Mattew, "Homography in Camera-Projector System," Proceeding of International Conference on Computer Vision, 2001.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.