최근 도시의 도로시설물 관리에 대한 중요성이 증대됨에 따라 보다 정확한 시설물의 데이터베이스 정보가 요구되고 있다. 본 연구에서는 효율적인 도로시설물 DB 구축에 필요한 교통표지를 자동으로 검출하는 방법을 제안하였다. 검출 방법은 영상에서 특정 교통표지를 인식하여 자동으로 검출한 후 시설물의 중심위치를 찾는 순서로 진행하였다. 최종적으로 검출된 교통표지의 위치 정확도를 평가하기 위해서, 실제 측량한 좌표값과 연구를 통해 교통표지의 좌표값을 비교하였다. 교통표지 인식과 검출 과정에서는 OPEN CV를 이용한 코딩을 통해 컴퓨터 비젼 기술을 이용하였으며, 검출된 교통표지의 정확한 위치 계산은 사진측량 기술을 이용하였다. 다양한 종류의 도로표지판 중에서 원형 교통표지판(주차금지)과 삼각형 교통표지판(횡단보도)을 선택하여 진행하였다. 제안한 연구를 통해 산출된 좌표값과 실제 측량된 좌표값의 차이는 원형 교통표지판이 약 50cm, 삼각형 교통표지판이 약 60cm의 오차값으로 나타났다. 이러한 결과는 만족할 만한 결과는 아니지만 교통표지의 위치를 찾기에는 무리가 없을 것으로 판단된다.
최근 도시의 도로시설물 관리에 대한 중요성이 증대됨에 따라 보다 정확한 시설물의 데이터베이스 정보가 요구되고 있다. 본 연구에서는 효율적인 도로시설물 DB 구축에 필요한 교통표지를 자동으로 검출하는 방법을 제안하였다. 검출 방법은 영상에서 특정 교통표지를 인식하여 자동으로 검출한 후 시설물의 중심위치를 찾는 순서로 진행하였다. 최종적으로 검출된 교통표지의 위치 정확도를 평가하기 위해서, 실제 측량한 좌표값과 연구를 통해 교통표지의 좌표값을 비교하였다. 교통표지 인식과 검출 과정에서는 OPEN CV를 이용한 코딩을 통해 컴퓨터 비젼 기술을 이용하였으며, 검출된 교통표지의 정확한 위치 계산은 사진측량 기술을 이용하였다. 다양한 종류의 도로표지판 중에서 원형 교통표지판(주차금지)과 삼각형 교통표지판(횡단보도)을 선택하여 진행하였다. 제안한 연구를 통해 산출된 좌표값과 실제 측량된 좌표값의 차이는 원형 교통표지판이 약 50cm, 삼각형 교통표지판이 약 60cm의 오차값으로 나타났다. 이러한 결과는 만족할 만한 결과는 아니지만 교통표지의 위치를 찾기에는 무리가 없을 것으로 판단된다.
Recently, more accurate database information of facilities is being required, with the increase in importance of urban road facility management. Therefore, this study proposed how to automatically detect particular traffic signs necessary for efficient construction of road facility DB. For this stud...
Recently, more accurate database information of facilities is being required, with the increase in importance of urban road facility management. Therefore, this study proposed how to automatically detect particular traffic signs necessary for efficient construction of road facility DB. For this study, central locations of facilities were searched, after recognition and automatic detection of particular traffic signs through an image. Then, coordinate values of traffic signs calculated in the study were compared with real coordinate values, in order to evaluate the accuracy of traffic sign locations which were finally detected. Computer vision technology was used in recognizing and detecting traffic signs through OPEN CV-based coding, and photogrammetry was used in calculating accurate locations of detected traffic signs. For the experiment, circular road signal(No Parking) and triangular road signal(Crosswalk) were chosen out of various kinds of road signals. The research result showed that the circular road signal had a nearly 50cm error value, and the triangular road signal had a nearly 60cm error value, when comparing the calculated coordinates with the real coordinates. Though this result is not satisfactory, it is considered that there would be no problem to find locations of traffic signs.
Recently, more accurate database information of facilities is being required, with the increase in importance of urban road facility management. Therefore, this study proposed how to automatically detect particular traffic signs necessary for efficient construction of road facility DB. For this study, central locations of facilities were searched, after recognition and automatic detection of particular traffic signs through an image. Then, coordinate values of traffic signs calculated in the study were compared with real coordinate values, in order to evaluate the accuracy of traffic sign locations which were finally detected. Computer vision technology was used in recognizing and detecting traffic signs through OPEN CV-based coding, and photogrammetry was used in calculating accurate locations of detected traffic signs. For the experiment, circular road signal(No Parking) and triangular road signal(Crosswalk) were chosen out of various kinds of road signals. The research result showed that the circular road signal had a nearly 50cm error value, and the triangular road signal had a nearly 60cm error value, when comparing the calculated coordinates with the real coordinates. Though this result is not satisfactory, it is considered that there would be no problem to find locations of traffic signs.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
,(2010)은 Haar-like algorithm을 만들어 차량 주행시의 사고방지 시스템으로 사용하였다. 따라서 본 연구에서는 어떤 특징점을 가진 대상을 검출 및 추출하는데 사용되는 Haar-algorithm을 이용해 영상에서 특정 대상물을 자동으로 검출하고, 검출된 대상물의 정확한 위치를 사진측량 기술을 통해 획득하는 연구를 진행하였다.
본 연구는 도로시설물 관리를 위한 데이터베이스를 효율적으로 구축하기 위해 차량 MMS로 촬영된 영상에서 특정 도로시설물인 교통표지판을 검출한 후 위치를 계산하는 과정을 자동화하는 알고리즘을 개발하는 것이었다. 연구에서는 교통표지판 중 가장 쉽게 볼 수 있는 삼각형 모양의 횡단보도 표지판과 원형 모양의 주자금치 표지판을 선택하였다.
본 연구의 목적은 최근 증가하고 있는 스마트 시티(Smart city)나 유비쿼터스-에코시티(U-Eco city) 등과 같은 계획형 도시의 효과적인 관리를 위한 시설물 관리 시스템을 구축하는 과정에서 필요한 데이터베이스를 구축하는 방법 중 하나로서, 촬영된 서로 다른 영상으로부터 기존에 수동적인 방법에 의해 작업이 진행되었던 공액점 식별 과정을 영상정합 기술을 통한 자동 검출을 제안함으로써 도로시설물인 교통표지의 DB 구축의 효율성을 높이는 것이다.
제안 방법
원형 교통표지판과 삼각형 교통표지판 각 각 30장의 영상을 대상으로 알고리즘이 적용되었고, 적용된 알고리즘의 좌표값와 실제 GPS측량을 통해 얻은 좌표값의 차이를 계산하였다. Fig.
위의 실험을 통해 개발 알고리즘의 정상적인 구동을 확인하고, 실험 당시 트레이닝 시켰던 얼굴영상 대신 본 연구에서 검출대상물로 정한 교통표지판을 새롭게 트레이닝 시켜 알고리즘을 완성하였다. 실험대상인 교통표지판은 개체수가 많고 특징점이 두드러지는 두 종류를 선택하여 실험되었다.
이렇게 코딩한 알고리즘은 얼굴검출 인식을 통한 실험으로 그 기능을 확인하였다. 최조의 알고리즘 실험에서 Positive image group은 100장의 영상, Negative image group은 300장의 영상을 트레이닝 시킨 후 진행되었다.
이후 GPS/INS 통합기술로 계산한 측량센서들의 표정정보(위치와 자세 정보)와 측량센서들을 이용하여 수집한 영상정보로부터 차량 주변에 위치한 지형·지물들의 위치정보, 형상정보 및 속성정보를 획득한다.
조립한 차량 MMS의 촬영을 통해 획득 된 영상들을 개발한 알고리즘에 적용하였다. 원형 표지판의 경우 Δn값과 Δe값의 최소제곱근 오차가 모두 60cm 이하의 결과값이 나왔고, 삼각형 표지판의 경우 Δn값과 Δe값의 최소제곱근 오차가 각각 60cm와 73cm의 결과값이 나왔다.
카메라 캘리브레이션 과정을 거친 CCD 카메라 Grass hopper 모델이 장착된 차량 MMS을 통해 촬영된 영상들을 본 연구에서 제안하는 자동 검출 알고리즘에 적용하였다. 촬영된 영상들 중 본 연구에서 대상물로 결정했던 원형 도로표지판(주차금지)과 삼각형 도로표지판(횡단보도)이 포함된 영상만을 대상으로 실험하였다.
카메라 캘리브레이션은 여러 가지 방법으로 수행할 수 있는데, 본 연구에서는 Fig. 5와 같이 3차원 좌표를 가지고 있는 많은 수의 타겟(target)들로 구성한 캘리브레이션 필드를 카메라로 촬영하고 타겟의 영상좌표와 3차원 절대좌표를 이용하여 각각의 내부표정 파라미터 값을 추정하는 방법을 사용하였다. 파라미터 값들의 추정 정확도는 디지털 카메라를 이용한 근접사진측량의 정확도에 많은 영향을 미치기 때문에 카메라 켈리브레이션은 매우 정밀한 과정을 통해 수행되어야 하는 중요한 작업이다.
탑재체인 차량에 장착된 위치 측정 센서(GPS/INS)와 지형·지물 측량센서(디지털 카메라, 레이저 스캐너)를 사용하여 정보를 획득하고, 획득된 정보를 GPS/INS 통합기술을 이용해 차량에 탑재한 지형·지물 측량센서들의 위치와 자세를 수 밀리 초(millisecond, ms) 수준의 간격으로 결정해 준다.
대상 데이터
3과 같이 총 16 종류의 얼굴 중 10개의 얼굴만 찾아내었다. 검출율 향상을 위해 Positive image와 Negative image는 총 5차례에 거쳐 업데이트를 진행하였고, 최종 실험에서 Positive image는 860장, Negative image는 2700장의 영상으로 트레이닝 시켰다.
최조의 알고리즘 실험에서 Positive image group은 100장의 영상, Negative image group은 300장의 영상을 트레이닝 시킨 후 진행되었다. 그 결과 Fig. 3과 같이 총 16 종류의 얼굴 중 10개의 얼굴만 찾아내었다. 검출율 향상을 위해 Positive image와 Negative image는 총 5차례에 거쳐 업데이트를 진행하였고, 최종 실험에서 Positive image는 860장, Negative image는 2700장의 영상으로 트레이닝 시켰다.
위의 실험을 통해 개발 알고리즘의 정상적인 구동을 확인하고, 실험 당시 트레이닝 시켰던 얼굴영상 대신 본 연구에서 검출대상물로 정한 교통표지판을 새롭게 트레이닝 시켜 알고리즘을 완성하였다. 실험대상인 교통표지판은 개체수가 많고 특징점이 두드러지는 두 종류를 선택하여 실험되었다.
본 연구는 도로시설물 관리를 위한 데이터베이스를 효율적으로 구축하기 위해 차량 MMS로 촬영된 영상에서 특정 도로시설물인 교통표지판을 검출한 후 위치를 계산하는 과정을 자동화하는 알고리즘을 개발하는 것이었다. 연구에서는 교통표지판 중 가장 쉽게 볼 수 있는 삼각형 모양의 횡단보도 표지판과 원형 모양의 주자금치 표지판을 선택하였다.
완성시킨 알고리즘에 적용하기 위한 위치 정보를 포함한 영상은 차량 MMS(Mobile Mapping System)를 통하여 획득하였다. MMS란, 국가지형정보와 국가시설물정보 데이터베이스를 구축, 유지, 관리하기 위해 요구되는 기존 측량 방법과 대비하여 비용 및 시간 면에서 효율성을 높이고 향후 활용성을 높이기 위한 첨단정보 시스템이다.
카메라 캘리브레이션 과정을 거친 CCD 카메라 Grass hopper 모델이 장착된 차량 MMS을 통해 촬영된 영상들을 본 연구에서 제안하는 자동 검출 알고리즘에 적용하였다. 촬영된 영상들 중 본 연구에서 대상물로 결정했던 원형 도로표지판(주차금지)과 삼각형 도로표지판(횡단보도)이 포함된 영상만을 대상으로 실험하였다.
CCD 카메라는 POINT GREY 사(社)의 Grass hopper 모델을 사용하였고, GPS는 Leica Geosystems의 AX1203 안테나와 GX1220 수신기를 사용하였으며, INS는 iMar 사(社)의 iNAV-FMSE 모델을 사용하였다. 촬영지역은 상암 DMC 지역이었으며, 촬영은 총 2일간 3시간 씩 진행되었다. 차량 MMS로 촬영된 지형·지물의 3차원 위치는 다수개의 디지털카메라를 이용하여 대상체를 중복 촬영하고, 촬영된 각 영상에 위치한 지형·지물의 동일지점에 대한 영상좌표와 디지털카메라들의 내·외부표정요소를 이용하여 결정된다.
이렇게 코딩한 알고리즘은 얼굴검출 인식을 통한 실험으로 그 기능을 확인하였다. 최조의 알고리즘 실험에서 Positive image group은 100장의 영상, Negative image group은 300장의 영상을 트레이닝 시킨 후 진행되었다. 그 결과 Fig.
이론/모형
4와 같이 차량 MMS는 동일한 사양을 가진 2대의 CCD 카메라와 INS를 SUV 차량에 장착하여 완성되었다. CCD 카메라는 POINT GREY 사(社)의 Grass hopper 모델을 사용하였고, GPS는 Leica Geosystems의 AX1203 안테나와 GX1220 수신기를 사용하였으며, INS는 iMar 사(社)의 iNAV-FMSE 모델을 사용하였다. 촬영지역은 상암 DMC 지역이었으며, 촬영은 총 2일간 3시간 씩 진행되었다.
본 연구에서 제안한 자동 검출 알고르즘을 구축하기 위하여 가장 먼저 기본이 되는 Haar-like algorithm을 코딩하였다. Haar-like algorithm은 전형적인 얼굴인식 및 검출 학습 알고리즘으로 얼굴인식 분야에서 빠른 트레이닝 시간과 검출속도 때문에 널리 사용되고 있는 알고리즘이다.
Negative image group과 Positive image group의 양과 비율에 따라 트레이닝의 완성도가 결정되고, 트레이닝의 완성도는 결국 알고리즘의 성능에 결정적인 역할을 하게 된다. 본 연구에서는 Haar-algorithm의 검출능력 향상을 위해 AdaBoost-algorithm과 병행하여 사용하였다.
그러나 AdaBoost-algorithm을 이용하여 생성된 계층적 분류기는 앞쪽 부분에 간단하면서도 검출대상을 가장 잘 검출할 수 있는 특징값들을 배치하고 뒤쪽 부분에 잘못 검출된 것들을 배치 후 제거하는 형식으로 구성되어 있다. 이러한 AdaBoost의 장점을 고려하여 특정 대상물을 검출하고자 본 연구에서는 Haar-algorithm과 AdaBoost-algorithm을 병행하여 사용하였다.
성능/효과
원형 표지판의 경우 Δn값과 Δe값의 최소제곱근 오차가 모두 60cm 이하의 결과값이 나왔고, 삼각형 표지판의 경우 Δn값과 Δe값의 최소제곱근 오차가 각각 60cm와 73cm의 결과값이 나왔다.
최초 실험에서 10 개의 얼굴을 찾아낸 것과 비교하였을 때 검출률 향상을 확인할 수 있었으며, 검출 시간은 882.820ms가 걸렸다.
후속연구
또한 알고리즘 평가시 좋지 않은 검출율을 보였던 흐린 날씨의 환경이나 어두운 밤 시간대의 영상에 대해서도 검출이 향상 되어야 하며, 대상물의 각도에 따른 검출률 차이도 개선해야 하는 문제이다. 나아가 단사진 영상을 적용하기보다는 촬영 동영상에 적용하는 것이 필요할 것으로 사료된다.
본 연구를 실용화하기 위해서는 선택적인 검출이 아닌, 모든 영상들에 대한 검출이 진행되어 최종 검출률이 100%에 가까운 수치를 보여야 할 것으로 생각된다. 또한 알고리즘 평가시 좋지 않은 검출율을 보였던 흐린 날씨의 환경이나 어두운 밤 시간대의 영상에 대해서도 검출이 향상 되어야 하며, 대상물의 각도에 따른 검출률 차이도 개선해야 하는 문제이다.
질의응답
핵심어
질문
논문에서 추출한 답변
지리정보체계를 통해 어떤 정보를 효율적으로 관리하는가?
21세기 정보화 사회에 접어들면서 국토계획, 토지이용계획, 시설물 관리 등 국토와 관련된 정보를 효율적으로 관리하기 위한 지리정보체계(GIS)의 중요성이 높아지고 있다. 특히 카메라의 영상을 이용하여 각종 도로시설물에 대한 정보를 취득하고, 이를 지리정보체계의 자료기반으로 활용하기 위한 연구가 꾸준히 진행되어 왔다.
사진측량 작업은 어떤 과정을 통해 진행되는가?
사진측량 작업은 전통적으로 필름형태의 사진자료를 사용하여 단사진에 의한 1차원(거리 또는 높이), 2차원(x,y), 중복사진에 의한 3차원(x,y,z) 및 4차원(x,y,z,t)으로 제점간의 위치를 해석하는 과정을 통해 진행된다. 가장 기본적인 처리과정은 2장의 사진 상에서 공액점을 찾아 관측하는 것으로, 주로 수동적인 방법이 사용되어 왔으나 최근 컴퓨터의 발달과 더불어 영상정합(Image matching) 기술이 발전하면서 공액점을 식별하는 과정을 자동화하기 위한 노력이 계속되고 있다(Jeong, 2000).
Haar-like algorithm의 검출방법은 어떠한가?
검출 방법은 픽셀을 이용한 연산이 아닌, 픽셀의 특징(Feature value)을 이용하여 해당영역 안에 있는 픽셀들의 값을 더해 영역합을 구하고 그 값들에 가중치를 곱한 합만을 계산한다는 것으로 동영상에서의 얼굴 검출 등에도 용이하게 쓰일 수 있다. 이러한 특징값은 Fig.
참고문헌 (18)
Asakura, T. and Aoyagi, Y., 1994, Image recognition of traffic speed marks using neural networks, JSME Trans., Vol.61, No.589, pp.206-212.
Auranuch Lorsakul and Jackrit Suthakorn, 2007, Traffic sign recognition for intelligent vehicle/driver assistance system using neural network on OpenCV, the 4th International Conference on Ubiquitous Robots and Ambient Intelligence (URAI 2007).
C. Kotropoulos and I. Pitas, 1997, Rule-based face detection in frontal views, Proc Int'l Conf. Acoustics, Signal Processing, Vol.4, pp.2537-3541.
Choi, M. S., Lee, J. H., Suk, J. H., Roh, T. M. and Shim, J. C., 2010, Vehicle detection based on the Haar-like feature and image segmentation, Journal of Korea Multimedia Society, Vol.13, No.9, pp.1314-1321.
Di Zenzo, S., 1986, A note on the gradient of a multi image, Vol.33, pp.116-125.
Jeong, M. H., 2000, Blunder detection by matching strength measurement in digital photogrammetry, Master's thesis, Sungkyunkwan University.
Jeong, D. H., Kim, B. K. and Kim, J. H., 2002, Development of car MMS S/W for road facilities DB construction, Korea Spatial Information Society. Proceedings of the '2002 Autumn Meeting, pp.89-93.
Kim, D. H., Im J. H., Kim, D. H., Kim T. K. and Paik, J. K., 2009, Face detection and tracking using skin color information and Haar-like features in real-time video, Korean HCI Society, HCI 2009 Congress, pp.146-149.
Min, J. H., Lee, W. C. and Hong, K. C., 2004, Face detection ＆ amp; Identification system using Haar-like feature/HMM, Korean Institute of Information Scientists and Engineers, Proceedings of the 2004 Autumn Meeting, Vol.31, No.2, pp. 739-741.
Paul R. Wolf and Bon A. Dewitt, 2000, Elements of photogrammetry : with application in GIS. McGraw- Hill Inc.
Park, S. H., Cho, D. H. and Park, K. R., 2008, A study on eye detection using AdaBoost for iris recognition in mobile environments, The Institute of Electronics Engineers of Korea, Vol.45 CI No.4, pp.1-11.
Park, C. H. and Namkung, J. C., 2005, Comparison of recognition rate with distance on stereo face images base PCA, Journal of Semiconductor Technology and Science, Vol.42, SP-1-1, pp.9-16.
R. Lienhart and A. Wemicke, 2002, Localizing and segmenting text in images and videos, IEEE Trans. Circuits Syst. Video Technol, Vol.12, No.4, pp. 256-269.
Samaria, F., 1994, Face recognition using hidden markov models, Ph.D. dissertation, University of Cambridge.
Shin, M. C., 2006, Traffic sign recognition using color information and neural networks, Master's thesis, Inha University.
Viola, P., and Jones, M., 2001, Rapid object detection using a Boosted cascade of simple features, IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Vol.1, pp.511-518.
Yoo, B. et. al., 2000, The Development of real-time photogrammetric system using digital photogrammetry and GPS, Korea Institute of Construction Technology.
Yoon, C. Y., Jang, S. Y. and Park, M. G., 2009, Real-time road sign detection using vertical plane and AdaBoost, The Institute of Electronics Engineers of Korea, Vol.46, SC-5-5, pp.29-37.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.