[논문]4단 7열 LED 사이니지 전면부 설치형 카메라기반 불량 LED 소자 검출 Vision 기술에 관한 연구

박영기; 임상일; 조익현; 차재상

doi:10.9717/kmms.2020.23.11.1383

4단 7열 LED 사이니지 전면부 설치형 카메라기반 불량 LED 소자 검출 Vision 기술에 관한 연구
A Study of the Defect Detection Method of Vision Technology via Camera Image Analysis on 4-col 7-row LED Screen Module 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.23 no.11, 2020년, pp.1383 - 1387

박영기 (Graduate School of Nano IT Design Fusion, Seoul National University of Science & Technology) , 임상일 (Graduate School of Nano IT Design Fusion, Seoul National University of Science & Technology) , 조익현 (Signtelecom Co.) , 차재상 (Dept. of Electronics & IT Media Eng., Seoul National University of Science and Technology)

Abstract ▼ AI-Helper

Recently, a 4-col 7-row LED Screen that provides various information of major roads and local governments has been installed and operated. However, due to deterioration due to changes in temperature and humidity, deterioration due to static electricity, and mechanical stress, partial module failure of the display may occur, which is a major cause of missing information of vitally given to citizens. However, there have been frequent cases where the 4-col and 7-row LED Screen that have failed due to reasons such as installed location where the signboards are installed on the road and outdoor, the lack of monitoring means at all times, and the lack of manpower is often neglected for a long time. Following this flow, this paper proposes a method to detect defective modules by analyzing the images collected through the camera fixed to the front part of the LED display.

주제어

표/그림 (9)

그림 Fig. 1. Algorithm Flow Chart.
그림 Fig. 2. Before Undistortion.
그림 Fig. 3. After Undistortion.
그림 Fig. 4. Checking Area Extraction.
그림 Fig. 5. Flow Chart of Checking Error Module.
그림 Fig. 6. Red Image.
그림 Fig. 7. Green Image.
그림 Fig. 8. Blue Image.
표 Table 1. Error Module Check Result

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 4단 7열 LED 디지털 사이니지의 표출부를 촬영한 영상을 기반으로 불량 화소를 검출하는 Vision 응용 기술을 제시하였다. 본 기술을 활용하여 주기적으로 표출부를 검사하여 운영 인력의 육안 확인을 대체함으로써 운영의 편의를 도모할 수 있을 것으로 기대된다.
본 장에서는 LED 디지털 사이니지의 전면부에 고정된 카메라를 통해 수집되는 영상을 분석하여 불량 화소를 검출할 수 있는 방안을 제시한다. 아래의 Fig.
컨트롤러가 주기적으로 에러를 검사하는 방식으로 드라이버 IC 특성상 전압이나 전류, 열등에 민감하여 정확도가 떨어지고 특정 드라이버 IC와 전광판 제조 사의 프로그램에서 또한 많은 오류가 있는 문제점들이 있다. 이에 본 논문에서는 기존의 모듈 제조사에서 제공하는 하드웨어에 의존하지 않고 모든 LED 디스플레이에 적용이 가능한 카메라 영상 분석 기반의 LED 전광판 불량 모듈 검출 방법을 제안한다.
이에 본 논문에서는 상기 문제점을 해결할 수 있는 개선 방안을 연구하기 위해 4단 7열 디지털 사이니지 전면부에 카메라를 설치하여 디지털 사이니지의 화면 영상을 분석하여 불량 화소를 검출하는 Vision 응용 기술을 을 제시하고자 한다.

제안 방법

또한, 디스플레이의 전면부에 카메라를 설치하여 전면부 영상의 취득이 가능한 환경의 디지털 사이니지 크기의 시료를 준비하였다. LED 디지털 사이니지 디스플레이의 임의의 정상 표출부에 준비된 불량 시료를 위치와 개수를 무작위로 부착하고 불량 화소의 검출 알고리즘을 실행하여 정상 동작 여부를 판단하였다.
불량 모듈 영역의 검출은 영상의 이진화, 검지 영역 분할, 불량 여부 판단 세 단계로 구성되어 있다. 가장 먼저 입력된 영상에서 정상적으로 빛을 표출하는 모듈과 빛을 표출하지 못하는 모듈을 구분하기 위해 밝기 값을 이용하여 영상을 이진화한다. 그 후, 디스플레이의 모듈 구성에 맞게 검지 영역을 분할한다.
본 기술을 활용하여 주기적으로 표출부를 검사하여 운영 인력의 육안 확인을 대체함으로써 운영의 편의를 도모할 수 있을 것으로 기대된다. 각 LED 디지털 사이니지의 제조사에서 제공하는 제한적인 화소의 불량 감시 기능을 일반적인 검증된 영상처리 알고리즘들을 활용하여, LED 디지털 사이니지의 불량 화소 검출 기능을 적용할 수 있는 방안을 실험을 통해 검증하였다. 카메라의 영상에서 LED 디지털 사이니지의 표출부를 정규화하고, 정규화된 이미지를 일정 영역 단위로 분리하여 각 영역의 밝기값을 계산, 임계값을 적용하여 LED 화소의 불량 여부를 판단하였다.
카메라를 통해 수집되는 영상에서 검지 영역 부분을 추출하여 평면화 작업을 수행하고 사전에 정의된 모듈의 배치에 따라 모듈의 영역을 구분한다. 그 후, 평면화된 영상을 이진화하여 각 모듈 내의 밝기값을 산출하고 임계값을 적용하여 정상적으로 작동하지 않는 모듈을 검출한다.
그 후, 디스플레이의 모듈 구성에 맞게 검지 영역을 분할한다. 마지막으로 각 영역별 평균 밝기 값을 이용하여 불량 여부를 판단한다.
먼저 디스플레이 화면을 제어하고 불량 모듈 검지 알고리즘의 결과를 확인하기 위해 별도의 프로그램을 제작하였다. 해당 프로그램은 LED 디스플레이의 색상 표출을 제어할 수 있으며, 각각의 표출 색상 값에 대한 불량 모듈 검출 알고리즘의 수행 결과를 모듈별로 디스플레이 하도록 구성되었다.
불량 모듈의 판단은 앞선 이진화된 이미지를 이용하여 이루어진다. 먼저 이진화된 이미지에서 사전에 설정된 디스플레이의 가로, 세로 모듈의 개수를 기반으로 각 모듈의 영역을 분할한다. 그 후, 분할된 각 영역에 대해 평균 밝기값을 구한다.
두 번째, 접선 왜곡의 경우 카메라의 제조 과정에서 카메라 렌즈와 이미지 센서의 수평이 맞지 않거나 렌즈 자체의 중심이 맞지 않아 발생하는 왜곡으로, 주로 타원형의 형태로 왜곡이 발생한다. 본 논문에서는 상기 카메라 교정 작업을 통해 얻은 카메라 내/외부 파라미터 값과 Ma의 알고리즘을 이용하여 카메라의 왜곡을 보정 하였으며, 결과는 아래의 Fig. 2, Fig. 3과 같다 [8].
이러한 요인들로 인해 발생하는 영상의 왜곡 보정 작업에 필요한 왜곡계수를 구하기 위해 카메라의 내부 파라미터를 구해야 한다. 본 논문에서는 캘리브레이션 패턴(Chess Board)이 인쇄된 종이를 다양한 위치 및 각도에서 카메라로 촬영한 후, Zhang의 카메라 교정 방법을 활용하여 카메라의 내/외부 파라미터 값을 계산하였다 [7].
검지 영역의 설정은 디스플레이 평면의 각 모서리네 점을 이용하여 설정한다. 설정된 네 점은 사전에 설정된 크기의 직사각형으로 평면화하여 정규화된 이미지를 이용하여 불량 모듈의 영역을 검출한다. 본 논문에서는 4단 7열 디스플레이의 규격에 알맞게 가로 700 화소, 세로 400 화소의 이미지로 정규화를 수행하였으며 정규화된 이미지는 아래의 Fig.
이 장에서는 4단 7열 LED 사이니지의 전면부에 고정된 카메라를 통해 수집되는 영상을 분석하여 불량 모듈을 검출하는 Vision 응용 기술의 각 단계의 구현 결과와 불량 화소 검지율에 대한 실험 결과를 제시한다. 실험은 세로 4단, 가로 7열의 디스플레이를 활용하여 수행하였으며 일반적인 웹 카메라를 이용하여 영상을 취득하였다.
1은 제안하는 알고리즘의 전체적인 구성을 나타낸 흐름도이다. 제안하는 알고리즘은 가장 먼저 영상을 입력받아, 전광판 내부에서 모듈의 정확한 위치 파악을 위해 카메라 렌즈의 왜곡을 제거하고 검지 영역을 설정한다. 카메라를 통해 수집되는 영상에서 검지 영역 부분을 추출하여 평면화 작업을 수행하고 사전에 정의된 모듈의 배치에 따라 모듈의 영역을 구분한다.
제안하는 알고리즘은 가장 먼저 영상을 입력받아, 전광판 내부에서 모듈의 정확한 위치 파악을 위해 카메라 렌즈의 왜곡을 제거하고 검지 영역을 설정한다. 카메라를 통해 수집되는 영상에서 검지 영역 부분을 추출하여 평면화 작업을 수행하고 사전에 정의된 모듈의 배치에 따라 모듈의 영역을 구분한다. 그 후, 평면화된 영상을 이진화하여 각 모듈 내의 밝기값을 산출하고 임계값을 적용하여 정상적으로 작동하지 않는 모듈을 검출한다.
각 LED 디지털 사이니지의 제조사에서 제공하는 제한적인 화소의 불량 감시 기능을 일반적인 검증된 영상처리 알고리즘들을 활용하여, LED 디지털 사이니지의 불량 화소 검출 기능을 적용할 수 있는 방안을 실험을 통해 검증하였다. 카메라의 영상에서 LED 디지털 사이니지의 표출부를 정규화하고, 정규화된 이미지를 일정 영역 단위로 분리하여 각 영역의 밝기값을 계산, 임계값을 적용하여 LED 화소의 불량 여부를 판단하였다. 하지만 불량 여부를 판단하기 위해 모든 LED 디지털 사이니지에 동일한 색상을 표출하는 특수한 시험 환경을 갖추어야 작동한다는 한계가 있었다.
먼저 디스플레이 화면을 제어하고 불량 모듈 검지 알고리즘의 결과를 확인하기 위해 별도의 프로그램을 제작하였다. 해당 프로그램은 LED 디스플레이의 색상 표출을 제어할 수 있으며, 각각의 표출 색상 값에 대한 불량 모듈 검출 알고리즘의 수행 결과를 모듈별로 디스플레이 하도록 구성되었다. Fig.

대상 데이터

8은 각각 적색, 녹색, 청색의 화면에 대한 실제 환경 구성 예시이다. 또한, 디스플레이의 전면부에 카메라를 설치하여 전면부 영상의 취득이 가능한 환경의 디지털 사이니지 크기의 시료를 준비하였다. LED 디지털 사이니지 디스플레이의 임의의 정상 표출부에 준비된 불량 시료를 위치와 개수를 무작위로 부착하고 불량 화소의 검출 알고리즘을 실행하여 정상 동작 여부를 판단하였다.
설정된 네 점은 사전에 설정된 크기의 직사각형으로 평면화하여 정규화된 이미지를 이용하여 불량 모듈의 영역을 검출한다. 본 논문에서는 4단 7열 디스플레이의 규격에 알맞게 가로 700 화소, 세로 400 화소의 이미지로 정규화를 수행하였으며 정규화된 이미지는 아래의 Fig. 4에 나타난 것과 같다.
이 장에서는 4단 7열 LED 사이니지의 전면부에 고정된 카메라를 통해 수집되는 영상을 분석하여 불량 모듈을 검출하는 Vision 응용 기술의 각 단계의 구현 결과와 불량 화소 검지율에 대한 실험 결과를 제시한다. 실험은 세로 4단, 가로 7열의 디스플레이를 활용하여 수행하였으며 일반적인 웹 카메라를 이용하여 영상을 취득하였다.

데이터처리

먼저 이진화된 이미지에서 사전에 설정된 디스플레이의 가로, 세로 모듈의 개수를 기반으로 각 모듈의 영역을 분할한다. 그 후, 분할된 각 영역에 대해 평균 밝기값을 구한다. 계산된 밝기값이 사전에 설정된 임계값보다 작은 경우, 해당 모듈을 불량 모듈로 판단한다.

이론/모형

해당 이진화 방법의 경우, 디스플레이가 설치되는 환경이나 대기의 상태, 모듈의 조도 등 다양한 요인들로 인해 모든 상황에서 강건하게 작동하는 임계값을 설정하기에 어려움이 있다. 이러한 문제를 해결하기 위해 임계값을 환경에 따라 적절하게 자동으로 설정할 수 있는 방법이 고안 되었는데, 본 논문에서는 영상 전역의 히스토그램을 추출하고, 중간값을 임계값으로 이용하여 이진화를 수행하는 Otsu의 알고리즘을 적용하였다[9].

성능/효과

총 98회 실험을 반복하였으며 실험 결과는 아래의 Table 1과 같다. 적색 화소에 대해 31번, 녹색 화소에 대해 33번, 청색 화소에 대해 34번, 총 98번의 실험을 수행한 결과 모든 실험 데이터에서 정상적으로 불량 화소를 검지할 수 있음을 확인하였다.

후속연구

본 논문에서는 4단 7열 LED 디지털 사이니지의 표출부를 촬영한 영상을 기반으로 불량 화소를 검출하는 Vision 응용 기술을 제시하였다. 본 기술을 활용하여 주기적으로 표출부를 검사하여 운영 인력의 육안 확인을 대체함으로써 운영의 편의를 도모할 수 있을 것으로 기대된다. 각 LED 디지털 사이니지의 제조사에서 제공하는 제한적인 화소의 불량 감시 기능을 일반적인 검증된 영상처리 알고리즘들을 활용하여, LED 디지털 사이니지의 불량 화소 검출 기능을 적용할 수 있는 방안을 실험을 통해 검증하였다.
하지만 불량 여부를 판단하기 위해 모든 LED 디지털 사이니지에 동일한 색상을 표출하는 특수한 시험 환경을 갖추어야 작동한다는 한계가 있었다. 이러한 한계로 인하여 이미 설치되어 운영 중인 LED 디지털 사이니지에 적용하는 경우, 특정 시점에 불량 화소 검출 기능을 따로 작동시켜야 하는 불편함이 발생하는데 이러한 문제를 해결하기 위하여 LED 디지털 사이니지에 표출되는 원본 영상과 카메라로 촬영된 영상과 비교하는 방법에 대한 연구가 필요할 것으로 사료된다.

참고문헌 (9)

H.J. Lee, "A Study of the Digital Signage Cases with Mixed Elements," Archives of Design Research, Vol. 24, No. 3, pp. 153-164, 2011.
K. Ro, H.Y. Hwang, and S.C. Kim "A Research on Personalized Mobile Advertising Service Using the Linkage Between Digital Signage and Smartphones," The Institute of Internet, Broadcasting and Communication, Vol. 14, No. 1, pp. 139-146, 2014.
E.S. Lee and M.K. Park, "Design and Implementation of the Digital Signage System Enabled Customized Services using the SaaS Method," Journal of Korea Multimedia Society, Vol. 17, No. 3, pp.364-372, 2014

원문보기 상세보기
S.M. Lim, S.W. Hong, and D.H. Kwon, "Digital Signage Quality Certification Test Status," The Korean Institute of Communications and Information Sciences, Vol. 36 No. 5, pp. 24-30, 2019.
M.Y. Bhin, J.B. Moon, and K.C. Park, A Study on Operating Criteria of VMS (Variable Message Signs) in Gyeonggi-Do, Public Policy Research, 2014.
L. Svilainis and V. Dumbrava, "LED Forward Current Errors Induced in Video Display Tile's PCB," Proceedings of the ITI 2009 31st International Conference on Information Technology Interfaces, pp. 565-570, 2009.
Z. Zhengyou, "A Flexible New Technique for Camera Calibration," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 11, pp. 1330-1334, 2000.

상세보기
L. Ma, Y.Q. Chen, and K.L. Moore, "Flexible Camera Calibration Using a New Analytical Radial Undistortion Formula with App Lication to Mobile Robot Localization," Proceedings of the 2003 IEEE International Symposium on Intelligent Control, pp. 799-804, 2003.
N. Otsu, "A Threshold Selection Method from Graylevel Histograms," IEEE Transactions on Systems, Man and Cybernetics, Vol. 9, No. 1, pp. 62-66, 1979.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증