선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 문제 해결을 위하여 본 논문에서는 다양한 Image processing 기술을 활용하여 위험한 지역에서 이루어 지는 작업을 실시간 촬영되는 CCTV 의 영상분석에 활용하여 작업자의 인적 요인을 감지하여 작업사고나 위험한 상황을 예방하고자 관련된 시스템을 구축한 사례를 다루고자 한다.
- 본 논문에서는 세계적 규모의 디스플레이 제조 사업장에 2014년 1월부터 개발하여 사업장 내 작업 위험 지역을 대상으로 설치된 지능형 CCTV 영상분석 시스템 구축에 대한 방법과 결과를 다루고자 한다. 작업 위험 지역인 케미컬룸이나 개스룸, 폐액룸에 설치된 CCTV로부터 취득된 영상을 실시간 지능형 영상분석 을 사용하여 작업자의 달리기나 쓰러짐 등 작업 안전 사고가 발생하거나, 방독면 미착용, 또는 규정된 보호구를 착용하지 않았을 경우, 알람을 발생시켜 모니터 요원이 방송으로 이를 통제할 수 있도록 구성하였다.
- 본 논문에서는 안전작업 위험상황에 대응하기 위한 CCTV 영상분석 시스템 구축에 대한 구성 방법에 대해 논하고 제시한 다양한 알고리즘을 활용하여 위험한 지역에서 작업자의 동작이나 주변 상황 요인을 감지하여 안전사고나 위험한 상황을 예방하고자 구축된 시스템이 유효하게 작용하였음을 확인하였다.
제안 방법
- Chemical 작업장에서 사용하는 드럼통의 경우 기울 이거나 드럼통을 세게 미는 등 위험한 작업 행동 시 경보가 발생하도록 구성하였다. 드럼통의 경우, 보는 각도에 따라 다양한 모습으로 변화하기 때문에 드럼통 인지 여부를 확인하기 어렵다.
- 개발된 알고리즘을 사용하여 작업자 위험 상황(달리기, 쓰러짐) 및 위험 행동(드럼통 굴리기, 밀어던지기), 보호구 착용 규정 준수 여부(방독면 미착용, 보호구 혼합 착용)에 대한 감지 여부를 Chemical room 및 Gas room 현장에 적용하였다.
- 얼굴로 판단되었을 경우, 얼굴 영 역에 대해 Equalized Intensity 이미지와 Edge 정보 특징을 추출하고 각 특징에 대해 Posterior probability를 Decision Tree를 사용하여 계산하였다. 계산 결과, 방독면을 착용하지 않은 맨 얼굴일 확률값 이 50% 이상일 경우 방독면 미착용으로 판단하고 알람 대상 보호구인지 여부를 최종 확인 후 알람을 발생 하도록 구성하였다. 알람 대상 보호구 색상은 안전보호 구 표준에 의해 Chemical 작업장에서는 노란색 전신방 화복일 경우[Fig.
- 이는 드럼통이 넘어지거나 다른 시설 물에 부딪혀 파손될 경우 매우 위험한 상황을 야기하기 때문에 금지되어야 하는 행동이다. 드럼통을 밀어 던지는 행동을 감지하기 위해 드럼통이 움직일 경우, 작업자와 분리되어 있는지 검출하고 작업자 없이 움직일 경우 경보를 발생하도록 구성하였다[Fig. 19].
- 작업자가 달리는 상황과 쓰러지는 상황이 발생하였 을 때 이를 위험 상황이라고 감지하여 경보를 발생하 게 하고 CCTV 모니터링 화면에 해당 상황 영상을 경고 영상으로 팝업 처리하여 모니터 요원이 즉각 상황 을 인지할 수 있도록 하였다. 또한 케미컬룸이나 개스룸 등 위험지역에서 작업 시 방독면을 쓰지 않거나 적 합한 보호구를 착용하지 않았을 경우에도 이를 감지하는 알고리즘을 개발하였으며, 화학물질 저장/운반용으로 사용되는 드럼통을 기울이거나 작업자 없이 밀어버 리는 상황도 감지하여 해당 상황 발생 시에도 이를 실시간 감지한 시스템을 통하여 모니터 요원이 현장을 방송으로 즉각 제어하거나 현장에 출동할 수 있는 시스템을 구축하였다.
- 레이블만으로 매칭 스코어를 계산하면 레이블이 겹치는 경우 처리가 어렵기 때문에 각 레이블의 컬러 히 스토그램을 기반으로 각각의 매칭 스코어를 계산하여 정확도를 높였다.
- 위험지역 작업 구역별로 보호구 색상에 따라 방독면을 착용해야 하는 작업 규정이 있으며 해당 상황에서 방독면을 착용하지 않았을 경우, 알람을 발생하도록 구성하였다. 방독면 착용 여 부에 대한 결정은 얼굴 특징을 Random Forest에 적 용하여 판단하였으며, 이를 보호구 색상에 대한 판단과 조합하여 최종 알람 여부를 결정하였다[Fig. 16].
- 드럼통의 경우, 보는 각도에 따라 다양한 모습으로 변화하기 때문에 드럼통 인지 여부를 확인하기 어렵다. 보다 드럼통을 쉽게 인 식하기 위하여 노란색 띠를 표준화하여 부착하여 드럼 의 Edge와 조합하여 드럼통 여부를 인식하였다. 색상 및 Edge로부터 Feature Pyramid Image를 생성하고 얼굴 검출과 동일한 방식으로 Cascade로 구성된 Adaboost로 드럼통 여부를 판단하였다.
- 보다 드럼통을 쉽게 인 식하기 위하여 노란색 띠를 표준화하여 부착하여 드럼 의 Edge와 조합하여 드럼통 여부를 인식하였다. 색상 및 Edge로부터 Feature Pyramid Image를 생성하고 얼굴 검출과 동일한 방식으로 Cascade로 구성된 Adaboost로 드럼통 여부를 판단하였다. 드럼통의 기울 임을 감지하기 위하여 노란색 띠 영역의 기울기를 계 산하고 계산된 각도가 일정 수준 이상일 경우 기울임 경보를 발생하였다[Fig.
- 서로 다른 색상으로 판단된 레이블이 존재하거나, 서로 다른 색상의 보호구가 함께 있는 레이블이 존재하는 프레임이 특정 수 이상 연속될 경우 이종복장으로 판단하여 알람이 발생하도록 구성하였다[Fig. 15].
- 우선 영상 이미지에서 사람을 추적하고 Cascade 로 구성된 Adaboost로 얼굴을 검출하였는데 N개의 각 Stage에서 얼굴이 아닌 영역은 Reject하고, 마지막 Stage까지 통과한 영역은 얼굴 영상으로 Accept하는 방법을 사용하였다. 얼굴로 판단되었을 경우, 얼굴 영 역에 대해 Equalized Intensity 이미지와 Edge 정보 특징을 추출하고 각 특징에 대해 Posterior probability를 Decision Tree를 사용하여 계산하였다. 계산 결과, 방독면을 착용하지 않은 맨 얼굴일 확률값 이 50% 이상일 경우 방독면 미착용으로 판단하고 알람 대상 보호구인지 여부를 최종 확인 후 알람을 발생 하도록 구성하였다.
- 우선 영상 이미지에서 사람을 추적하고 Cascade 로 구성된 Adaboost로 얼굴을 검출하였는데 N개의 각 Stage에서 얼굴이 아닌 영역은 Reject하고, 마지막 Stage까지 통과한 영역은 얼굴 영상으로 Accept하는 방법을 사용하였다. 얼굴로 판단되었을 경우, 얼굴 영 역에 대해 Equalized Intensity 이미지와 Edge 정보 특징을 추출하고 각 특징에 대해 Posterior probability를 Decision Tree를 사용하여 계산하였다.
- 전처리 과정을 통해 추출된 위험 작업 지역에서의 작업자를 실시간으로 추적하다가 사전에 미리 정의한 형태로 움직임이 포착되는 경우 경보가 발생하도록 구성하였다. 우선 작업자의 쓰러짐은 영상에서 작업자를 추출하고 추출된 작업자의 쓰러짐 정보 특징과 Hyper plane간의 거리를 계산하여 쓰러지는 행동을 감지하는 방식을 사용하였다[Fig. 10].
- 우선 취득된 영상으로부터 정보를 추출하기 위한 전 처리 과정으로 윤곽에 대한 특징량 계산을 위해 Sobel filter를 적용하여 [Fig. 2]와 같이 처리하였다[2].
- 움직이는 물체나 사람을 추출하기 위하여 배경 차분을 통한 이동물체 추출 방식을 선택하였다. 즉 배경 영상을 갱신하여 현재 영상에서 움직이는 라벨을 추출하는 방식으로 Codebook을 사용하여 배경 정보를 다중 확보함으로써 나뭇가지 등 미세한 움직임이나 특정 위치에서 반복적으로 발생하는 오보를 최소화할 수 있는 방법을 구현하였다[Fig 5].
- 이렇게 배경 차분으로 추출된 라벨을 확정하고 특징량을 추출하기 위하여 입력 영상과 배경 영상의 차분으 로 생성된 이진화 영상을 Run-length 코딩 방식으로 그룹화하고 노이즈 제거를 위해 각 그룹별 정보를 통합, 분리 등의 작업으로 Labeling 진행하였다[Fig. 6].
- 위험 작업 지역에서 규정된 보호구를 착용하는 것은 중요하다. 작업 규정에 맞는 보호구 착복여부를 감지하기 위하여 이동물체 탐지 및 추적 기법과 함께 보호구의 색상을 검출하여 분석하는 방법으로 규정된 장소에서 일반 작업용 보호구와 위험 작업용 보호구를 혼착할 경우 경보가 발생하도록 설계하고 알고리즘을 구현하였다[Fig. 14].
- 본 논문에서는 세계적 규모의 디스플레이 제조 사업장에 2014년 1월부터 개발하여 사업장 내 작업 위험 지역을 대상으로 설치된 지능형 CCTV 영상분석 시스템 구축에 대한 방법과 결과를 다루고자 한다. 작업 위험 지역인 케미컬룸이나 개스룸, 폐액룸에 설치된 CCTV로부터 취득된 영상을 실시간 지능형 영상분석 을 사용하여 작업자의 달리기나 쓰러짐 등 작업 안전 사고가 발생하거나, 방독면 미착용, 또는 규정된 보호구를 착용하지 않았을 경우, 알람을 발생시켜 모니터 요원이 방송으로 이를 통제할 수 있도록 구성하였다. 화학물질을 저장하거나 운반하는 드럼통을 기울이거나 밀어 던지는 작업자의 위험한 행동도 감지하여 동일한 방식으로 처리하였다.
- 작업자 영상 추출을 위해 연속된 프레임의 영상정보 포즈의 특징을 조합하여 MHI(Motion History Image)를 이용한 움직임 정보 특징을 추출하고 PCA(Principal Component Analysis)를 활용하여 작업자 영상을 단순화 하고, SVM(Support Vector Machine) 기반 Classification을 사용하여 쓰러지는 행동을 감지하였다[4].
- 작업자가 달리는 상황과 쓰러지는 상황이 발생하였 을 때 이를 위험 상황이라고 감지하여 경보를 발생하 게 하고 CCTV 모니터링 화면에 해당 상황 영상을 경고 영상으로 팝업 처리하여 모니터 요원이 즉각 상황 을 인지할 수 있도록 하였다. 또한 케미컬룸이나 개스룸 등 위험지역에서 작업 시 방독면을 쓰지 않거나 적 합한 보호구를 착용하지 않았을 경우에도 이를 감지하는 알고리즘을 개발하였으며, 화학물질 저장/운반용으로 사용되는 드럼통을 기울이거나 작업자 없이 밀어버 리는 상황도 감지하여 해당 상황 발생 시에도 이를 실시간 감지한 시스템을 통하여 모니터 요원이 현장을 방송으로 즉각 제어하거나 현장에 출동할 수 있는 시스템을 구축하였다.
- 작업자가 달리는 속도는 2차원 평면에서 일정시간 동안 움직이는 수직/수평 방향의 거리를 계산하여 산출 하였다[Fig 12].
- 전처리 과정을 통해 추출된 위험 작업 지역에서의 작업자를 실시간으로 추적하다가 사전에 미리 정의한 형태로 움직임이 포착되는 경우 경보가 발생하도록 구성하였다. 우선 작업자의 쓰러짐은 영상에서 작업자를 추출하고 추출된 작업자의 쓰러짐 정보 특징과 Hyper plane간의 거리를 계산하여 쓰러지는 행동을 감지하는 방식을 사용하였다[Fig.
- 움직이는 물체나 사람을 추출하기 위하여 배경 차분을 통한 이동물체 추출 방식을 선택하였다. 즉 배경 영상을 갱신하여 현재 영상에서 움직이는 라벨을 추출하는 방식으로 Codebook을 사용하여 배경 정보를 다중 확보함으로써 나뭇가지 등 미세한 움직임이나 특정 위치에서 반복적으로 발생하는 오보를 최소화할 수 있는 방법을 구현하였다[Fig 5].
- 추출된 레이블의 대표적인 특징량은 타원근사 최단 거리[Fig. 7] 및 색상정보이며, 그 외에도 Contour, Edge, 밝기, 크기, 색상 등을 추출하였다. 특히 보호구 와 관련된 경보 발생 의사 결정을 위한 특징량 추출을 위해 인체의 상반신 평균 YUV & HSV 분포값을 설정 하고 색상 정보와 조합하여 사용하였다[Fig.
- 작업자가 달리는 경우, CCTV 카메라가 설치된 위치나 방향에 따라 2차원 평면에서 나타나는 달리기 속도가 다르게 보이게 된다. 카메라 Calibration을 활용하여 작업자가 달리는 방향에 대해 카메라 수직/수평 화각 및 틸트 값을 이용하여 어떤 방향으로 달리더라도 속도를 추출하여 일정속도 이상 달리는 경우 알람이 발생하도록 하였다[5].
- 영상의 노이즈 제거를 위해서 Median 필터를 사용하였다[3]. 타겟 위치의 주변 픽셀값을 통해 타켓 픽셀 값을 결정하는 방법으로 가로 세로 3개, 총 9개의 픽 셀값을 순서대로 소팅하여 중간값으로 타겟 픽셀의 값을 대체하였다[Fig. 3].
- 특히 보호구 와 관련된 경보 발생 의사 결정을 위한 특징량 추출을 위해 인체의 상반신 평균 YUV & HSV 분포값을 설정 하고 색상 정보와 조합하여 사용하였다[Fig. 8].
- 작업 위험 지역인 케미컬룸이나 개스룸, 폐액룸에 설치된 CCTV로부터 취득된 영상을 실시간 지능형 영상분석 을 사용하여 작업자의 달리기나 쓰러짐 등 작업 안전 사고가 발생하거나, 방독면 미착용, 또는 규정된 보호구를 착용하지 않았을 경우, 알람을 발생시켜 모니터 요원이 방송으로 이를 통제할 수 있도록 구성하였다. 화학물질을 저장하거나 운반하는 드럼통을 기울이거나 밀어 던지는 작업자의 위험한 행동도 감지하여 동일한 방식으로 처리하였다. 지능형 영상분석을 위한 시스템 내부적인 동작 구조는 [Fig.
대상 데이터
- 195대의 CCTV 카메라 중 위험작업 장소에 따라 달리 기 20대, 쓰러짐 57대, 이종보호구 55대, 방독면 미착용 52대, 드럼통 기울임과 밀어던지기 11대에 적용하고 1개월간의 데이터를 분석하였다.
이론/모형
- Median 필터는 주변 픽셀값에 비해 너무 높거나 낮은 노이즈 제거에 효과적이며 위험 작업 지역의 특성 상 어두운 지역이나 야간의 경우 낮은 조도에서의 노이즈 제거에 효과적이다. 또한 배경 차분을 통해 얻어 진 추출 부분에서 발생하는 노이즈를 제거하기 위하여 Morphology 기법 중 Erode/Dilate 연산을 사용하였 다. 타겟 픽셀 주변 8개 픽셀에서 하나 이상의 픽셀이 있을 경우 해당 픽셀은 있는 것으로 간주하였다,
- 영상의 노이즈 제거를 위해서 Median 필터를 사용하였다[3]. 타겟 위치의 주변 픽셀값을 통해 타켓 픽셀 값을 결정하는 방법으로 가로 세로 3개, 총 9개의 픽 셀값을 순서대로 소팅하여 중간값으로 타겟 픽셀의 값을 대체하였다[Fig.
- 위험한 상황에서 작업자가 달리는 경우를 탐지하기 위해 카메라 Calibration 을 활용한 속도 감지 기법을 활용하였으며 그 과정은 [Fig. 11]과 같다.
- Detection 단계에서 추출된 각 레이블 간 정보로 이 동물체를 추적할 수 있다. 이전 프레임에 있었던 레이 블의 정보를 이용하여 현재 프레임에서의 위치를 예측 하고 예측 루틴을 반복하여 최적의 위치를 찾아가는 Mean-shift 기반 추적 기법을 사용하였다[Fig. 9].
성능/효과
- 총 587,465 건의 이벤트가 발생하였고 그중에 False positive, 즉 잘못 판단된 오보는 총 1,234건으로 0.21%의 오보율을 보였으며, 실제 발생한 396건의 비 정상 이벤트에 대한 True positive, 즉 실보는 376 건 으로 95%의 감지율을 나타내었다[Table. 1].
후속연구
- 본 논문을 기반으로 위험 작업으로부터 작업자를 보호할 수 있는 기반을 구축하고, 관리가 어려운 위험 작업 현장의 사각지대에 확대 적용하여 안전사고 예방에 활용할 수 있을 것으로 기대한다.
- 한편, 지능형 CCTV 영상분석 시스템을 현장에 적용 후 작업자의 안전에 대한 의식이 확산되고 실시간 모니터링을 운영을 통하여 안전작업 규정 위반자 발생시 알람을 발생시켜 현장을 즉시 개선하는 체계를 구축하여 보호구 미착용 등의 작업 안전 규정을 위반하는 횟수가 감소하고 있으며 향후 더욱 개선될 것으로 예상된다[Fig. 20].
※ AI-Helper는 부적절한 답변을 할 수 있습니다.