선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 기존의 결함탐상 관련 연구는 결함의 특징을 분석하여 필터를 설계하거나 적절한 문턱치를 설정하여 이진화 하는 방법에 대해 주로 다루어져 왔다. 본 논문에서는 결함의 특성을 수치화 하고 이를 학습시켜 스크래치 결함을 탐상하는 방법에 대해 소개한다.
- 본 논문에서는 철강제품 중 하나인 Billet 영상위의 스크래치 결함을 찾는 알고리즘을 제안한다. 본 논문의 가장 큰 특징은 결함이 있을 것이라 추측되는 후보군을 관심영역으로 선정하여, 이 관심영역에 대하여 분류기를 적용하는 것이다.
- 본격적으로 결함특성 수치를 위한 식에 대해 설명하기 전에, 결함의 경계특성을 수치화 하는데에 사용한 엣지 검출 필터를 소개하고자 한다. 엣지를 검출하는 데에는 라플라시안이나 소벨필터 등이 많이 사용된다.
- 철강영상의 경우 비결함 영상의 샘플은 쉽게 구할 수 있지만 결함 영상의 경우 구할 수 있는 샘플의 수가 상대적으로 적어 일반적으로 분류기를 학습하는 데에 어려움이 있다. 이러한 어려움을 극복하고자 적은 샘플수의 환경에서 상대적으로 좋은 성능을 보이는 SVM을 적용하고자 한다. 먼저 기본적인 SVM 분류기는 아래와 같은 최적화 문제로 구성된다[9].
제안 방법
- 139개의 결함 관심영역과 611개의 비결함 관심영역에서 각각 50% 비율로 학습(training) 및 확인(validation)을 위한 집합을 구성하였다. 여러 번 SVM을 학습 및 확인 시키는 cross-validation 과정을 통하여, 학습 및 확인결과의 sensitivity 및 specificity가 모두 90% 이상이 될 때까지 무작위로 집합을 구성하여 위 과정을 반복하였다.
- 먼저 원본영상에서 Billet부분을 segmentation한 뒤 이 segmentation 된 영상들을 sub-image들로 나누었다. sub-image 중 결함이 있을 것이라 예상되는 부분을 관심영역으로 선정하고 미리 결함과 비결함으로 분류한 관심영역들을 이용하여 SVM (Support Vector Machine)을 학습시켰다. 실제 공정에서는 입력 영상에서 관심영역들을 찾은 뒤, 이를 offline으로 학습시킨 SVM을 이용하여 결함과 비결함으로 분류하였다.
- 이에 앞에서 segmentation 한 영상을 세로 350 픽셀의 간격으로 100 픽셀씩 오버랩 하여 sub-image를 만들었다. 각 sub-image에서 결함의 특성을 이용하여 관심영역을 찾았다.
- 이번 단계는 SVM을 이용하여 입력영상에서 선정한 관심영역들을 학습 및 분류하기 위해 결함특성들을 수치로 추출해 내는 과정이다. 각 관심영역에서 11가지 결함특성 수치를 추출 하였다.
- 결함 특성을 관찰하기위해 수직투영 프로파일과 그 스무딩 결과의 차이를 구하였다. 이렇게 수직투영 프로파일과 그 가우시안 스무딩 결과의 차이를 이용하는 것은 일종의 차분가우시안필터(DoG: Difference of Gaussian)를 적용하는 것과 동일하며, 경계를 가지는 결함영역에서 그 값이 커짐을 볼 수 있다.
- 본 수식에서 D와 B는 각각 관심영역 위에서 결함과 배경 부분의 픽셀값들의 집합을 의미하며, N(A)는 집합 A의 원소 개수이다. 결함부분에 해당하는 평균 그레이레벨과 관심영역을 선정할 때 함께 저장한 마진(결함주변의 Billet표면) 부분의 평균 그레이 레벨의 비를 이용하여 구하였다. 관심영역 내에서 결함의 밝기가 주변에 비해 어두울수록, 6번 수치의 비가 커지게 된다.
- 이렇게 수직투영 프로파일과 그 가우시안 스무딩 결과의 차이를 이용하는 것은 일종의 차분가우시안필터(DoG: Difference of Gaussian)를 적용하는 것과 동일하며, 경계를 가지는 결함영역에서 그 값이 커짐을 볼 수 있다. 노이즈 영향을 줄이기 위해 3.3의 가우시안 필터로 차분가우시안 필터의 결과를 스무딩하고 실험적인 수치로 문턱치 기법을 적용하여 결함 후보군(관심영역)을 선정하였다.
- 먼저 1~5번의 결함특성 수치는 결함으로 인한 이중경계를 찾기 위하여 엣지 검출 필터 H를 이용하여 수치화 한 것이다. 1,2번 수치의 경우 아래그림과 같이 관심영역의 수직투영 프로파일을 H로 필터링하고 G1으로 스무딩하여 최댓값과 최솟값을 구한 것이다.
- 앞서 설명한 Billet영상에 나타나는 불균등한 밝기나 scale에 의한 영향을 줄이기 위해 원본 영상이 아닌 작은 영역에 대하여 결함의 특성을 수치로 표현하고 분류기를 적용하였다. 먼저 원본영상에서 Billet부분을 segmentation한 뒤 이 segmentation 된 영상들을 sub-image들로 나누었다. sub-image 중 결함이 있을 것이라 예상되는 부분을 관심영역으로 선정하고 미리 결함과 비결함으로 분류한 관심영역들을 이용하여 SVM (Support Vector Machine)을 학습시켰다.
- 먼저 표준편차가 3이고 크기가 35 픽셀인 가우시안 필터로 수직투영 프로파일을 스무딩 하였다. 그림 7은 sub-image의 수직투영 프로파일(blue)과 이를 스무딩한 결과(red)의 예시를 보여준다.
- 한번만 학습하여 최적 분류기를 구성할 경우, 분류기의 일반성(generalization performance)이 떨어져 학습시킨 데이타 외에 다른 데이타에 대한 성능이 떨어질 수 있기 때문이다. 본 논문에서는 139개의 결함이 있는 관심영역과 611개의 비결함 관심영역을 무작위로 50%씩 나눠 두 그룹으로 구성한 뒤 학습 및 확인을 반복하였다. 이에 대한 결과는 IV 장에서 보인다.
- 본 논문에서는 철강제품 중 하나인 Billet 영상위의 스크래치 결함을 찾는 알고리즘을 제안한다. 본 논문의 가장 큰 특징은 결함이 있을 것이라 추측되는 후보군을 관심영역으로 선정하여, 이 관심영역에 대하여 분류기를 적용하는 것이다. 관심영역을 분류하기 위해 CSVM 알고리즘을 사용하였으며, 11가지의 결함의 특성을 표현하는 결함특성수치를 사용하였다.
- 새로운 입력영상에 대하여 앞장과 같이 segmentation후 관심영역들을 선정하고, 이 관심영역에서 결함특성 수치를 계산하여 미리 학습시킨 SVM으로 분류한다. 입력영상위에 결함 관심영역이 있을 경우 결함 영상으로 분류하였다.
- sub-image 중 결함이 있을 것이라 예상되는 부분을 관심영역으로 선정하고 미리 결함과 비결함으로 분류한 관심영역들을 이용하여 SVM (Support Vector Machine)을 학습시켰다. 실제 공정에서는 입력 영상에서 관심영역들을 찾은 뒤, 이를 offline으로 학습시킨 SVM을 이용하여 결함과 비결함으로 분류하였다. 입력영상에 결함 관심영역이 존재할 경우 이를 결함 영상으로 결정하였다.
- 앞서 설명한 Billet영상에 나타나는 불균등한 밝기나 scale에 의한 영향을 줄이기 위해 원본 영상이 아닌 작은 영역에 대하여 결함의 특성을 수치로 표현하고 분류기를 적용하였다. 먼저 원본영상에서 Billet부분을 segmentation한 뒤 이 segmentation 된 영상들을 sub-image들로 나누었다.
- 139개의 결함 관심영역과 611개의 비결함 관심영역에서 각각 50% 비율로 학습(training) 및 확인(validation)을 위한 집합을 구성하였다. 여러 번 SVM을 학습 및 확인 시키는 cross-validation 과정을 통하여, 학습 및 확인결과의 sensitivity 및 specificity가 모두 90% 이상이 될 때까지 무작위로 집합을 구성하여 위 과정을 반복하였다. 이와 같은 cross-validation 과정을 통해 얻은 학습 및 확인 결과 및 그 정확도는 아래와 같다.
- 이를 고려하기 위해 앞에서 위 · 아래 부분을 잘라낸 영상의 수직투영 프로파일을 thresholding하여 그룹화해주고, Billet이 영상 가운데에 위치한다는 정보를 이용하여 Billet이 위치한 인덱스들을 찾았다.
- 이를 위해 가로 방향으로 픽셀값의 합을 구해 실험적인 문턱값으로 영상의 위 · 아래에 있는 배경을 찾았다.
- 스크래치의 경우 Billet의 끝 부분에는 거의 나타나지 않고, Billet 끝 부분의 영상이 흐리거나 휘어진 경우가 많다. 이에 200 픽셀(약 10cm)의 영상을 잘라 segmentation 하였다.
- Billet의 스크래치 결함은 직진성이 강해 보통 150 픽셀(약 4cm) 이상으로 나타난다. 이에 앞에서 segmentation 한 영상을 세로 350 픽셀의 간격으로 100 픽셀씩 오버랩 하여 sub-image를 만들었다. 각 sub-image에서 결함의 특성을 이용하여 관심영역을 찾았다.
- 스크래치의 경우 Billet의 좌우 경계에서는 거의 발생하지 않고, 각 라인에서 앞서 구한 Billet 부분의 길이가 다를 수 있다. 이에 프레임 영상에서 앞서 구한 각 라인의 Billet 부분 길이의 평균을 구하고, 이 평균에서 좌우 10 픽셀씩 제외한 부분에 대해 각 라인의 Billet영역을 merging 하였다.
- 스크래치 결함은 주변부분과 밝기차이가 커서 이중경계가 발생하고 결함의 너비가 보통 8~13 픽셀 정도로 나타나는 특징을 보인다. 하나의 sub-image에서 이러한 결함 특성을 노이즈 영향을 덜 받으며 관찰하기 위해 수직투영 프로파일을 분석하였다.
대상 데이터
- 한 개의 Billet 제품은 여백을 포함하여 84개의 프레임 영상으로 표현된다. 40개의 Billet 제품으로부터 얻은 3360장의 프레임 영상을 이용하여 제안하고자 하는 알고리즘의 성능을 평가해 보았다. 앞서 cross-validation 과정을 통해 얻은 SVM 분류기를 이용하였으며, 그 결과는 다음 표와 같다.
- 이러한 Billet을 네 방향에서 라인카메라를 이용하여 표면영상을 얻었다. 공정에서 사용된 라인카메라의 스펙은 0.5mm/line이며, 하나의 라인에 1024 픽셀씩 저장하여 1600개의 라인을 프레임 영상으로 저장하였다.
- 다양한 결함이 포함된 56장의 결함 프레임 영상과 65장의 비결함 프레임 영상을 학습하기 위한 영상으로 선정하였다. 관심영역 선정 알고리즘을 적용하여 750개의 관심영역을 모았으며, 이를 결함과 비결함으로 분류하여 SVM 분류기를 학습시키는 데에 사용할 139개의 결함 관심영역과 611개의 비결함 관심영역을 얻을 수 있었다.
데이터처리
- 3번수치는 1번가 2번수치 절댓값들의 차이를 구하였으며, 결함과 같이 이중경계가 있는 부분에서는 그 값이 0에 가까워지고 경계가 있더라도 그 경계가 하나인 경우 수치가 커진다. 4번과 5번 결함특성수치에서는 배경성분 대비 결함 경계의 뚜렷한 정도를 파악하기 위해 여러 표준편차의 가우시안 필터를 사용하였다.
- 40개의 Billet 제품으로부터 얻은 3360장의 프레임 영상을 이용하여 제안하고자 하는 알고리즘의 성능을 평가해 보았다. 앞서 cross-validation 과정을 통해 얻은 SVM 분류기를 이용하였으며, 그 결과는 다음 표와 같다.
이론/모형
- 본 논문의 가장 큰 특징은 결함이 있을 것이라 추측되는 후보군을 관심영역으로 선정하여, 이 관심영역에 대하여 분류기를 적용하는 것이다. 관심영역을 분류하기 위해 CSVM 알고리즘을 사용하였으며, 11가지의 결함의 특성을 표현하는 결함특성수치를 사용하였다. 실제로 공정에 적용할 때에는 offline에서 학습시킨 SVM분류기를 입력영상위의 관심영역들에 적용하여 결함 관심영역의 유무를 판별함으로써 Billet영상의 결함유무를 알 수 있다.
- 그림8. 스무딩 한 차분가우시안 결과에 문턱치기법 적용.
- 알고리즘의 정확도는 sensitivity와 specificity를 이용하여 평가하였으며, 아래와 같이 정의된다.
- Billet은 영상위에 휘어진 모양으로 나타날 수 있기 때문에, 프로파일 정보로 구한 인덱스는 조금씩 오차가 있다. 이에 위에서 찾은 Billet의 경계점을 local 영역으로 잡고 그 부분에서 각 라인의 실제 Billet의 경계를 dynamic path algorithm을 이용하여 찾았다. Dynamic path algorithm은 weighted graph의 shortest path를 찾기 위한 그래프 분석 방법이다.
성능/효과
- 다양한 결함이 포함된 56장의 결함 프레임 영상과 65장의 비결함 프레임 영상을 학습하기 위한 영상으로 선정하였다. 관심영역 선정 알고리즘을 적용하여 750개의 관심영역을 모았으며, 이를 결함과 비결함으로 분류하여 SVM 분류기를 학습시키는 데에 사용할 139개의 결함 관심영역과 611개의 비결함 관심영역을 얻을 수 있었다.
- 본 논문에서 탐상하고자 하는 스크래치 결함은 세로방향으로 150 픽셀(약 7.5cm) 이상의 길이로 나타나 직진성이 강하며, 그 너비가 8~13 픽셀정도로 다양하다는 특징을 가진다. 또한 하나의 영상에 여러 개의 스크래치가 나타날 수 있으므로 이 점을 고려하여야 한다.
- 실제 철강제조공정의 영상을 이용하여 테스트 해 본 결과, 제안하고자 하는 알고리즘이 Billet표면의 스크래치 결함을 탐상하는데 있어 믿을만한 성능을 보임을 확인할 수 있었다.
후속연구
- 본 논문에서는 관심영역 결함의 특징을 관찰하기 위해 11가지의 결함특성수치를 적용하였지만, 좀 더 많은 결함특성수치를 적용함으로써 알고리즘의 성능을 올릴 수 있을 것이다. 예를 들어 결함의 너비가 다양하기 때문에, 이를 고려하기위해 다양한 표준편차의 차분가우시안필터를 적용할 수 있을 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.