인공지능 기반 조선해양 용접 품질 정보 관리 및 결함 검사 플랫폼 개발 A Development of Welding Information Management and Defect Inspection Platform based on Artificial Intelligent for Shipbuilding and Maritime Industry원문보기
황훈규
(Division of Ocean ICT & Advanced Materials Technology Research, Research Institute of Medium & Small Shipbuilding)
,
김배성
(Division of Ocean ICT & Advanced Materials Technology Research, Research Institute of Medium & Small Shipbuilding)
,
우윤태
(Division of Ocean ICT & Advanced Materials Technology Research, Research Institute of Medium & Small Shipbuilding)
,
윤영욱
(ViewOn)
,
신성철
(Department of Naval Architecture and Ocean Engineering, Busan University)
,
오상진
(Department of Naval Architecture and Ocean Engineering, Busan University)
용접은 선박 및 해양플랜트의 생산 및 건조에 있어 매우 높은 비중을 차지하는 작업이다. 용접부의 품질 검증을 위해 비파괴 검사를 수행하는데, 우리나라에서는 주로 방사선투과검사(RT)를 활용한다. 현재 대부분의 조선소에서는 용접부의 촬영을 통해 얻어진 필름을 인화하여 검사에 활용하는 아날로그 형태를 채택하고 있다. 이에 방사선 촬영에서부터 합부 판정까지 소요시간이 길고 복잡하며, 관련 분야의 자격을 보유한 검사자에 의해 수작업으로 진행되고 있는 실정이다. 본 논문에서는 이러한 문제를 개선하기 위해 조선소에서 발생하고 있는 RT 필름을 고해상도로 스캔하여 디지털화한 후, 관리 서버에 축적하고, 인공지능 기술을 적용하여 용접 결함을 판독하기 위한 플랫폼에 관한 내용을 다룬다. 이를 위한 일련의 요소인 아날로그 RT 필름 스캔장비, 용접 검사 정보 통합 관리 플랫폼, 결함 판독 알고리즘, 시각화 소프트웨어 등을 설계 및 개발하고, 개발한 각 요소를 상호 연계하여 테스트 및 검증하는 과정에 관하여 기술한다.
용접은 선박 및 해양플랜트의 생산 및 건조에 있어 매우 높은 비중을 차지하는 작업이다. 용접부의 품질 검증을 위해 비파괴 검사를 수행하는데, 우리나라에서는 주로 방사선투과검사(RT)를 활용한다. 현재 대부분의 조선소에서는 용접부의 촬영을 통해 얻어진 필름을 인화하여 검사에 활용하는 아날로그 형태를 채택하고 있다. 이에 방사선 촬영에서부터 합부 판정까지 소요시간이 길고 복잡하며, 관련 분야의 자격을 보유한 검사자에 의해 수작업으로 진행되고 있는 실정이다. 본 논문에서는 이러한 문제를 개선하기 위해 조선소에서 발생하고 있는 RT 필름을 고해상도로 스캔하여 디지털화한 후, 관리 서버에 축적하고, 인공지능 기술을 적용하여 용접 결함을 판독하기 위한 플랫폼에 관한 내용을 다룬다. 이를 위한 일련의 요소인 아날로그 RT 필름 스캔장비, 용접 검사 정보 통합 관리 플랫폼, 결함 판독 알고리즘, 시각화 소프트웨어 등을 설계 및 개발하고, 개발한 각 요소를 상호 연계하여 테스트 및 검증하는 과정에 관하여 기술한다.
The welding has a high proportion of the production and drying of ships or offshore plants. Non-destructive testing is carried out to verify the quality of welds in Korea, radiography test (RT) is mainly used. Currently, most shipyards adopt analog-type techniques to print the films through the shoo...
The welding has a high proportion of the production and drying of ships or offshore plants. Non-destructive testing is carried out to verify the quality of welds in Korea, radiography test (RT) is mainly used. Currently, most shipyards adopt analog-type techniques to print the films through the shoot of welding parts. Therefore, the time required from radiography test to pass or fail judgment is long and complex, and is being manually carried out by qualified inspectors. To improve this problem, this paper covers a platform for scanning and digitalizing RT films occurring in shipyards with high resolution, accumulating them in management servers, and applying artificial intelligence (AI) technology to detect welding defects. To do this, we describe the process of designing and developing RT film scanning equipment, welding inspection information integrated management platform, fault reading algorithms, visualization software, and testing and verification of each developed element in conjunction.
The welding has a high proportion of the production and drying of ships or offshore plants. Non-destructive testing is carried out to verify the quality of welds in Korea, radiography test (RT) is mainly used. Currently, most shipyards adopt analog-type techniques to print the films through the shoot of welding parts. Therefore, the time required from radiography test to pass or fail judgment is long and complex, and is being manually carried out by qualified inspectors. To improve this problem, this paper covers a platform for scanning and digitalizing RT films occurring in shipyards with high resolution, accumulating them in management servers, and applying artificial intelligence (AI) technology to detect welding defects. To do this, we describe the process of designing and developing RT film scanning equipment, welding inspection information integrated management platform, fault reading algorithms, visualization software, and testing and verification of each developed element in conjunction.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
2개의 계층에서 나온 출력을 관심 영역(RoI, region of interest) 풀링(pooling) 계층을 통해 FCL에 입력하여 학습한다. Faster R-CNNe RPN 과 RoI 풀링 계층을 도입하여 기존 모델인 R-CNN, Fast R-CNN의 연산 문제와 구조적 문제를 해결하고, 정확도와 연산 속도를 개선하기 위한 연구를 진행하였다.
또한, 보다 많은 RT 필름을 확보할 뿐만 아니라, 특정 결함에 편향된 데이터를 고려하여 새로운 결함 데이터를 생성하는 확장 기법을 적용하여 용접 결함 판독 알고리즘의 정확도를 향상시키기 위한 연구가 필요하다. 나아가 최종적으로는 용접부 촬영부터 결함 판독까지 밀접하게 연계된 용접 정보 통합 수집·관리 및 자동 결함 판독 플랫폼을 구축하는 것이 목표이다.
상술한 연구들은 신경망을 활용한 용접 결함 분류 또는 탐지 방안에 대하여 서술하고 있고, 88개의 RT 이미지를 대상으로 학습한 모델에 대한 자동 결함 검출 결과를 제시하고 있는 연구도 있으나 이는 구성된 트레이닝 데이터가 소량이고 결함 종류도 일부만 포함되어 적용에는 한계가 있다. 또한, 영상처리 기법의 사용은 사전에 정의되지 않은 패턴으로 나타나는 결함은 검출이 불가능하고, 비전 시스템의 경우 레이저와 카메라 등 광학 장치를 이용하여 비드 등 용접부 표면의 결함에 대한 자동 검사를 목적으로 하고 있다.
백업 저장장치는 주(primary) 저장장치의 변경이 발생하면 이를 감지하여 부(secondary) 저장장치에 저장하는 형태로 동작한다[4-5]. 본 논문에서는 용접 검사 정보 보다는 스캔된 RT 필름의 관리 및 결함 판독에 보다 중점을 두어 기술한다.
본 논문에서는 이러한 문제를 개선하여 생산성을 향상하기 위해 조선소에서 보유하고 있는 RT 필름을 스캔 장비를 통해 고해상도로 디지털화하여 서버에 축적하고, 이를 기반으로 인공지능 기술을 적용하여 용접 결함을 판독하기 위한 플랫폼의 개발에 관한 내용을 다룬다. 본 논문의 2장에서 관련 연구 및 선행 연구에 관해 기술하고, 3장에서 플랫폼 설계에 관해 다룬다.
따라서 촬영에서부터 합부 판정까지 소요시간이 길고 복잡하다. 본 논문에서는 이러한 문제를 일부 해소하기 위해 조선소에서 생성되는 RT 필름을 고해상도로 스캔하여 디지털화한 후, 관리 서버에 축적하고, 용접 품질 검사 정보를 관리하며 머신러닝을 기반으로 용접 결함을 판독하기 위한 플랫폼에 관한 내용을 다루었다.
진행한 바 있다[13-14]. 이는 그림 2와 같이 후보 영역 추출 네트워크(RPN, region proposal network)로 구성한 Faster R-CNNe 종대종(end-to-end)로 역전파가 가능하여 이전보다 오차를 줄이기 위한 연구를 바탕으로 하였다[15]. 여기서 RPNe 합성곱 계층과 모든 노드에 연결된 계층(FCL fully-connected layer)이 구성되어있어 학습이 가능하며, RPNe 특징 추출기로부터 256 차원 혹은 512 차원의 차원을 받아 슬라이딩 윈도우 (sliding window) 기법을 통해 중간(intermediate) 계층을 생성한다.
제안 방법
그 후, 회귀모델 계층에서도 1×1 필터를 적용하고, k개의 앵커 박스를 생성 후, 바운딩 박스(bounding box)의 좌표 표시를 위한 4개의 좌표 값을 부여한다. 2개의 계층에서 나온 출력을 관심 영역(RoI, region of interest) 풀링(pooling) 계층을 통해 FCL에 입력하여 학습한다. Faster R-CNNe RPN 과 RoI 풀링 계층을 도입하여 기존 모델인 R-CNN, Fast R-CNN의 연산 문제와 구조적 문제를 해결하고, 정확도와 연산 속도를 개선하기 위한 연구를 진행하였다.
40 버전을 사용하였다. 결함 판독 및 시각화 SW는 PyQT 5.15.1 버전을 기반으로 개발하였으며, 이를 통해 플랫폼과 알고리즘을 연계하여 사용자에게 결함 판독 결과를 시각화하는 등의 기능을 한다.
여기서 RPNe 합성곱 계층과 모든 노드에 연결된 계층(FCL fully-connected layer)이 구성되어있어 학습이 가능하며, RPNe 특징 추출기로부터 256 차원 혹은 512 차원의 차원을 받아 슬라이딩 윈도우 (sliding window) 기법을 통해 중간(intermediate) 계층을 생성한다. 그 후, 분류모델(classifier) 계층과 회귀모델 (regressor) 계층으로 합성곱 연산을 수행한다. 분류모델계층은 1×1 필터를 적용하여 출력을 얻는다.
6GHz, RAM 32 GB 사양의 MS Windows 10 Pro for Workstations 운영체제로 구성하였으며, MS SQL을 기반으로 용접검사 정보 관리 테이블을 생성하였다. 또한, FTP 서버의 주/부 저장장치는 각각 32 TB 용량을 가지는 NAS 장비두 대(시놀로지社 RS1219+ 및 QSAN社 XN5012R 제품)로 구성하였고, 자동 백업 모듈은 1회 설정 완료 후에는 백그라운드에서 동작하면서 설정된 주기에 따라 업로드 등 변경을 감시하여 백업을 수행하도록 개발하였다.
조선해양 설계 CAD를 기반으로 추출된 용접 검사 정보의 저장 및 관리를 위한 데이터베이스 관리 시스템(DBMS) 서버를 비롯하여, 그림 7과 같이 모바일 장치 혹은 PC 웹 브라우저를 통해 용접 검사 정보를 조회하고, 확인할 수 있도록 해주는 웹 서버가 있다. 또한, 스캔된 RT 필름 이미지 파일의 관리를 위한 FTP 서버와 데이터 손실 등의 특수한 상황을 대비하기 위해 백업 저장장치(storage)를 두는 구조로 설계하였다. 백업 저장장치는 주(primary) 저장장치의 변경이 발생하면 이를 감지하여 부(secondary) 저장장치에 저장하는 형태로 동작한다[4-5].
5 기반의 C# 언어로 구현하였다. 또한, 용접 결함 판독 알고리즘의 이미지 학습은 텐서플로 1.15.2 버전을 이용하였고, 검출된 결함 위치 및 종류, 확률의 라벨링 처리를 위해 OpenCV 4.40 버전을 사용하였다. 결함 판독 및 시각화 SW는 PyQT 5.
본 논문에서 제안하는 용접 결함 검사 플랫폼은 그림 3과 같이 (1) 아날로그 RT 필름을 고화질로 스캔하여 이미지 파일로 저장하는 장비, (2) 각종 용접 검사와 관련된 정보와 스캔된 RT 필름 이미지 파일을 저장하고 관리하는 플랫폼, (3) RT 필름 이미지를 기반으로 용접 결함을 판독하기 위한 알고리즘, (4) 판독 알고리즘을 포함하면서 플랫폼과 연계하여 RT 필름 이미지 내에 있는 용접 결함을 시각화해주기 위한 소프트웨어 등 크게 4 가지 요소로 구성된다. 여기서 용접 검사 정보는 [1] 의연구에서 제시한 것과 같이 조선해양 CAD 파일을 기반으로 추출되는데, 각각의 정보는 TAG 번호라는 고유의식별 자를 통해 스캔된 RT 필름 이미지와 연계되어 플랫폼에 의해 관리되며, 해당 내용은 본 논문에서 자세히 다루지 않는다.
용접 검사 정보 관리 플랫폼의 모습은 그림 10과 같이 DBMS 및 웹서버는 인텔 Xeon W-2223 3.6GHz, RAM 32 GB 사양의 MS Windows 10 Pro for Workstations 운영체제로 구성하였으며, MS SQL을 기반으로 용접검사 정보 관리 테이블을 생성하였다. 또한, FTP 서버의 주/부 저장장치는 각각 32 TB 용량을 가지는 NAS 장비두 대(시놀로지社 RS1219+ 및 QSAN社 XN5012R 제품)로 구성하였고, 자동 백업 모듈은 1회 설정 완료 후에는 백그라운드에서 동작하면서 설정된 주기에 따라 업로드 등 변경을 감시하여 백업을 수행하도록 개발하였다.
이에 결함 판독 및 시각화 소프트웨어를 설계하였으며, 주요 기능으로는 (1) FTP 서버에 업로드된 RT 필름 이미지 파일의 이름, 크기, 경로를 리스트로 표시하는 기능, (2) 리스트에서 원본 확인이 필요한 항목 선택 시 이미지를 표시해주는 기능, (3) 결함 판독 알고리즘의 실행 후, 결함 위치에 라벨링(박스 표시, 결함 종류, 결함율)이 추가된 결과 이미지 파일의 이름, 크기, 경로를 리스트에 출력해주는 기능, (4) 판독 후, 결함 정보가 라벨링 된 실제 이미지 파일을 표시하는 기능, (5) 결함으로 좌표, 결함확률, 결함종류 등 판독된 결과를 텍스트 형태로 표시하는 기능 등이 있다.
인공지능 기반 조선해양 자동 용접 결함 검사 플랫폼과 관련한 선행 연구로 용접품질 데이터 및 플랫폼 구성요소에 대한 요구사항을 분석하였다. 또한, 그림 1과 같은 RT 필름을 스캔하기 위한 장비와 판독 알고리즘을 연계하기 위한 아키텍처 개발, CAD를 기반으로 용접검사 정보를 자동으로 추출하는 SW 개발, 이를 통해 얻어진 정보를 통합적으로 관리하기 위한 서버의 구현 등이 있다[1-4, 12].
대상 데이터
본 논문에서는 용접 결함 판독 알고리즘의 학습을 위해 대형조선소 D사 및 S사, 중형조선소 D사에서 결함이 있는 RT 필름 총 626장을 제공받아 활용하였다. 스캔 장비를 활용하여 제공받은 RT 필름을 디지털화(6000 × 1800 px)한 후, 이미지 파일 내에 존재하는 용접 결함의 수를 분석한 결과, 표 1과 같이 기공(porosity), 융합 불량(lack of fusion), 용입 불량(incomplete penetration) 등 총 1, 034개가 포함되어 있는 것을 확인하였다.
이때, 아날로그 RT 필름의 대형조선소 S사, 중형조선소 D사 등에서 공통적으로 활용하고 있는 300 mm × 85 mm 크기를 사용하였다. 또한, 개발한 RT 필름 스캔 장비의 최대 해상도의 경우, GE社 RT 필름 스캔 장비의 해상도인 50 um에 비해 상대적으로 높은 10 um을 가지며, 평균 스캔 속도의 경우에도 역시 120 sec에 비해 상대적으로 빠른 약 45 sec의 성능을 보이는 것을 시험기관을 통해 검증하였다.
이러한 RT 필름 중, 임의로 약 80 %를 학습 데이터로, 약 20 %를 평가 데이터로 활용하였으며, NVIDIA Tesla V100-DGXStation GPU 기반 CUDA 10.1의 환경의 Ubuntu 18.04.2 운영체제에서 학습을 수행하였다. 이때, 앞서 언급한 것과 같이 Faster R-CNN과 Inception -ResNet v2를 활용하여 모델을 학습 및 고도화하였고, 그 결과, 각 결함에 대해서 평균 98.
이론/모형
용접 결함 검사 플랫폼의 구성요소인 RT 필름 스캔 장비 구동 SW는 Lab View 2018을 활용하여 개발하였다. 플랫폼 내 용접 검사 정보를 관리하기 위한 DBMS 는 MS SQL Server 2019를 활용하여 구성하였고, 정보관리 웹 서버는 PHP를 활용하여 개발하였으며, 자동 백업 모듈은 MS .
성능/효과
크기를 사용하였다. 또한, 개발한 RT 필름 스캔 장비의 최대 해상도의 경우, GE社 RT 필름 스캔 장비의 해상도인 50 um에 비해 상대적으로 높은 10 um을 가지며, 평균 스캔 속도의 경우에도 역시 120 sec에 비해 상대적으로 빠른 약 45 sec의 성능을 보이는 것을 시험기관을 통해 검증하였다.
있다. 또한, 그림 12dhk 같이 이미지 표시 창은 확대 및 축소, 길이 측정 등이 가능하도록 구현하였으며, 실제 확대를 해보면, 용접 결함 중 하나인 기공일 확률이 97%로 검출된 것을 확인할 수 있다. 하단에는 판독된 RT 필름 이미지 내 각종 결함 정보(위치 좌표, 결함확률, 결함종류) 를 표시해주는 것을 확인할 수 있다.
스캔 장비를 활용하여 제공받은 RT 필름을 디지털화(6000 × 1800 px)한 후, 이미지 파일 내에 존재하는 용접 결함의 수를 분석한 결과, 표 1과 같이 기공(porosity), 융합 불량(lack of fusion), 용입 불량(incomplete penetration) 등 총 1, 034개가 포함되어 있는 것을 확인하였다. 이때, 하나의 RT 필름에 여러 개의 결함이 있을 수도 있기 때문에 중복 계수(count)를 허용하였다.
용접 필름의 결함 판독을 위한 알고리즘의 설계와 관련하여 [13-14]의 선행연구를 통해 성능을 비교 검증한 결과, 특징 추출(feature extraction)은 Inception-ResNet v2, 결함 검출은 이미지 노이즈 제거, 용접부 비드 구역만 추출, 데이터 확장을 적용한 Faster R-CNN 기반으로 RT 필름 이미지를 학습한 모델이 좋은 성능을 보이는 것을 확인하였다. 이러한 용접 결함 판독 알고리즘은 텐서플로(Tensor Flow) 기반의 콘솔창에서 동작하도록 개발되었기 때문에 자동으로 FTP 서버를 감시하여 RT 필름이 업로드 된 경우 해당 파일의 URL에서 이미지 파일을 연계하여 알고리즘의 파라미터로 대입해주고, 그 결과를 사용자에게 시각화해주기 위한 기능 등 인터페이스 해주는 GUI SW가 필요하다.
2 운영체제에서 학습을 수행하였다. 이때, 앞서 언급한 것과 같이 Faster R-CNN과 Inception -ResNet v2를 활용하여 모델을 학습 및 고도화하였고, 그 결과, 각 결함에 대해서 평균 98.7 mAP의 검출 성능을 보이는 것을 확인하였다[13-14].
후속연구
또한, 보다 많은 RT 필름을 확보할 뿐만 아니라, 특정 결함에 편향된 데이터를 고려하여 새로운 결함 데이터를 생성하는 확장 기법을 적용하여 용접 결함 판독 알고리즘의 정확도를 향상시키기 위한 연구가 필요하다. 나아가 최종적으로는 용접부 촬영부터 결함 판독까지 밀접하게 연계된 용접 정보 통합 수집·관리 및 자동 결함 판독 플랫폼을 구축하는 것이 목표이다.
향후에는 아날로그 RT 필름 스캔장비 뿐 아니라, CR 혹은 DR 장비와의 연동을 위한 개발을 진행할 예정이다. 또한, 보다 많은 RT 필름을 확보할 뿐만 아니라, 특정 결함에 편향된 데이터를 고려하여 새로운 결함 데이터를 생성하는 확장 기법을 적용하여 용접 결함 판독 알고리즘의 정확도를 향상시키기 위한 연구가 필요하다.
참고문헌 (15)
B. S. Kim, H. G. Hwang, C. S. Song, and K. T. Lee, "A development of automatic extraction system for welding inspection information based on shipbuilding and maritime CAD," Journal of the Korea Institute of Information and Communication Engineering, vol. 24, no. 1, pp. 28-36, Jan. 2020.
C. S. Song, J. H. Cho, and B. S. Kim, "A Design of artificial intelligence reading platform for radiographic testing of welds," in Proceeding of the 42th Korean Society of Maine Engineering Fall Conference, Busan, pp. 223, 2018.
B. S. Kim, J. H. Cho, and H. G. Hwang, "An implementation of integrated platform for management of welding quality in shipbuilding and marine engineering," in Proceeding of the 44th Korean Society of Maine Engineering Fall Conference, Online, pp. 170, 2020.
B. S. Kim, J. H. Cho, C. S. Song, and H. G. Hwang, "An implementation of integrated welding inspection information management system for ships and offshore plant," in Proceeding of the 43th Korean Society of Maine Engineering Fall Conference, Busan, pp. 156, 2019.
N. Nacereddine, M. Zelmat, S. S. Belaifa, and M. Tridi, "Weld defect detection in industrial radiography based digital image processing," International Journal of Computer and Information Engineering, vol. 1, no. 2, Jan. 2007.
S. E. Florence, R. V. Samsingh, and V. Babureddy, "Artificial intelligence based defect classification for weld joints," in Proceeding of the 2nd International Conference on Advances in Mechanical Engineering, Chennai, pp. 1-13, 2018.
W. Hou, Y. Wei, Y. Jin, and C. Zhu, "Automatic detection of welding defects using deep neural network," in Proceeding of the 10th International Conference on Computer and Electrical Engineering, Edmonton, pp. 1-10, 2017.
S. M. Shin, C. N. Jin, J. Y. Yu, and S. H. Rhee, "Real-time detection of weld defects for automated welding process base on deep neural network," Journal of Multidisciplinary Digital Publishing Institute, vol. 10, no. 3, pp. 1-16, Mar. 2020.
Y. J. Cruz, M. Rivas, R. Quiza, G. Beruvides, and R. E. Haber, "Computer vision system for welding inspection of liquefied petroleum gas pressure vessels based on combined digital image processing and deep learning techniques," Journal of Multidisciplinary Digital Publishing Institute, vol. 20, no. 16, pp. 1-13, Aug. 2020.
R. K. Kountchev, S. H. Rubin, V. T. Todorov, and R. A. Kountcheva, "A detection of welding defects," in International Journal of Reasoning-based Intelligent Systems, vol. 3, no. 1, pp. 34-43, Dec. 2011.
M. Sundaram, J. P. Jose, and G. Jaffino, "Welding defects extraction for radiographic images using c-means segmentation method," in Proceeding of the International Conference on Communication and Network Technologies, Sivakasi, pp. 79-83, 2014.
H. G. Hwang, B. S. Kim, J. H. Cho, and C. S. Song, "A requirements analysis of integrated data platform for automatic testing of welding quality based on artificial intelligence in shipbuilding and maritime domain," in Proceeding of the 43th Korean Society of Maine Engineering Spring Conference, Mokpo, pp. 272, 2019.
S. J. Oh, B. C. Park, D. S. Shin, C. O. Lim, and S. C. Shin, "Automatic detection of welding area using deep learning," in Proceeding of the Joint Academic Conference of the Korean Association of Ocean Science and Technology Societies, Jeju, pp. 454-460, 2018.
S. J. Oh, B. C. Park, C. O. Lim, and S. C. Shin, "Automatic detection of welding defects using faster R-CNN," in Proceeding of the Society of Naval Architects of Korea Annual Autumn Conference, Changwon, pp. 236-240, 2018.
S. Ren, K. He, R. Girshick, and J. Sun, "Faster R-CNN : Towards real-time object detection with region proposal networks," Advances in neural information processing systems (NIPS), 2015.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.