선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 이 논문에서는 빅데이터 분석 플랫폼을 구축하여 선박 운항 효율의 이상 상태를 분석하는 방법을 제시한다. 이를 위해 하둡과 스파크를 활용하여 데이터 저장 관리 및 분석 도구를 포함하는 빅데이터 분석 플랫폼을 구성한다.
- 선박의 에너지 효율 분석에 관한 기존 연구들은 분석 기법에 초점을 두고 있다. 이 연구는 선행 연구[3]의 결과를 바탕으로 최신오픈소스 기반 빅데이터 환경인 하둡과 스파크를적용하여 선박 운항 효율의 이상 상태를 탐지하는방법의 개발 및 플랫폼의 구축을 목적으로 한다.
제안 방법
- 구축한 빅데이터 플랫폼을 이용한 운항 효율 이상 상태 탐지 실험을 수행하였다. 이를 위해서 먼저 실제 선박 운항 데이터를 7:3의 비율로 기준 데이터와 신규 데이터로 나누었다.
- 3의 Retrieving CSV fromHDFS). 그리고 가져온 선박 운항 데이터에 대해서 노이즈 데이터를 수행한 후 곡선 피팅 및 인공신경망 학습을 통해 회귀 모델을 생성한다 (Fig. 3의 Data filtering과 Regression analysis). 생성된 회귀 모델은 우선 로컬영역에 저장되는데 쉘 상에서 HDFS제공 명령어를 실행하여 HDFS에 저장한다 (Fig.
- 이를 위해서 먼저 실제 선박 운항 데이터를 7:3의 비율로 기준 데이터와 신규 데이터로 나누었다. 그리고 기준 데이터를 기반으로 생성된 회귀모델에 대해서 기준 데이터와의 오차 ep와 신규 데이터와의 오차 en를 비교했다. 사전에 예상한 것과 같이 비교 결과 두 오차 간의 차이가 매우 작았기 때문에 선박 운항 효율의 변동이 없는 것으로 판단하였다.
- 이를 위해 하둡과 스파크를 활용하여 데이터 저장 관리 및 분석 도구를 포함하는 빅데이터 분석 플랫폼을 구성한다. 그리고 이를 기반으로 기준 선박 운항 데이터를 입력 받아 연료 소모율을 예측하는 회귀분석 모델을 생성한다. 그리고 회귀분석 모델을 신규 운항 데이터와 비교함으로써 운항 효율의 변동을 탐지하는 모듈을 개발한다.
- 그리고 이를 기반으로 기준 선박 운항 데이터를 입력 받아 연료 소모율을 예측하는 회귀분석 모델을 생성한다. 그리고 회귀분석 모델을 신규 운항 데이터와 비교함으로써 운항 효율의 변동을 탐지하는 모듈을 개발한다. 마지막으로 구축된 빅데이터 분석 플랫폼을 이용하여 샘플 선박 운항 데이터에 대해서 이상 상태를 분석하는 실험을 수행한다.
- 그리고 nnet패키지를 사용하여 새로운 선박 운항 데이터가 기준회귀 모델을 따랐을 때의 값을 계산하여 실제 신규선박 운항 데이터 값도 분포도와 함께 그래프로 가시화하였다.
- 3 Converting to CSV 의 ). 다음으로 기준회귀 모델을 사용하여 신규 운항 데이터에 대한 오차를 계산하여 이를 가시화한다. 사용자는 이 오차를 기준 운항 데이터에 대해 계산된 오차와 비교하여 이 두 값의 차이가 클 경우 선박 운항 효율에 변동(이상)이 발생한 것으로 판정한다 (Fig.
- 선박 운항 데이터에서 이상치를 제거하기 위하여, 먼저 FOC-Power 선형 회귀모델을 생성했다. 다음으로 생성된 선형 회귀모델과 데이터 사이의 잔차를 계산하여 정상구간을 벗어나는 값들을 이상치로 판단하고 이를 제거하였다.
- 데이터를 구성하고 있는 변수는 보퍼트 풍력계급 (BFS), 배수량 (displacement), 선박이 물에 잠긴 깊이(draft), 시간당 연료소모량 (FOC), 대지속력(LGS), 대수속력 (LWS), 엔진출력 (power), 프로펠러가 물에 잠긴 정도 (propeller immersion), 분당 엔진회전 수 (RPM), 선박의 기울기 (trim), 선박의 침수면(wetted surface) 및 바람저항 (wind resistance)이다.
- 그리고 회귀분석 모델을 신규 운항 데이터와 비교함으로써 운항 효율의 변동을 탐지하는 모듈을 개발한다. 마지막으로 구축된 빅데이터 분석 플랫폼을 이용하여 샘플 선박 운항 데이터에 대해서 이상 상태를 분석하는 실험을 수행한다.
- 새로운 선박 운항 데이터를 기초로 운항 효율 이상 여부를 파악하기 위해서 먼저 입력 받은 선박운항 데이터의 전처리를 수행하였다. 그리고 nnet패키지를 사용하여 새로운 선박 운항 데이터가 기준회귀 모델을 따랐을 때의 값을 계산하여 실제 신규선박 운항 데이터 값도 분포도와 함께 그래프로 가시화하였다.
- 운항 효율 이상 상태 분석 실험을 위해 전체 선박 운항 데이터를 기준 운항 데이터와 신규 운항데이터로 나누었다 .전체 약 80,000개의 데이터를시간 순서대로 정렬한 뒤 앞단의 70%를 기준 운항데이터로 사용하고 후단의 30%를 신규 운항 데이터로 사용했다.
- 따라서 전체 데이터에서 센서의 오작동이나 잘못된 관측으로 인한 이상치가 존재할 경우 이를 제거해주어야 한다. 이 연구에서는 이상치를 제거하기 위한 기준으로 연료 소모량을 나타내는 FOC와 엔진 출력을 나타내는 Power의 관계를 이용했다. FOC와 Power의 관계는 이론적으로 선형에 가까우며, FOC와 속도 관련 변수인 LWS, LGS, RPM과의 관계와는 달리 BFS 등의 외부 요인의 영향이 적다.
- 맵리듀스는 여러 대의 서버에 작업을 분배하여 분산된 데이터를 쉽고 빠르게 처리할 수있는 기능이다. 이 연구에서는 하둡의 구성요소 중 HDFS를 적용한다.
- 이 논문에서는 빅데이터 분석 플랫폼을 구축하여 선박 운항 효율의 이상 상태를 분석하는 방법을 제시한다. 이를 위해 하둡과 스파크를 활용하여 데이터 저장 관리 및 분석 도구를 포함하는 빅데이터 분석 플랫폼을 구성한다. 그리고 이를 기반으로 기준 선박 운항 데이터를 입력 받아 연료 소모율을 예측하는 회귀분석 모델을 생성한다.
- 구축한 빅데이터 플랫폼을 이용한 운항 효율 이상 상태 탐지 실험을 수행하였다. 이를 위해서 먼저 실제 선박 운항 데이터를 7:3의 비율로 기준 데이터와 신규 데이터로 나누었다. 그리고 기준 데이터를 기반으로 생성된 회귀모델에 대해서 기준 데이터와의 오차 ep와 신규 데이터와의 오차 en를 비교했다.
- 회귀 모델 생성 단계에서는 노이즈 데이터를 제거한 다음 인공신경망 학습을 이용하여 회귀 모델을 생성하였다. 이상 상태 탐지 단계에서는 기준 회귀 모델을 이용하여 신규 선박 운항 데이터의 오차를 분석하여 그값이 기준 선박 운항 데이터에 대해서 계산된 오차보다 클 경우 이상 상태로 판정하였다.
- 를 사용했다. 전처리를 거친 기준 선박 운항 데이터에 대해 인공신경망 회귀분석을 통하여 회귀모델을 생성했다. 생성된 회귀모델을 데이터 분포와 함께 가시화하면 BFS별로 그래프가 나타난다.
- 하둡과 스파크 기반의 오픈소스 기반 빅데이터 플랫폼을 활용하여 선박 운항 효율 이상 상태를 분석하는 방법을 제안하였다. 제안하는 선박 운항 효율 이상 상태 분석 절차 크게 회귀 모델 생성 단계 및 이상 상태 탐지 단계로 구분된다. 회귀 모델 생성 단계에서는 노이즈 데이터를 제거한 다음 인공신경망 학습을 이용하여 회귀 모델을 생성하였다.
- 하둡과 스파크 기반의 오픈소스 기반 빅데이터 플랫폼을 활용하여 선박 운항 효율 이상 상태를 분석하는 방법을 제안하였다. 제안하는 선박 운항 효율 이상 상태 분석 절차 크게 회귀 모델 생성 단계 및 이상 상태 탐지 단계로 구분된다.
- 제안하는 선박 운항 효율 이상 상태 분석 절차 크게 회귀 모델 생성 단계 및 이상 상태 탐지 단계로 구분된다. 회귀 모델 생성 단계에서는 노이즈 데이터를 제거한 다음 인공신경망 학습을 이용하여 회귀 모델을 생성하였다. 이상 상태 탐지 단계에서는 기준 회귀 모델을 이용하여 신규 선박 운항 데이터의 오차를 분석하여 그값이 기준 선박 운항 데이터에 대해서 계산된 오차보다 클 경우 이상 상태로 판정하였다.
- 회귀 모델 생성을 위해서 먼저 MATLAB 파일형식의 기준 운항 데이터 (base navigation data)를 처리가 용이한 CSV (comma-separated values) 파일형식으로 변환하고 BFS별로 구분된 데이터들을 하나로 병합한다 (Fig. 3의 Converting to CSV). 병합된 선박 운항 데이터는 로컬 영역에 저장이 되는데 쉘(shell) HDFS 상에서 제공 명령어를 실행하여 HDFS에 저장한 후 로컬영역에 있는 데이터를 제거한다(Fig.
대상 데이터
- 이 연구에서 사용된 선박 운항 데이터를 보면 BFS가 2에서 9사이의 구간에 이는 데이터가 대부분이고 이 데이터들은 정규 분포를 갖는다. 그래서 유의미한 데이터 분석을 할 수 있다고 판단되어 이구간의 데이터만을 분석에 사용하였다.
- 데이터는 MATLAB 파일로 되어있으며 각 데이터는 Table 1과 같이 12개의 변수로 구성된다. 데이터를 구성하고 있는 변수는 보퍼트 풍력계급 (BFS), 배수량 (displacement), 선박이 물에 잠긴 깊이(draft), 시간당 연료소모량 (FOC), 대지속력(LGS), 대수속력 (LWS), 엔진출력 (power), 프로펠러가 물에 잠긴 정도 (propeller immersion), 분당 엔진회전 수 (RPM), 선박의 기울기 (trim), 선박의 침수면(wetted surface) 및 바람저항 (wind resistance)이다.
- 이 연구에 사용된 선박 운항 데이터는 한 척의국제 상선에서 획득한 데이터로 그 수는 약 80,000개이다. 데이터는 Fig.
- 이 연구에서 사용된 운항 데이터는 선박 한 척에 대해서 특정 기간에 수집한 데이터로써 빅데이터라고 하기에는 양이 많지 않다. 하지만 해운사들은 운영 중인 다수의 선박에 대해서 전 운용 기간 동안의 데이터를 수집하고 분석하여 운항의 효율성을 극대화하는 노력을 하고 있다.
- 운항 효율 이상 상태 분석 실험을 위해 전체 선박 운항 데이터를 기준 운항 데이터와 신규 운항데이터로 나누었다 .전체 약 80,000개의 데이터를시간 순서대로 정렬한 뒤 앞단의 70%를 기준 운항데이터로 사용하고 후단의 30%를 신규 운항 데이터로 사용했다.
데이터처리
- 이 연구에서는 Yu et al.[3]의 연구 결과를 참고하여 기준 선박운항 데이터의 변수 중 FOC, RPM, BFS에 대해서 인공신경망을 이용한 회귀분석을 수행하였다. 인공 신경망의 경우 충분한 데이터가 갖춰지면 다른 수학적인 해석이 필요없이 다중 변수 및 비선형성을 포함한 데이터에 대한 학습이 가능하다.
이론/모형
- R에서 인공신경망 회귀분석을 사용하기 위해서 nnet패키지[10]를 사용했다. 전처리를 거친 기준 선박 운항 데이터에 대해 인공신경망 회귀분석을 통하여 회귀모델을 생성했다.
- 선박 운항 효율의 변동 판단 척도가 되는 오차계산은 RMSE(root mean square deviation) 계산법을사용한다. 기준 회귀모델과 신규 운항 데이터간의 잔차를 구한 후에 RMSE 계산법을 적용한다. 오차는 절대오차(absolute error)와 상대오차(relative error) 두가지로 나뉜다.
- 절대오차는 위에서 구한 RMSE 계산 값을 그대로 사용한다. 상대오차는 기준 회귀 모델과 신규 운항 데이터간의 잔차와 신규 운항 데이터와의 비율을 계산한 후 RMSE 계산법을 적용한다. 운항 효율이 변동한 것으로 판단하는 기준은 신규 운항 데이터에서 계산된 오차가 기준 운항 데이터에서 계산된 오차보다 클 경우로 한다.
- 그리고 해상 상태에 따라 흔들리는 선박의 상황을 고려할 때 선박에 고정되어 있는 엔진과 관련 있는 변수에 대한 측정값에 비해 선박의 흔들림에 따라 변동이 발생하는 액체 연료 소모량에 대한 측정값에 이상치가 많을 것으로 판단했다. 선박 운항 데이터에서 이상치를 제거하기 위하여, 먼저 FOC-Power 선형 회귀모델을 생성했다. 다음으로 생성된 선형 회귀모델과 데이터 사이의 잔차를 계산하여 정상구간을 벗어나는 값들을 이상치로 판단하고 이를 제거하였다.
- 선박 운항 효율의 변동 판단 척도가 되는 오차계산은 RMSE(root mean square deviation) 계산법을사용한다. 기준 회귀모델과 신규 운항 데이터간의 잔차를 구한 후에 RMSE 계산법을 적용한다.
- 정상구간은 잔차의 분포가 정규분포를 이룬다고 가정한 상태에서 통계학의 표준 점수 계산 공식(1)을 사용하여 결정하였다. 표준 점수는 통계학적으로 정분포를 만들고 각각의 경우가 표준편차 상에서 어디에 위치하는지를 보여주는 차원 없는 값이다.
성능/효과
- 인공신경망 회귀분석으로 생성된 회귀모델은 BFS의 값에따라 총 8개의 다른 색으로 분리되어 나타났다. 그래프의 형태는 RPM 값이 증가함에 따라 FOC 값이점점 증가하는 곡선형태로 나타났으며 BFS 값이 높을수록 곡선의 기울기는 더 크게 나타났다.
- FOC와 Power의 관계는 이론적으로 선형에 가까우며, FOC와 속도 관련 변수인 LWS, LGS, RPM과의 관계와는 달리 BFS 등의 외부 요인의 영향이 적다. 그리고 해상 상태에 따라 흔들리는 선박의 상황을 고려할 때 선박에 고정되어 있는 엔진과 관련 있는 변수에 대한 측정값에 비해 선박의 흔들림에 따라 변동이 발생하는 액체 연료 소모량에 대한 측정값에 이상치가 많을 것으로 판단했다. 선박 운항 데이터에서 이상치를 제거하기 위하여, 먼저 FOC-Power 선형 회귀모델을 생성했다.
- 그리고 기준 데이터를 기반으로 생성된 회귀모델에 대해서 기준 데이터와의 오차 ep와 신규 데이터와의 오차 en를 비교했다. 사전에 예상한 것과 같이 비교 결과 두 오차 간의 차이가 매우 작았기 때문에 선박 운항 효율의 변동이 없는 것으로 판단하였다.
- [7]은 배수량, 방형계수, 프루드수 (Froude number)와 보퍼트 풍력계급 (BFS; beaufortforce scale)에 따른 선속 손실량 약산식을 제안했다.제안된 선속 손실량 약산식은 모든 선박에 대해 범용적으로 간단하게 사용할 수 있지만 특정 조건의 선박에 대해서는 정확도가 떨어진다. Kim et al.
후속연구
- 하지만 해운사들은 운영 중인 다수의 선박에 대해서 전 운용 기간 동안의 데이터를 수집하고 분석하여 운항의 효율성을 극대화하는 노력을 하고 있다. 이 연구는 이를 지원하기 위한 프로토타입을 개발한 것에 의미가 있으며 향후에는 다수의 선박에 대해서 장기간 수집된 데이터를 활용하여 운항 효율의 이상 상태 분석을 수행할 계획이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.