[국내논문]천리안 해양관측위성의 배포서비스 향상을 위한 자료 처리 효율화 방안 연구 An Efficient Data Processing Method to Improve the Geostationary Ocean Color Imager (GOCI) Data Service원문보기
세계 최초의 정지궤도 해양관측위성인 천리안 해양관측위성(Geostationary Ocean Color Imagers;GOCI)의 자료 품질을 유지하면서도 용량을 줄임으로써 자료 배포 서비스를 향상시키기 위한 방법을 검토하였다. 레벨-2 자료는 압축만으로도 약 92.9%의 용량 절약을 할 수 있지만, 레벨-1 자료는 압축으로 인한 용량 절약이 약 20.7%에 그치기 때문에 또 다른 접근 방식이 필요하였다. 이 연구에서는 위성 영상 자료의 양자화 비트 수(12비트)가 레벨-1 자료의 픽셀 당 비트 수(32비트)보다 작게 설정되어 있다는 점에 착안하여, 레벨-1 자료에 대해 최적화된 픽셀 당 비트 수를 찾고자 하였다. $R^2$와 변조전달함수(Modulation Transfer Function, MTF)를 이용한 실험 결과, 레벨-1 자료의 픽셀 당 비트 수를 14비트까지 줄이더라도 위성 영상자료의 품질 저하가 없다는 것을 정량적으로 확인하였다. 또한, Ns2 (Network Simulator 2)를 이용한 네트워크 평가 결과, 레벨-1 자료의 경우 픽셀 당 비트 수를 14비트까지 줄였을 때 배포시간을 약 57.7% 줄일 수 있었고, 레벨-2 자료의 경우 압축을 이용하여 92.9%까지 파일 크기를 줄였을 때 배포시간을 약 92.5% 줄일 수 있었다.
세계 최초의 정지궤도 해양관측위성인 천리안 해양관측위성(Geostationary Ocean Color Imagers;GOCI)의 자료 품질을 유지하면서도 용량을 줄임으로써 자료 배포 서비스를 향상시키기 위한 방법을 검토하였다. 레벨-2 자료는 압축만으로도 약 92.9%의 용량 절약을 할 수 있지만, 레벨-1 자료는 압축으로 인한 용량 절약이 약 20.7%에 그치기 때문에 또 다른 접근 방식이 필요하였다. 이 연구에서는 위성 영상 자료의 양자화 비트 수(12비트)가 레벨-1 자료의 픽셀 당 비트 수(32비트)보다 작게 설정되어 있다는 점에 착안하여, 레벨-1 자료에 대해 최적화된 픽셀 당 비트 수를 찾고자 하였다. $R^2$와 변조전달함수(Modulation Transfer Function, MTF)를 이용한 실험 결과, 레벨-1 자료의 픽셀 당 비트 수를 14비트까지 줄이더라도 위성 영상자료의 품질 저하가 없다는 것을 정량적으로 확인하였다. 또한, Ns2 (Network Simulator 2)를 이용한 네트워크 평가 결과, 레벨-1 자료의 경우 픽셀 당 비트 수를 14비트까지 줄였을 때 배포시간을 약 57.7% 줄일 수 있었고, 레벨-2 자료의 경우 압축을 이용하여 92.9%까지 파일 크기를 줄였을 때 배포시간을 약 92.5% 줄일 수 있었다.
We proposed and verified the methods to maintain data qualities as well as to reduce data volume for the Geostationary Ocean Color Imager (GOCI), the world's first ocean color sensor operated in geostationary orbit. For the GOCI level-2 data, 92.9% of data volume could be saved by only the data comp...
We proposed and verified the methods to maintain data qualities as well as to reduce data volume for the Geostationary Ocean Color Imager (GOCI), the world's first ocean color sensor operated in geostationary orbit. For the GOCI level-2 data, 92.9% of data volume could be saved by only the data compression. For the GOCI level-1 data, however, just 20.7% of data volume could be saved by the data compression therefore another approach was required. First, we found the optimized number of bits per a pixel for the GOCI level-1 data from an idea that the quantization bit for the GOCI (i.e. 12 bit) was less than the number of bits per a pixel for the GOCI level-1 data (i.e. 32 bit). Experiments were conducted using the $R^2$ and the Modulation Transfer Function (MTF). It was quantitatively revealed that the data qualities were maintained although the number of bits per a pixel was reduced to 14. Also, we performed network simulations using the Network Simulator 2 (Ns2). The result showed that 57.7% of the end-toend delay for a GOCI level-1 data was saved when the number of bits per a pixel was reduced to 14 and 92.5% of the end-to-end delay for a GOCI level-2 data was saved when 92.9% of the data size was reduced due to the compression.
We proposed and verified the methods to maintain data qualities as well as to reduce data volume for the Geostationary Ocean Color Imager (GOCI), the world's first ocean color sensor operated in geostationary orbit. For the GOCI level-2 data, 92.9% of data volume could be saved by only the data compression. For the GOCI level-1 data, however, just 20.7% of data volume could be saved by the data compression therefore another approach was required. First, we found the optimized number of bits per a pixel for the GOCI level-1 data from an idea that the quantization bit for the GOCI (i.e. 12 bit) was less than the number of bits per a pixel for the GOCI level-1 data (i.e. 32 bit). Experiments were conducted using the $R^2$ and the Modulation Transfer Function (MTF). It was quantitatively revealed that the data qualities were maintained although the number of bits per a pixel was reduced to 14. Also, we performed network simulations using the Network Simulator 2 (Ns2). The result showed that 57.7% of the end-toend delay for a GOCI level-1 data was saved when the number of bits per a pixel was reduced to 14 and 92.5% of the end-to-end delay for a GOCI level-2 data was saved when 92.9% of the data size was reduced due to the compression.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
각 원소들의 범위가 232이던 D32 자료 집합이 각 원소들의 범위가 2t인 Dt로 정규화 되어 변환된다. 이 과정에서 손실이 발생할 수 있는데, 어느 정도 수준으로 픽셀당 비트의 범위를 축소해야 품질은 유지하면서 최대한 용량을 줄일 수 있는가에 대해 알아보았다.
위성 자료를 효율적으로 배포하기 위해서는 자료의 품질을 유지하면서도 용량을 최대한 줄이기 위한 노력이 필요하다. 이 연구에서는 GOCI 자료의 품질을 손상시키지 않으면서도 최대한 용량을 줄이기 위한 방법을 찾는데 목적을 두고 있다. 이러한 자료 처리 효율성의 향상을 통해 배포 서비스를 개선할 수 있으며, 데이터베이스 서버의 저장 용량 및 전용 인터넷 회선의 유지비용 등을 줄임으로써 운영 비용을 절감할 수 있을 것이라 판단된다.
이 연구에서는 세계 최초의 정지궤도 해양관측위성인 천리안 해양관측위성(Geostationary Ocean Color Imager, GOCI)의 자료 배포 서비스를 향상 시키기 위해 위성 영상 자료의 품질은 유지하면서 용량을 줄이는 방안을 연구하였다. 레벨-1 자료에 대해서는 픽셀 당 비트 수를 줄이는 방법을, 레벨-2 자료에 대해서는 압축하는 방식을 각각 이용하였다.
관측된 아날로그 영상을 디지털화 할 때, 양자화 비트수가 12비트라는 점을 감안해 보면, 레벨-1 자료의 형식이 32비트 부호 없는 정수형으로 설정되어 있다는 것은 많은 낭비가 있다는 것을 내포하고 있다. 이 연구에서는 현재 레벨-1 자료에 어느 정도의 낭비가 내포되어 있는지 확인하고, 자료의 픽셀당 비트 수를 축소하는 방법을 이용하여 자료의 품질은 유지하면서도 최대한 얼마나 용량을 줄일 수 있는가 검토해 보았다.
이 때, 반드시 지켜져야 할 제약 조건 중 하나는 용량이 줄어들면서도 자료의 품질은 그대로 유지되어야 한다는 것이다. 이 연구에서는1) 압축,2) 자료의 비트 수 축소 등의 방법을 이용하여 자료의 품질은 유지하면서도 용량을 최소화할 수 있는 방안을 검토하였다.
가설 설정
edu/nsnam/ns/)를 이용한 네트워크 성능 평가를 수행하여, 위성 영상 자료의 용량이 줄어듦에 따라 배포 시간을 얼마나 단축시킬 수 있는지 실험하였다. 네트워크 토폴로지는 Fig. 8과 같이 설정하였으며, 국외 배포 기관은 2개, 국내 배포 기관은 3개라고 각각 가정하였다. 전송 계층 프로토콜로는 Transmission Control Protocol (TCP)를, 응용 계층 프로토콜로는 File Transfer Protocol (FTP)를 각각 사용하였다.
제안 방법
GOCI 영상 자료의 용량을 줄일 경우 배포 서비스가 얼마나 향상되는지 확인하기 위해 Network Simulator 2(Ns2, http://www.isi.edu/nsnam/ns/)를 이용한 네트워크 성능 평가를 수행하여, 위성 영상 자료의 용량이 줄어듦에 따라 배포 시간을 얼마나 단축시킬 수 있는지 실험하였다. 네트워크 토폴로지는 Fig.
, 2013). MTF 측정 정확도를 높이기 위하여, 사용한 영상 밴드는 관측 지역의 지상 타겟과 해양의 복사량 차이가 가장 큰 865nm 이며, 이 영상 자료의 픽셀 당 비트 수를 32부터 10까지 줄여가면서 MTF를 측정하였다. 실험 결과는 Fig.
여기서 주목할 만한 점은, 가공되지 않은 아날로그 위성 자료를 디지털화할 때 양자화 비트수가 12비트임에도 불구하고 레벨-1자료의 형식은 이보다 두 배 이상 큰 32비트 부호 없는 정수형으로 설정되어 있다는 것이다. 따라서, 이 연구에서는 이와 같은 문제를 해결하기 위해 레벨-1 자료의 픽셀당 비트 수를 축소하는 방법을 사용한다. 이 방법은 현재 32비트 부호 없는 정수형으로 설정되어 있는 레벨-1자료의 픽셀 당 비트 수를 줄임으로써 용량을 줄이는 것이다.
이 연구에서는 세계 최초의 정지궤도 해양관측위성인 천리안 해양관측위성(Geostationary Ocean Color Imager, GOCI)의 자료 배포 서비스를 향상 시키기 위해 위성 영상 자료의 품질은 유지하면서 용량을 줄이는 방안을 연구하였다. 레벨-1 자료에 대해서는 픽셀 당 비트 수를 줄이는 방법을, 레벨-2 자료에 대해서는 압축하는 방식을 각각 이용하였다. R2 값과 변조전달함수(ModulationTransfer Function, MTF)를 통해 제안한 방법의 유효성(Availability)을 확인하였으며, Ns2를 통한 네트워크 시뮬레이션 결과, 레벨-1 자료는 픽셀 당 비트 수를 현재 32비트에서 14비트까지 줄였을 때, 약 57.
4는 픽셀 당 비트 수 t가 32부터 10까지 줄어들 때, 레벨-1과 레벨-2 자료 각각에 대한 D32와 Dt간의 R2 값 즉, R2 (D32, Dt)와 비트 수 t에 따른 파일 크기를 비교한 것이다. 레벨-1은 8개 밴드 값을 평균하였고, 레벨-2는 레벨-1 Dt를 이용하여 산출한 엽록소 농도 자료를 기준으로 하였으며, 2012년 동안의 자료를 평균하여 적용하였다. 레벨-1과 레벨-2 자료 모두 t가 32부터 14까지 줄어들 때 R2 값이 거의 1에 가까운 것을 확인할 수 있다.
org/software/gzip/)을 이용하여 압축한 후 배포서비스 하고 있다. 이 연구에서는 마이크로소프트 윈도우 운영체제에서 수많은 위성 자료를 일괄적으로 압축하기 위한 명령 라인 인터페이스(Command Line Interface) 지원과 라이선스 문제가 없는 압축 소프트웨어가 필요하였고, 이러한 요구사항들을 모두 만족하는 대표적인 오픈 소스 압축 소프트웨어인 7-zip (http://www.7-zip.org/)을 사용하여 압축을 수행하였다. 레벨-2와 레벨-3 자료는 마스킹을 통해 유효하지 않은 해색 자료를 제외하고 있기 때문에, 압축을 통해 많은 용량을 줄일 수 있지만, 레벨-1 자료는 모든 픽셀에 대해 복사량 값을 가지고 있기 때문에 압축만으로는 만족할 만한 용량 축소를 달성할 수 없다.
정량적인 영상 품질을 비교하기 위해 픽셀 당 비트 수를 32부터 10까지 줄여가면서 변조전달함수(Modulation Transfer Function, MTF; Oh et al., 2012)의 변화를 확인하였다. MTF는 영상의 해상력과 선예도를 정량적으로 측정할 수 있는 주파수 전달 함수로써 픽셀 당 비트 수가 줄어들 때 영상 품질이 얼마나 손상되는지 파악할 수 있도록 도와준다(Jeon et al.
대상 데이터
, 2012). 공간해상도 500m 급의 위성 영상에서 MTF를 계산하기 위하여 Fig. 6과 같이 2012년 10월 16일 12:30에 관측한 새만금방조제 지역을 선택하였다(Oh et al., 2013). MTF 측정 정확도를 높이기 위하여, 사용한 영상 밴드는 관측 지역의 지상 타겟과 해양의 복사량 차이가 가장 큰 865nm 이며, 이 영상 자료의 픽셀 당 비트 수를 32부터 10까지 줄여가면서 MTF를 측정하였다.
GOCI로부터 관측된 아날로그 자료는 12비트 수준의 양자화(Quantization)를 거쳐 디지털화된다. 이 디지털 자료는 기하보정 및 대기보정을 거쳐 총 31,648,395개(가로 5,567개, 세로 픽셀 5,685개) 의 픽셀로 이루어진 2차원 복사(Radiance) 영상 자료로 변환된다(Han et al., 2010; Ryu et al., 2012). 각 스펙트럼 밴드마다 이와 같은 2차원 복사 영상 자료가 필요하므로 총 8개의 밴드에 대한 영상 자료가 한 조를 이루게 된다.
이론/모형
8과 같이 설정하였으며, 국외 배포 기관은 2개, 국내 배포 기관은 3개라고 각각 가정하였다. 전송 계층 프로토콜로는 Transmission Control Protocol (TCP)를, 응용 계층 프로토콜로는 File Transfer Protocol (FTP)를 각각 사용하였다. 레벨-1 자료에 대한 실험 결과를 Table 4에, 레벨-2 자료에 대한 실험 결과를 Table 5에 각각 나타냈다.
성능/효과
레벨-1 자료에 대해서는 픽셀 당 비트 수를 줄이는 방법을, 레벨-2 자료에 대해서는 압축하는 방식을 각각 이용하였다. R2 값과 변조전달함수(ModulationTransfer Function, MTF)를 통해 제안한 방법의 유효성(Availability)을 확인하였으며, Ns2를 통한 네트워크 시뮬레이션 결과, 레벨-1 자료는 픽셀 당 비트 수를 현재 32비트에서 14비트까지 줄였을 때, 약 57.7%의 배포 시간을 절약할 수 있고, 레벨-2 자료는 압축률이 92.9%일때약 92.5%의 배포 시간을 절약할 수 있다는 것을 확인할 수 있었다.
, 2010). 관측된 아날로그 영상을 디지털화 할 때, 양자화 비트수가 12비트라는 점을 감안해 보면, 레벨-1 자료의 형식이 32비트 부호 없는 정수형으로 설정되어 있다는 것은 많은 낭비가 있다는 것을 내포하고 있다. 이 연구에서는 현재 레벨-1 자료에 어느 정도의 낭비가 내포되어 있는지 확인하고, 자료의 픽셀당 비트 수를 축소하는 방법을 이용하여 자료의 품질은 유지하면서도 최대한 얼마나 용량을 줄일 수 있는가 검토해 보았다.
레벨-1 자료에 대한 실험 결과를 Table 4에, 레벨-2 자료에 대한 실험 결과를 Table 5에 각각 나타냈다. 레벨-1 자료의 경우 픽셀 당 비트 수를 32에서 14로 줄였을 때 약 57.7%의 배포 시간을 절약할 수 있었고, 레벨-2 자료의 경우 압축을 통해 92.9%까지 파일 크기를 줄였을 때 약 92.5%의 배포 시간을 절약할 수 있었다. 이와 같은 결과를 토대로 레벨-1 자료는 픽셀 당 비트 수를 줄이는 방법을 사용하고, 레벨-2 자료는 압축을 사용했을 경우 배포 서비스를 향상 시킬 수 있다는 것을 확인할 수 있었다.
7과 같으며, 각 결과 그래프 왼쪽 아래에 위성 영상 자료를 함께 제시하였다. 위성 영상 자료의 픽셀 당 비트 수가 14비트보다 큰 경우에는 안정적이고 선형적인 함수 모양이 나타나고 나이퀴스트(Nyquist) 주파수에서 MTF값 0.11로 동일하게 계산되는 반면, 비트 수가 14비트보다 작아지면서 고주파수 대역에서 샘플링 값이 튀는 현상 등 함수 모양이 불안정해지면서 비선형적으로 나타나는 것을 확인할 수 있다. 특히, 레벨-1 D10에 대한 주파수 0.
5%의 배포 시간을 절약할 수 있었다. 이와 같은 결과를 토대로 레벨-1 자료는 픽셀 당 비트 수를 줄이는 방법을 사용하고, 레벨-2 자료는 압축을 사용했을 경우 배포 서비스를 향상 시킬 수 있다는 것을 확인할 수 있었다.
이 결과는 픽셀 당 비트수가 14비트까지 줄어들더라도 32비트일 때와 차이가 없다는 것을 의미한다. 즉, 하나의 픽셀을 표현하는데 14비트만을 할당하더라도 영상 품질 저하 없이 파일 크기를 약 56% 줄이는 결과를 얻을 수 있다. 한편, t가 14보다 작아질 경우 R2 값이 1에서 멀어지는 경향을 보였으며, 이는 영상 품질 저하가 발생한다는 것을 의미한다.
5는 2012년 4월 17일 12:30에 관측한 GOCI 레벨1 자료에 대하여 픽셀 당 비트 수를 32부터 줄여가면서 산출한 레벨-2 엽록소 농도 자료를 비교한 것이다. 픽셀 당 비트 수를 32부터 14까지 적용한 결과에 대해서는 서로 유사한 분포를 보이면서 영상 품질 저하가 거의 없는 반면, 픽셀 당 비트수가 14보다 작아지는 경우 영상 품질 저하가 발생하기 시작하는 것을 확인할 수 있다(Fig. 5a). 이것은 Fig.
후속연구
이 연구에서는 GOCI 자료의 품질을 손상시키지 않으면서도 최대한 용량을 줄이기 위한 방법을 찾는데 목적을 두고 있다. 이러한 자료 처리 효율성의 향상을 통해 배포 서비스를 개선할 수 있으며, 데이터베이스 서버의 저장 용량 및 전용 인터넷 회선의 유지비용 등을 줄임으로써 운영 비용을 절감할 수 있을 것이라 판단된다.
향후 연구로 이 연구의 결과를 GOCI 자료처리 및 배포시스템에 직접 적용하는 일이 계획되어 있다. 이 과정에서 고려되어야 할 사항으로는 다음과 같은 것들이 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
기존의 해양관측위성과 GOCI의 차이점은 무엇인가?
, 2012). Moderate-Resolution Imaging Spectroradiometer(MODIS)- Aqua, Sea-viewing Wide Field-of-view Sensor (SeaWiFS) 등 기존의 해양관측위성들은 극궤도에서 운영되므로 시간 해상도가 상대적으로 낮은 반면에, GOCI는 정지 궤도로 운영되면서 한반도 주변 해역을 하루에 여덟 번 관측하고 있기 때문에 반일주조의 조석변화나 적조 검출과 같은 시급성이 요구되는 임무나 과업을 성공적으로 수행해 낼 수 있다(Choi et al., 2012; Yang et al.
정부3.0이란 무엇인가?
정부3.0이란 공공 정보를 적극 개방 및 공유하고, 소통 및 협력함으로써 국정과제에 대한 추진동력을 확보하고 국민 맞춤형 서비스를 제공함과 동시에 일자리 창출과 창조경제를 지원하는 새로운 정부운영 패러다임을 의미한다. 천리안 해양관측위성(Geostationary Ocean Color Imager, GOCI) 자료는 탁도, 식물성플랑크톤, 적조, 녹조 등 한반도 주변 해양환경 정보를 매 한 시간 마다 제공할 수 있기 때문에 국민생활의 질 향상을 위한 중요한 공공정보로 활용될 수 있다.
레벨-1 자료의 픽셀당 비트 수를 축소하는 방법이란 무엇인가?
따라서, 이 연구에서는 이와 같은 문제를 해결하기 위해 레벨-1 자료의 픽셀당 비트 수를 축소하는 방법을 사용한다. 이 방법은 현재 32비트 부호 없는 정수형으로 설정되어 있는 레벨-1자료의 픽셀 당 비트 수를 줄임으로써 용량을 줄이는 것이다.
참고문헌 (13)
Ahn, J.H., Y.J. Park, J.H. Ryu, B. Lee, and I.S. Oh, 2012. Development of Atmospheric Correction Algorithm for Geostationary Ocean Color Imager (GOCI). Ocean Science Journal, 47: 247-259.
Cho, S.I., Y.H. Ahn, J.H. Ryu, G.S. Kang, and H.S. Youn, 2010. Development of Geostationary Ocean Color Imager (GOCI), Korean Journal of Remote Sensing, 26(2): 157-165 (in Korean with English abstract).
Choi, J.K., Y.J. Park, J.H. Ahn, H.S. Lim, J. Eom, and J.H. Ryu, 2012. GOCI, the world's first geostationary ocean color observation satellite, for the monitoring of temporal variability in coastal water turbidity. Journal of Geophysical Research-Oceans, 117.
Choi, J.K., H. Yang, H.J. Han, J.H. Ryu, and Y.J. Park, 2013. Quantitative estimation of the suspended sediment movements in the coastal region using GOCI. Journal of Coastal Research, SI: 1367-1372.
Davis, L.S., 1975. A survey of edge detection techniques. Computer Graphics and Image Processing, 4: 248-270.
Han, H.J., J.H. Ryu, and Y.H. Ahn, 2010. Development the Geostationary Ocean Color Imager (GOCI) Data Processing System (GDPS). Korean Journal of Remote Sensing, 26(2): 239-249 (in Korean with English abstract).
Jeon, B.I., H. Kim, and Y.K. Chang, 2012. A MTF Compensation for Satellite Image Using Lcurve-based Modified Wiener Filter. Korean Journal of Remote Sensing, 28(5): 561-571 (in Korean with English abstract).
Oh, E., S.W. Kim, S.I. Cho, J.H. Ryu, and Y.H. Ahn, 2012. Initial On-Orbit Modulation Transfer Function Performance Analysis for Geostationary Ocean Color Imager. Journal of Astronomy and Space Sciences, 29: 199-208.
Oh, E., K.B. Ahn, S.I. Cho, and J.H. Ryu, 2013. A Modulation Transfer Function Compensation for the Geostationary Ocean Color Imager (GOCI) Based on the Wiener Filter. Journal of Astronomy and Space Sciences, 30(4): 321-326.
Ryu, J.H., H.J. Han, S. Cho, Y.J. Park, and Y.H. Ahn, 2012. Overview of geostationary ocean color imager (GOCI) and GOCI data processing system (GDPS). Ocean Science Journal, 47: 223-233.
Yang, H., J.H. Ahn, H.J. Han, J.H. Ryu, and Y.J. Park, 2012. How Cloud-Free Areas Increase with Eight Times Observations of Geostationary Ocean Color Imager. International Symposium on Remote Sensing (ISRS 2012).
Yang, H., J.M. Ryu, H.J. Han, J.H. Ryu, and Y.J. Park, 2012. Ocean Disaster Detection System (OD2S) using Geostationary Ocean Color Imager (GOCI). Journal of the Korea society of IT services, 11: 177-189 (in Korean with English abstract).
※ AI-Helper는 부적절한 답변을 할 수 있습니다.