IoT 및 금융 거래 실시간 데이터 정보의 압축 전송을 위한 새로운 고효율 유니버설 코드(BL-beta) 제안 New high-efficient universal code(BL-beta) proposal for com pressed data transferring of real-time IoT sensing or financia l transaction data원문보기
IoT device 측정 데이터 또는 거래 데이터는 관측 정보가 실시간으로 전송되고 이를 처리하는 과정에서 많은 트래픽이 발생한다. 이를 실시간 무 손실 압축 기법인 universal code를 이용하면 효과적으로 압축 또는 전송할 수 있다. 본 논문은 측정 수치의 최대 범위를 예측하기 어렵고, 매우 짧은 시간 마다 비교적 일정한 범위 내에서 데이터가 발생하는 주식 거래량 데이터의 압축 전송을 위해, 본 연구진의 새롭게 개발한 유니버설 코드 BL-beta를 이용하여 압축 전송에 적용해보니, 고정 길이 비트 전송에 비해 최소 49.5%이상의 높은 압축 효율을 보였으며, 기존 유니버설 코드인 Exponential Golomb 코드 보다 16.6% 더 우수한 압축 전송 성능을 나타내었다.
IoT device 측정 데이터 또는 거래 데이터는 관측 정보가 실시간으로 전송되고 이를 처리하는 과정에서 많은 트래픽이 발생한다. 이를 실시간 무 손실 압축 기법인 universal code를 이용하면 효과적으로 압축 또는 전송할 수 있다. 본 논문은 측정 수치의 최대 범위를 예측하기 어렵고, 매우 짧은 시간 마다 비교적 일정한 범위 내에서 데이터가 발생하는 주식 거래량 데이터의 압축 전송을 위해, 본 연구진의 새롭게 개발한 유니버설 코드 BL-beta를 이용하여 압축 전송에 적용해보니, 고정 길이 비트 전송에 비해 최소 49.5%이상의 높은 압축 효율을 보였으며, 기존 유니버설 코드인 Exponential Golomb 코드 보다 16.6% 더 우수한 압축 전송 성능을 나타내었다.
While IoT device sensing data or financial transaction data is transmitted in real time, huge data traffic is generated in processing it. This huge data can be effectively compressed or transmitted using universal code, which is a real-time lossless compressor. In this paper, we propose our BL-beta ...
While IoT device sensing data or financial transaction data is transmitted in real time, huge data traffic is generated in processing it. This huge data can be effectively compressed or transmitted using universal code, which is a real-time lossless compressor. In this paper, we propose our BL-beta code, which is newly developed universal code for compressing stock trading data, which the maximum range of measured values is difficult to predict and is generated within a relatively constant range over a very short period of time. For compressing real-time stock trading data, Compared with the fixed length bit transmission, the compression efficiency is at least 49.5% higher than that of the fixed length bit transmission, and the compression transmission performance is 16.6% better than the Exponential Golomb code.
While IoT device sensing data or financial transaction data is transmitted in real time, huge data traffic is generated in processing it. This huge data can be effectively compressed or transmitted using universal code, which is a real-time lossless compressor. In this paper, we propose our BL-beta code, which is newly developed universal code for compressing stock trading data, which the maximum range of measured values is difficult to predict and is generated within a relatively constant range over a very short period of time. For compressing real-time stock trading data, Compared with the fixed length bit transmission, the compression efficiency is at least 49.5% higher than that of the fixed length bit transmission, and the compression transmission performance is 16.6% better than the Exponential Golomb code.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
1에서 언급한 바와 같이 IoT 장비 또는 금용 거래 등에서 발생하는 실시간 수치 데이터를 효과적으로 압축 또는 전송하기 위하여 유니버설코드(Universal Code)의 장점을 살리면서, 압축률이 다소 낮은 단점을 보완하기 위하여 본 논문에서는 본 연구의 저자가 직접 개발한 새로운 유니버설 코드의 사용을 제안하고자 하였다. H.264등 비디오 압축 표준에서 사용되고 있는 Exp onential Golomb 코드의 접두사 코드(Prefix code)를 본 연구에서는 reversed form 의 BL-alpha로 대체하여 새롭게 생성하였고, 이 코드를 BL-beta 코드라고 명명하였고 이를 활용하여 기존 유니버설 코드보다 향상된 압축률을 보일 수 있음을 증명하고자 하였다.
본 연구는 1.1에서 언급한 바와 같이 IoT 장비 또는 금용 거래 등에서 발생하는 실시간 수치 데이터를 효과적으로 압축 또는 전송하기 위하여 유니버설코드(Universal Code)의 장점을 살리면서, 압축률이 다소 낮은 단점을 보완하기 위하여 본 논문에서는 본 연구의 저자가 직접 개발한 새로운 유니버설 코드의 사용을 제안하고자 하였다. H.
제안 방법
이러한 코드를 본 연구에서는 BL-alpha 코드라고 명명하였는데, BL-alpha 코드와 아래 표2와 같이 가장 기본적인 유니버설 코드의 한 종류인 unary code와 비교하여 보면, 그림1과 같은 code-num에 따른 코드의 길의 증가가 매우 완만하게 증가함을 알 수 있다. 이렇게 완만하게 증가하는 방식을 본 논문에서는 buffered elongation이라고 하였다.
code-num의 분포가 영상압축에서는 Exponential Golomb 코드가 유리할 수 있지만, code-num의 상한 또는 하한을 예측하기 어렵고, peak 값을 가진 code-num의 출현 확률이 비교적 낮으면서, 특정한 범위 내에서 주로 균등하게 발생하는 금융거래 데이터 또는 IoT 센싱 데이터 등에 사용할 경우 압축효율이 급격히 떨어지는 문제가 있다. 이에 본 연구에서는 Exponential Golomb 코드의 접두 코드부를 BL-alpha로 대체하고 접미 코드로서 direct binary를 결합하여 새로운 유니버설 코드를 새롭게 개발하였고 이를 BL-beta 코드라고 명명하였다[13].
표4에서처럼 Unary code로 구성된 Exponential Golomb Code의 접두코드를 BL-alpha 코드로 치환하였는데, 그 방식은 BL-alpha 코드를 그대로 치환하는 것이 아니라, BL-alpha 코드의 reversed form 형태로 치환하여 “01”을 기준으로 접두 코드부와 접미 코드부를 구분할 수 있도록 하였다.
이론/모형
표3의 Exponential Golomb code의 접두 코드 부를 BL-alpha 코드로 대체한다면 code-num 이 충분히 커지더라도 더 작은 비트에서 표현이 가능해질 것으로 예측되었다. 이때 유일 복호성 유지를 위해 Exponential Golomb code 의 접두 코드를 역순(Reversed form)의 BL-alpha를 사용하였다. 먼저 이와 같은 접두부 코드로서 BL-alpha코드의 생성 방법을 아래 절에 상술하였다.
성능/효과
따라서 실시간 무 손실 압축에서 code-num이 매우 큰 값이 들이 특이적으로 발생하면서도 대다수는 일정한 범위 내에서 발생하는 통계 특성을 가진 데이터의 압축에 있어서 기존 유니버설 코드들보다 더 좋을 성능을 나타낼 수 있을 것으로 예상 되었다[15-16].
본 연구에서는 저자가 새롭게 제안한 BL-beta코드를 이용하여 IoT 센싱 데이터, 금융거래 데이터 등 실시간 무손실 데이터 전송 압축에서 Exponential Golomb 코드와 비교하여 더욱 높은 압축률을 나타내었고, 그 구현 알고리즘 또한 간단하여, 하드웨어적으로 또는 소프트웨어적으로 구현이 용이할 것으로 생각되었다. 매우 짧은 간격으로 갱신되면서, 매우 편차가 큰 상한 값 또는 하한 값이 희귀하게 발생하면서도, 비교적 일정한 범위 내에 데이터가 집중해서 발생하는 발생 분포 유형에서 무 손실 압축 전송을 위하여 높은 압축률을 나타냈다. 구체적으로는 주식/환율거래와 같은 각종 금융거래 데이터, IoT sensing data, 과학 계산용 측정데이터, 의료영상 데이터등 실제 산업분야에도 사용할 수 있을 것으로 판단되며, 추가 연구를 통해 매우 거대한 크기의 정수 데이터에 있어서도 BL-beta 코드와 비교하여 압축 효율을 연구할 예정이다.
본 연구에서는 저자가 새롭게 제안한 BL-beta코드를 이용하여 IoT 센싱 데이터, 금융거래 데이터 등 실시간 무손실 데이터 전송 압축에서 Exponential Golomb 코드와 비교하여 더욱 높은 압축률을 나타내었고, 그 구현 알고리즘 또한 간단하여, 하드웨어적으로 또는 소프트웨어적으로 구현이 용이할 것으로 생각되었다. 매우 짧은 간격으로 갱신되면서, 매우 편차가 큰 상한 값 또는 하한 값이 희귀하게 발생하면서도, 비교적 일정한 범위 내에 데이터가 집중해서 발생하는 발생 분포 유형에서 무 손실 압축 전송을 위하여 높은 압축률을 나타냈다.
Golomb 코드로 압축 전송시 전송 데이터 량을 비교해 보면 아래 그림 9과 같다. 위와 같은 거래량 데이터를 전송 시 fixed length 로 보내는 경우보다는 BL-beta로 보낼 경우 49.5%의 까지 트래픽을 절감할 수 있음을 알 수 있다. 다양한 응용분야에서 정수데이터 전송 시 사용되는 Exponential Golomb 코드의 경우[17-18] 보다도 16.
표1에 따르면, 자연수 또는 정수로 이루어진 code-num에 대하여 1:1로 바이너리 클러스터가 할당되고, 각 바이너리 클러스터는 유일복호성이 있기 때문에 유니버설 코드로 활용할 수 있음을 알 수 있다. 이러한 코드를 본 연구에서는 BL-alpha 코드라고 명명하였는데, BL-alpha 코드와 아래 표2와 같이 가장 기본적인 유니버설 코드의 한 종류인 unary code와 비교하여 보면, 그림1과 같은 code-num에 따른 코드의 길의 증가가 매우 완만하게 증가함을 알 수 있다. 이렇게 완만하게 증가하는 방식을 본 논문에서는 buffered elongation이라고 하였다.
표3의 Exponential Golomb code의 접두 코드 부를 BL-alpha 코드로 대체한다면 code-num 이 충분히 커지더라도 더 작은 비트에서 표현이 가능해질 것으로 예측되었다. 이때 유일 복호성 유지를 위해 Exponential Golomb code 의 접두 코드를 역순(Reversed form)의 BL-alpha를 사용하였다.
후속연구
매우 짧은 간격으로 갱신되면서, 매우 편차가 큰 상한 값 또는 하한 값이 희귀하게 발생하면서도, 비교적 일정한 범위 내에 데이터가 집중해서 발생하는 발생 분포 유형에서 무 손실 압축 전송을 위하여 높은 압축률을 나타냈다. 구체적으로는 주식/환율거래와 같은 각종 금융거래 데이터, IoT sensing data, 과학 계산용 측정데이터, 의료영상 데이터등 실제 산업분야에도 사용할 수 있을 것으로 판단되며, 추가 연구를 통해 매우 거대한 크기의 정수 데이터에 있어서도 BL-beta 코드와 비교하여 압축 효율을 연구할 예정이다.
특히 측정 장치의 특성상 비교적 짧은 시간 간격마다 데이터를 수집해서 전송해야 하는데[4-6], 이때 많은 연산 및 사전 공간을 필요로 하는 사전 방식(dictionary type) 압축 방법보다는 유니버설 코드를 이용한 무 사전 방식의 실시간 압축 방법을 활용하면 별도의 사전을 위한 공간이 불필요하고, 간단한 연산을 통해 효과적으로 수치 데이터를 압축 전송할 수 있을 것으로 예상 할 수 있다. 또한 주식 거래량 데이터와 같은 금용거래 데이터의 통계적 특성도 유사한 모습을 보이는데 이러한 분야에 본 연구에서 제안한 BL-beta 유니버설 코드를 이용한 압축전송 방법을 활용할 수 있을 것으로 기대되었다.
질의응답
핵심어
질문
논문에서 추출한 답변
유니버설코드란 무엇인가?
유니버설코드(Universal Code)는 임의의 정수 또는 자연수(이하 code-num 이라함)를 간단한 연산을 통해 변환된 유일 복호성(unique decodability)를 가진 이진수 코드로서, 데이터 압축 방법 중의 하나이다[1]. 구현 용이성, 실시간 압축 등의 장점이 있으나, 일반적으로 사전 기반 압축 방법에 비해서 압축 효율이 다소 떨어지는 단점이 있었다[2].
IoT 장비로부터의 실시간 수치 데이터 전송량이 급격히 늘어나는 이유는 무엇인가?
구현 용이성, 실시간 압축 등의 장점이 있으나, 일반적으로 사전 기반 압축 방법에 비해서 압축 효율이 다소 떨어지는 단점이 있었다[2]. 그런데 최근 외부 환경 정보를 감지하여 수치화한 뒤 전송하는 IoT 측정 장비들이 다수 보급되면서 IoT 장비로부터의 실시간 수치 데이터의 전송량이 급격히 늘고 있다[3]. 특히 측정 장치의 특성상 비교적 짧은 시간 간격마다 데이터를 수집해서 전송해야 하는데[4-6], 이때 많은 연산 및 사전 공간을 필요로 하는 사전 방식(dictionary type) 압축 방법보다는 유니버설 코드를 이용한 무 사전 방식의 실시간 압축 방법을 활용하면 별도의 사전을 위한 공간이 불필요 하고, 간단한 연산을 통해 효과적으로 수치 데이터를 압축 전송할 수 있을 것으로 예상 할 수 있다.
수신 측에서 원래의 바이너리 클러스터를 재조합 할 수 있는 이유는 무엇인가?
임의의 '10'으로 시작하는 이진수의 경우, 예를 들어,'1011101010010101111101001ⵈ' 의 경우 최 상위 비트(the most significant bit)로 부터 최하위 비트(the l east significant bit)로 이동하면서, '10'을 만날 때 마다 데이터를 분할하면, '1011/10/10/100/10/101111/10/1001' 로 분할되는데 각각의 분할되는 이진수를 바이너리 클러스터(Binary Cluster)라고 명명하였다. 이 바이너리 클러스터는 유일복호성이 있다. 따라서 각각의 바이너리 클러스터를 분할하여 전송하여도 수신 측에서 이를 원래의 바이너리 클러스터를 재조합 할 수 있다.
참고문헌 (18)
Y. -S. Ho and H. Jin, "Information theory and lossless encoding method", pp. 157-277, Seoul: Do-Yang Sa, 2009.
D. A. Huffman, "A method for the construction of minimum redundancy codes," in Proc. I.R.E., pp. 1098-1101, 1952.
I.J. Hwang, Y.S. Lee, S.G. Lee, and I.J. Yeom, "Naming-based Packet Header Compression Technique for Internet-of-Things", The Fall Conference of Korea Institute of Communication Science, 2015.
Li X.; Hu G.; Gao S. A novel B-mode ultrasound image compression method based on beam forming data. in Proc. 20th Annu. Int. Conf. IEEE Engineering in Medicine and Biology Society, no. 3, pp. 1274-1276, 1998.
Cheng P.; Shen C.; Li P. MPEG Compression of Ultrasound RF Channel Data for a Real-Time Software-Based Imaging System. IEEE Trans. Ultrason. Ferroelect. Freq. Contr. , no. 59, pp. 1413-1420, 2012.
Lok U.; Fan G.; Li P. "Lossless Data Compression for Improving the Performance of a GPU-Based Beamformer", Ultrason. Imaging, no. 37, pp. 135-151, 2015.
J. H. Kim, "Binary data compression and decompression apparatus and method thereof", , Korea Patent 10-1467684-0000, 2014.
J. H. Kim, "Manchester coding of compressed binary clusters for reducing IoT healthcare device's digital data transfer time", The Journal of Korea Institute of Information, Electronics, and Communication Technology, Vol 8, No. 6, pp.460-469, 2015.
S. Nakatsuka, T. Hamabe, Y. Takeuchi, and M. Imai, "An efficient lossless data compression method based on exponential-Golomb coding for biomedical information and its implementation using ASIP technology," IEEE Biomed. Circuits Syst. Conf. (BioCAS), pp. 382-385, Dec. 2013.
S. W. Golomb, "Run-length encodings," IEEE Trans. Inf. Theory, vol. 12, no. 3, pp. 399-401, Jul. 1996.
L. Li and K. Chakrabarty, "On using exponential-Golomb codes and subexponential codes for system-on-a-chip test data compression," J. Electron. Test., Vol. 20, No. 6, pp. 667-670, 2004.
Kim, J.H., Yeo, S., Kim, J.W., Kim, K., Song, T., Yoon, C., Sung, J. "Real-Time Lossless Compression Algorithm for Ultrasound Data Using BL Universal Code", Preprints 2018080309, 2018.
Y. -S. Ho and S. -H. Kim, "Understanding and analysis of H.264/AVC algorithm and program.", pp. 197-198, Seoul: Do-Yang Sa, 2009.
P. Elias, "Universal codeword sets and representations of the integers," IEEE Trans. Inf. Theory, vol. 21, no. 2, pp. 194-203, 1975.
P. Fenwick, "Elias omega and Even-Rodeh codes," in Lossless Compression Handbook, K. Sayood, Ed. California: Elsevier, pp. 59-60, 2003.
S. Nakatsuka, T. Hamabe, Y. Takeuchi, M. Iami, "An Efficient Lossless Data Compression Method based on Exponential-Golomb Coding for Biomedical Information and its Implementation using ASIP Technology", 2013 IEEE Biomedical Circuits and Systems Conference(BioCAS), 2013.
E. Chua and W.-C. Fang, "Mixed Bio-Signal Lossless Data Compressor for Portable Brain-Heart Monitoring Systems", IEEE Transactions on Consumer Electronics, vol. 57, no. 1, pp. 267-273, 2011.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.