[논문]딥러닝 기반 초음파 홀로그램 생성 알고리즘 개발

이문환; 황재윤

doi:10.7776/ask.2021.40.2.169

딥러닝 기반 초음파 홀로그램 생성 알고리즘 개발
Development of deep learning-based holographic ultrasound generation algorithm 원문보기

한국음향학회지= The journal of the acoustical society of Korea, v.40 no.2, 2021년, pp.169 - 175

이문환 (대구경북과학기술원 정보통신융합전공) , 황재윤 (대구경북과학기술원 정보통신융합전공)

초록
AI-Helper

최근 입자 조작, 신경 자극 등을 위해 초음파 홀로그램과 그 응용에 대해 연구가 활발히 되고 있다. 하지만 홀로그램을 생성할 송신 신호 위상의 결정은 이전의 시간 소모적인 반복 최적화 방법에서 크게 벗어나지 않고 있다. 이에 본 연구에서는 광학 홀로그램 생성을 위해 활용된 바 있는 딥러닝 기법을 초음파 홀로그램 생성을 위해 적용하여 소개한다. U-Net을 기반으로 알고리즘을 구성하였으며 원 모양의 데이터셋에 대해 학습하고 영어 알파벳에 대해 평가함으로써 그 일반화 가능성을 검증하였다. 또한 시뮬레이션을 통해 기존 알고리즘과 계산속도, 정확도, 균일도 측면에서 비교하였다. 결과적으로 정확도와 균일도는 기존에 비해 다소 떨어지지만 계산속도가 약 190배 빨라졌다. 따라서, 이 결과를 통해 딥러닝 기반 초음파 홀로그램 생성 알고리즘은 기존 방법보다 초음파 홀로그램을 빠르게 형성할 수 있는 것을 확인할 수 있었다.

Abstract ▼ AI-Helper

Recently, an ultrasound hologram and its applications have gained attention in the ultrasound research field. However, the determination technique of transmit signal phases, which generate a hologram, has not been significantly advanced from the previous algorithms which are time-consuming iterative methods. Thus, we applied the deep learning technique, which has been previously adopted to generate an optical hologram, to generate an ultrasound hologram. We further examined the Deep learning-based Holographic Ultrasound Generation algorithm (Deep-HUG). We implement the U-Net-based algorithm and examine its generalizability by training on a dataset, which consists of randomly distributed disks, and testing on the alphabets (A-Z). Furthermore, we compare the Deep-HUG with the previous algorithm in terms of computation time, accuracy, and uniformity. It was found that the accuracy and uniformity of the Deep-HUG are somewhat lower than those of the previous algorithm whereas the computation time is 190 times faster than that of the previous algorithm, demonstrating that Deep-HUG has potential as a useful technique to rapidly generate an ultrasound hologram for various applications.

주제어

표/그림 (5)

그림 Fig. 1. (Color available online) 2D Ultrasound trans-ducer used for the simulation.
그림 Fig. 2. (Color available online) Overview of Deep-HUG. (a) The pipeline of Deep-HUG for training and testing the alogrithm (b) structure of the U-Net based model.
그림 Fig. 3. (Color available online) The phase maps before (a) and after (b) the application of the physical limitations.
그림 Fig. 4. (Color available online) Results of Deep-HUG (a) input images (randomly distributed disks and alphabets (D, G, I, S, T)) (b) simulation results via Deep-HUG (P_rms after normalization).
그림 Fig. 5. (Color available online) Quantitative com-parisons between Deep-HUG and GS algorithms. (a) Computation time (b) accuracy (c) uniformity.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 초음파 홀로그램 생성을 위해 딥러닝 기반 알고리즘, Deep-HUG를 개발하여 그 성능을 평가하고 기존에 널리 사용되는 GS알고리즘과 비교 분석하였다. 더욱이 Deep-HUG를 무작위로 생성된원 모양에 대해 학습시키고 영어 알파벳 모양으로 평가함으로써 초음파 홀로그램 생성에 있어서의 일반화 가능성을 검증했다.
이에 본 연구에서는 비지도 학습을 통해 기존에 비해 더 빠르게 초음파 홀로그램을 생성할 수 있는 딥러닝 기반 초음파 홀로그램 생성 알고리즘(Deep learning-based Holographic Ultrasound Generation, DeepHUG)을 소개한다. 제안하는 알고리즘의 성능을 검증하기 위해서 시뮬레이션을 통해 기존에 일반적으로 사용되는 GS 알고리즘과 속도, 정확도, 균일도에 대해 비교하였다.

가설 설정

(Color available online) Quantitative comparisons between Deep-HUG and GS algorithms. (a) Computation time (b) accuracy (c) uniformity.

제안 방법

보다 정량적으로 Deep-HUG를 평가하고 GS알고리즘과 비교하기 위해 A부터 Z까지 모든 알파벳을 입력 이미지로 사용하였다. 계산속도, 정확도, 균일도를 측정 및 계산하였으며 그 결과는 Fig. 5와 같다.
더 나아가서 원 모양의 초음파 홀로그램을 형성할 수 있도록 학습된 Deep-HUG가 더욱 복잡한 모양을 형성할 수 있는지, 일반화 가능성을 평가하기 위해 영어 알파벳을 입력 이미지로 사용하였다. Fig.
계산 속도는 convolution layer와 커널의 개수, 커널의 크기 등 모델의 크기와 입력 이미지의 크기에 따라서 달라질 수 있으며 그 외에는 일정하다. 더욱 빠른 계산 속도를 위해서는 입력 이미지의 크기를 줄여야 하며 이를 위해서 interleave를 활용하였다.^[22]
본 연구에서는 초음파 홀로그램 생성을 위해 딥러닝 기반 알고리즘, Deep-HUG를 개발하여 그 성능을 평가하고 기존에 널리 사용되는 GS알고리즘과 비교 분석하였다. 더욱이 Deep-HUG를 무작위로 생성된원 모양에 대해 학습시키고 영어 알파벳 모양으로 평가함으로써 초음파 홀로그램 생성에 있어서의 일반화 가능성을 검증했다.
결과적으로 출력되는 위상 정보는 변환자의 물리적 한계, 즉 한정된 소자의 개수와 한 소자에서는 같은 위상의 송신 신호를 보낼 수 있다는 점이 고려되지 않은 연속적인 이미지이다. 따라서 각 소자의 위치에 해당하는 값을 모아 평균을 취한 후, 다시 그 위치에 할당시켜 주었으며 이 값이 2차원 배열형 변환자의 각 소자에서 송신 신호의 위상, Φ_TXDR(x,y)으로 사용되었다(Fig. 3).
보다 정량적으로 Deep-HUG를 평가하고 GS알고리즘과 비교하기 위해 A부터 Z까지 모든 알파벳을 입력 이미지로 사용하였다. 계산속도, 정확도, 균일도를 측정 및 계산하였으며 그 결과는 Fig.
Interleave/De-interleave layer를 통해 입력 이미지를 압축하여 U-Net에 입력할 수 있으며 이를 통해 계산 효율을 높일 수 있다. 본 연구에서는 입력 이미지(192 × 192)를 6 × 6 블록으로 interleave하여 32 × 32 × 36으로 재배열해 U-Net에 입력하였다.
성능 평가 및 비교를 위해 기존에 사용되는 GS알고리즘을 MATLAB 상에서 구현하였으며 GPU 가속을 사용할 수 있게 하는 Parallel Computing Toolbox를 이용하여 계산 속도를 향상시켰다. GS 알고리즘은 반복적인 최적화 방법이므로 반복 횟수에 따라 더욱 최적화된다.
제안하는 알고리즘은 비지도학습 방식으로 학습 된다. 출력된 위상 정보에 대하여 정답을 주고 학습 시키는 것이 아니라 출력된 위상 정보를 토대로 각도 스펙트럼 방법(Angular Spectrum Method, ASM)^[23]을 통해 변환자 면에서 목표 면까지 초음파를 전파 시켜 그 음향장의 진폭과 입력 이미지, 즉 목표 음향 장의 진폭을 비교하여 그 오차를 줄이는 방향으로 학습시킨다.
제안하는 알고리즘은 입력과 출력 간의 공간적 정보 간의 연관성을 고려하기 위해 Fig. 2와 같이 의미 론적 영상 분할을 위해 개발되어 널리 쓰이는 U-Net 모델을 기반으로 구성되었다.^[19] 구체적으로 U-Net 은 convolution layer를 기반으로 입력 영상의 공간적 문맥을 학습하고 이와 연관된 출력을 픽셀 단위로줄 수 있다.
제안하는 알고리즘의 성능을 GS 알고리즘과 비교 하기 위해 각 알고리즘에서 출력된 위상을 토대로 MATLAB에서 k-wave toolbox를 통해 시뮬레이션 하였다. 앞서 언급했듯이 시뮬레이션 결과인 시간 영역 음압으로 P_rms를 계산하여 비교에 사용하였다.
제안하는 알고리즘은 비지도학습 방식으로 학습 된다. 출력된 위상 정보에 대하여 정답을 주고 학습 시키는 것이 아니라 출력된 위상 정보를 토대로 각도 스펙트럼 방법(Angular Spectrum Method, ASM)^[23]을 통해 변환자 면에서 목표 면까지 초음파를 전파 시켜 그 음향장의 진폭과 입력 이미지, 즉 목표 음향 장의 진폭을 비교하여 그 오차를 줄이는 방향으로 학습시킨다.

대상 데이터

두 알고리즘 모두 Intel i7-9700 CPU, NVIDIA GeForce RTX 2080Ti, 32GB 램이 설치된 컴퓨터에서 학습 및 평가되었다.
1). 매질은 물(음속: 1500 m/s)이며 음향감쇠(음향감쇠계수: 0.0022 dB/MHz/cm) 도 고려되었다. 시뮬레이션에서 XYZ는 192 × 192 ×160개의 점으로 구성되었고 각 점 간의 거리는 물에서 2 MHz로 전파되는 음향장을 샘플링하기에 충분한 77 um(= λ/¹⁰⁾으로 설정되었다.
를 사용하여 시뮬레이션하였다. 시뮬레이션에 사용된 변환자는 2 MHz, 16 × 16, 2차원 배열형 변환자이며 소자 간격(Element pitch)은 750 um, 커프(Element kerf)는 75 um로 구성되었다(Fig. 1). 매질은 물(음속: 1500 m/s)이며 음향감쇠(음향감쇠계수: 0.
0022 dB/MHz/cm) 도 고려되었다. 시뮬레이션에서 XYZ는 192 × 192 ×160개의 점으로 구성되었고 각 점 간의 거리는 물에서 2 MHz로 전파되는 음향장을 샘플링하기에 충분한 77 um(= λ/¹⁰⁾으로 설정되었다. 각 소자 송신 신호는 2 MHz 사인파이며 진폭은 모두 동일하게 매질에서 1 MPa에 해당하는 음압을 출력할 수 있도록 설정되었다 위상은 각 알고리즘에서 출력된 값으로 입력된다.
또한 그 위치는 변환자가 위치한 면 위에서 벗어나지 않게 설정되었다. 이미지의 크기는 시뮬레이션 상에서의 XY면의 크기와 동일하게 192 × 192이며 학습에는 총20000개 이미지가, 검증에는 총2000개 이미지가 사용되었다.

데이터처리

각 소자 송신 신호는 2 MHz 사인파이며 진폭은 모두 동일하게 매질에서 1 MPa에 해당하는 음압을 출력할 수 있도록 설정되었다 위상은 각 알고리즘에서 출력된 값으로 입력된다. 시뮬레이션 결과는 192 × 192 × 160개의 점에서 각각 기록된 시간에 따른 음압이며 성능 평가를 위해 실효 음압(P_rms)으로 계산하였다.
제안하는 알고리즘의 성능을 GS 알고리즘과 비교 하기 위해 각 알고리즘에서 출력된 위상을 토대로 MATLAB에서 k-wave toolbox를 통해 시뮬레이션 하였다. 앞서 언급했듯이 시뮬레이션 결과인 시간 영역 음압으로 P_rms를 계산하여 비교에 사용하였다.
이에 본 연구에서는 비지도 학습을 통해 기존에 비해 더 빠르게 초음파 홀로그램을 생성할 수 있는 딥러닝 기반 초음파 홀로그램 생성 알고리즘(Deep learning-based Holographic Ultrasound Generation, DeepHUG)을 소개한다. 제안하는 알고리즘의 성능을 검증하기 위해서 시뮬레이션을 통해 기존에 일반적으로 사용되는 GS 알고리즘과 속도, 정확도, 균일도에 대해 비교하였다.
학습 및 검증 데이터셋과 동일한 방식으로 생성된 이미지에 대해 Deep-HUG를 이용하여 Fig. 4의 첫번째 그림과 같은 결과를 얻을 수 있었다. 학습 데이터와 비슷한 이미지에 대해 위상을 잘 결정하는 것을 확인할 수 있다.

이론/모형

따라서 충분한 횟수만큼 반복해야 하며본 연구에서는 50회 반복되었다. Deep-HUG알고리즘은 TensorFlow 프레임워크를 이용하여 구현하였고 마찬가지로 GPU 가속을 사용하여 학습 및 평가하였다.
딥러닝 기반 알고리즘의 위상 결정에 있어서의 일반화 가능성을 보기 위해 Deep-HUG 알고리즘은 무작위로 겹치지 않게 만든 원들로 구성된 이미지를 이용해 학습되었고 영어 알파벳 이미지로 그 성능이 평가되었다. 학습 데이터셋에서 원의 크기는 300 um ~ 750 um에서 무작위로 결정되었으며 개수는 한 이미지에서 1개 ~ 50개 중 무작위로 생성되었다.
제안하는 알고리즘의 성능을 평가하기 위해 시간 영역 음향 시뮬레이션 공개 툴박스인 k-wave toolbox^[18]를 사용하여 시뮬레이션하였다. 시뮬레이션에 사용된 변환자는 2 MHz, 16 × 16, 2차원 배열형 변환자이며 소자 간격(Element pitch)은 750 um, 커프(Element kerf)는 75 um로 구성되었다(Fig.
이 오차를 0으로 줄여 나가며 학습이 진행되었다. 학습 최적화를 위해서는 ADAM 알고리즘이 사용되었다.

성능/효과

더 나아가서 원 모양의 초음파 홀로그램을 형성할 수 있도록 학습된 Deep-HUG가 더욱 복잡한 모양을 형성할 수 있는지, 일반화 가능성을 평가하기 위해 영어 알파벳을 입력 이미지로 사용하였다. Fig. 4와 같이 Deep-HUG가 영어 알파벳과 같이 복잡한 모양에 대해서도 홀로그램을 형성할 수 있도록 위상을 결정하는 것을 볼 수 있었으며 이는 딥러닝 기반 초음파 홀로그램 형성이 단순히 학습한 이미지에 대해서만 홀로그램을 형성할 수 있는 것이 아니라 그 외의 이미지에 대해서도 적용이 가능하다는, 즉 일반화 가능성을 보이는 결과이다.
결론적으로 본 연구에서는 기존의 반복적 최적화 방법이 아닌 딥러닝을 기반으로 하여 한 번에 초음파 홀로그램을 생성할 수 있는 위상을 결정할 수 있음을 보였다. 향후 모델의 개선, 손실함수의 최적화 등을 통해 빠르면서도 더 정확하게 위상을 결정할 수 있을 것으로 기대되며 이는 다음 연구로서 진행할 계획이다.
GS 알고리즘은 반복적인 최적화 방법이므로 반복 횟수에 따라 더욱 최적화된다. 따라서 충분한 횟수만큼 반복해야 하며본 연구에서는 50회 반복되었다. Deep-HUG알고리즘은 TensorFlow 프레임워크를 이용하여 구현하였고 마찬가지로 GPU 가속을 사용하여 학습 및 평가하였다.
정확도와 균일도에 있어서는 GS알고리즘에 비해 다소 낮은 성능을 보였지만 본 연구에서 U-Net을 기반으로 기본적인 딥러닝 구조를 적용하였음을 고려할 때, SOTA 성능의 구조 채택․ 응용, 데이터셋 다양화, 손실함수 최적화 등을 통해 GS알고리즘에 버금가는 혹은 더 나은 성능을 기대할 수 있다. 예를 들어본 연구에서 사용된 손실 함수 대신 이진 교차 엔트로피를 손실 함수로 사용한다면 픽셀마다의 최적화가 가능할 것이다.
주목할 만한 점은 Deep-HUG는 GS알고리즘에 비해 약190배 빠른 속도로 홀로그램을 생성할 수 있는 위상을 결정하여 실제 관찰을 통한 피드백을 통해 유동적인 초음파 홀로그램을 필요로 하는 입자 조작, 신경 자극에 있어서 필수적인 실시간 초음파 홀로그램 생성을 가능하게 하는 알고리즘으로써 사용될 수 있는 가능성을 보였다는 것이다. 이 상당한 속도 차이는 GS알고리즘은 원하는 음향장 형성을 위한 위상 최적화에 최소 수십번의 입력을 바꾸는 과정이 필요한 반면에 Deep-HUG는 입력 이미지에 대해 각 레이어가 학습 가능하며 픽셀 단위의 출력을 내보내는 U-Net을 활용하여 단 한 번의 실행으로 위상을 결정할 수 있는 것에서 비롯되었다.
따라서 실시간으로 유동적인 초음파 홀로그램 생성을 가능하게 한다. 하지만 정확도와 균일도는 GS 알고리즘과 비교하여 떨어지는 결과를 보여주었다. 주목할 만한 것은 Deep-HUG의 정확도와 균일도가 큰 편차를 가진다는 것인데 이는 Deep-HUG가 학습한 이미지와 큰 차이를 가지는 이미지에 대해서는 낮은 성능을, 학습한 이미지와 비슷한 이미지에 대해서는 GS알고리즘과 비슷한 성능을 낸다는 것을 시사한다.

후속연구

결론적으로 본 연구에서는 기존의 반복적 최적화 방법이 아닌 딥러닝을 기반으로 하여 한 번에 초음파 홀로그램을 생성할 수 있는 위상을 결정할 수 있음을 보였다. 향후 모델의 개선, 손실함수의 최적화 등을 통해 빠르면서도 더 정확하게 위상을 결정할 수 있을 것으로 기대되며 이는 다음 연구로서 진행할 계획이다.

참고문헌 (23)

K. Melde, A. G. Mark, T. Qiu, and P. Ficher, "Holograms for acoustics," Nature, 537, 518-22 (2016).

상세보기
A. Franklina, A. Marzo, R. Malkin, and B. W. Drinkwater, "Three-dimensional ultrasonic trapping of micro-particles in water with a simple and compact two-element transducer," Appl. Phys. Lett. 111, 094101 (2017).

상세보기
L. Cox, K. Melde, A. Croxford, P. Fischer, and B. W. Drinkwater, "Acoustic hologram enhanced phased arrays for ultrasonic particle manipulation," Phys. Rev. Applied, 12, 064055 (2019).

상세보기
Z. Ma, A. W. Holle, K. Melde, T. Qiu, K. Poeppel, V. M. Kadiri, and P. Fischer, "Acoustic holographic cell patterning in a biocompatible hydrogel," Adv Mater. 32, e1904181 (2020).
K. Melde and P. Fischer, "Particle assembly and object propulsion using acoustic holograms," J. Acoust. Soc. Am. 144, 1895-1895 (2018).

상세보기
Y. Hertzberg, O. Naor, A. Volovick, and S. Shoham, "Towards multifocal ultrasonic neural stimulation: pattern generation algorithms," J. Neural Eng. 7, 056002 (2010).

상세보기
Y. Hertzberg and G. Navon, "Bypassing absorbing objects in focused ultrasound using computer generated holographic technique," Med. Phys. 38, 6407-15 (2011).

상세보기
S. Jimenez-Gambin, N. Jimenez, J. M. Benlloch, and F. Camarena, "Holograms to focus arbitrary ultrasonic fields through the skull," Phys. Rev. Applied, 12, 14016-14016 (2019).

상세보기
J. Zhang, Y. Yang, B. Zhu, X. Li, J. Jin, Z. Chen, Y. Chen, and Q. Zhou, "Multifocal point beam forming by a single ultrasonic transducer with 3D printed holograms," Appl. Phys. Lett. 113, 243502-243502 (2018).

상세보기
Y. Cai, S. Yan, Z. Wang, R. Li, Y. Liang, Y. Zhou, X. Li, X. Yu, M. Lei, and B. Yao, "Rapid tilted-plane Gerchberg-Saxton algorithm for holographic optical tweezers," Opt. Express, 28, 12729-12739 (2020).

상세보기
G. Whyte and J. Courtial, "Experimental demonstration of holographic three-dimensional light shaping using a Gerchberg-Saxton algorithm," New J. Phys. 7, 117 (2005).

상세보기
X. Tang, F.Nan, F. Han, and Z. Yan, "Simultaneously shaping the intensity and phase of light for optical nanomanipulation," arXiv: physics Optics. 1910.08244 (2019).
R. W. Gerchberg and W. O. Saxton, "A practical algorithm for the determination of phase from image and diffraction plane pictures," Optik, 35, 237-246 (1972).
G. Situ, J. Suo, and Q. Dai, "Generalized iterative phase retrieval algorithms and their applications," Proc. INDIN. 15505881 (2015).
M. H. Eybposh, N. W. Caira, and M. Atisa, "Deep CGH: 3D computer-generated holography using deep learning," Opt. Express, 28, 26636-26650 (2020).

상세보기
R. Horisaki, R. Takagi, and J. Tanida, "Deep-learning-generated holography," Applied Optics, 57, 3859-3863 (2018).

상세보기
Y. Nishizaki, R. Horisaki, K. Kitaguchi, M. Saito, and J. Tanida, "Analysis of non-iterative phase retrieval based on machine learning," Optical Review, 27, 136-141 (2020).

상세보기
B. E. Treeby, J. Jaros, A. P. Rendell, and B. T. Cox, "Modeling nonlinear ultrasound propagation in heterogeneous media with power law absorption using a k-space pseudospectral method," J. Acoust. Soc. Am. 131, 4324-4336 (2012).

상세보기
O. Ronneberger, P. Fischer, and T. Brox, "U-net: Convolutional networks for biomedical image segmentation," Proc. MICCAI. 234-241 (2015).
W. Yao, Z. Zengb, C. Lian, and H. Tang, "Pixel-wise regression using U-Net and its application on pan-sharpening," Neurocomputing, 312, 364-371 (2018).

상세보기
Z. Zhou, M. M. R. Siddiquee, N. Tajbakhsh, and J. Liang, "Unet++: A nested u-net architecture for medical image segmentation," Proc. DLMIA. 3-11 (2018).
L. Xiao, A. Kaplanyan, and A. Fix, "DeepFocus: learned image synthesis for computational displays," ACM Trans. Graph. 37, 200 (2018).
X. Zeng and R. J. McGough, "Evaluation of the angular spectrum approach for simulations of near-field pressures," J. Acoust. Soc. Am. 123, 68-76 (2008).

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증