[논문]초음파 방사힘을 이용한 손바닥의 촉각 인식과 응용

김선애; 김태양; 이열음; 이수연; 정목근; 권성재

doi:10.7776/ask.2019.38.4.467

초음파 방사힘을 이용한 손바닥의 촉각 인식과 응용
Haptic recognition of the palm using ultrasound radiation force and its application 원문보기

한국음향학회지= The journal of the acoustical society of Korea, v.38 no.4, 2019년, pp.467 - 475

김선애 (대진대학교 전기 및 전자공학부) , 김태양 (대진대학교 전기 및 전자공학부) , 이열음 (대진대학교 전기 및 전자공학부) , 이수연 (대진대학교 전기 및 전자공학부) , 정목근 (대진대학교 전기 및 전자공학부) , 권성재 (대진대학교 휴먼IT융합학부)

초록
AI-Helper

고출력의 초음파는 매질을 진행하면 음향 흐름과 음향 방사힘을 만들어낸다. 공기를 매질로 하는 3차원 공간상에 음향 방사힘을 발생시키면 입체적인 촉감을 형성할 수 있으므로 공간적인 정보를 직접 피부에 촉각으로 전달할 수 있다. 본 논문은 40 kHz의 작은 초음파 송신자 154개를 묶어 오목한 형태로 배열시켜서 초음파를 송신하여 집속초점에서 음향 방사힘을 발생시켰다. 초음파 음장의 초점의 근처에서 음향 방사힘에 의한 촉각을 확인하였다. 촉각 감도를 올리기 위하여 송신 초음파를 60 Hz의 구형파로 진폭 변조를 하였다. 초음파 촉각의 응용으로 음향 방사힘이 형성되는 허공에 촉각이 감지되는 영역을 형성시켜서, 손의 위치를 지정하는 지시자로 사용하였다. 촉각이 감지되는 초점위치에 있는 손의 모양을 영상 입력으로 받아서 손가락의 개수를 기계에 피드백하는 시스템을 구현함으로써 초음파를 이용한 촉각의 유용성을 확인하였다.

Abstract ▼ AI-Helper

A high-intensity ultrasound wave generates acoustic streaming and acoustic radiation forces when propagating through a medium. An acoustic radiation force generated in a three-dimensional space can produce a solid tactile sensation, delivering spatial information directly to the human skin. We placed 154 ultrasound transmit elements with a frequency of 40 kHz on a concave circular dish, and generated an acoustic radiation force at the focal point by transmitting the ultrasound wave. To feel the tactile sensation better, the transmit elements were excited by sine waves whose amplitude was modulated by a 60 Hz square wave. As an application of ultrasonic tactile sensing, a region where tactile sense is formed in the air is used as an indicator for the position of the hand. We confirmed the utility of ultrasonic tactile feedback by implementing a system that provides the number of fingers to a machine by receiving the shape of the hand at the focal point where the tactile sense is detected.

주제어

표/그림 (13)

그림 Fig. 1. The overall system architecture.
그림 Fig. 2. The spatial field distribution of a single ultrasound transmit element.
그림 Fig. 3. The spatial field distribution of a concave ultrasound transmit module of diameter 24 cm.
그림 Fig. 4. The axial field distribution of a concave ultrasound transmit module.
그림 Fig. 5. The lateral field distribution of a concave ultrasound transmit module at focal depth.
그림 Fig. 6. Photograph of the concave ultrasound transmit module consisting of 154 ultrasound transmit elements connected in parallel, where a camera and an LED light source are placed in the center.
표 Table 1. Measurement of weight (mg) as a function of the number of ultrasound transmit elements and depth (cm).
그림 Fig. 7. The paper is shown to be pushed upward by acoustic streaming.
표 Table 2. Measurement of weight (g) as a function of the number of ultrasound transmit elements at a depth of 20.3 cm.
그림 Fig. 8. Comparison of the relative sensitivity of the tactile sensation as a function of the modulation frequency with the dashed-line graph representing the curve-fitted result.
그림 Fig. 9. The left, middle, right images represent the process of finding the palm center, and are, respectively, the palm, its binary image showing the boundary, and the red dot marking its center of mass obtained using the distance transformation matrix, along with a circle drawn around the center.
그림 Fig. 10. Monitor screenshot where three fingers are recognized and the number 3 is displayed.
그림 Fig. 11. Photograph of the entire system.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문은 40 kHz의 집속된 초음파를 이용하여 공기 중의 3차원 공간에 음향 방사힘을 형성시켰다. 초음파의 출력을 증가시키기 위하여 최대 154개의 소형 송신자를 묶어서 사용하였고, 촉각의 민감도를 증가시키기 위하여 초음파를 진폭 변조하여 송신하였다.

가설 설정

5 cm이며 직경이 24 cm가 되는 오목한 형태의 디스크 형태의 송신자에서 초음파를 송신할 때 공간상에 형성되는 초음파 음장의 상대적인 크기 분포를 나타내었다. 시뮬레이션을 간단히 하기 위하여 송신자는 배열 형태가 아닌 하나의 송신자로 가정하였다. Figs.

제안 방법

피부 표면에 가까운촉각과 관련이 있는 수용기는 진동과 같이 변화하는움직임에 민감하게 반응하며 수용기에 따라 수십 Hz 범위 혹은 수백 Hz의 범위에서 잘 반응한다.^[4] 따라서 듀티비가 50 %의 구형파로 진폭 변조하여 초음파를 송신하고 변조 주파수 별로 사람이 느끼는 상대적인 촉감의 세기를 비교하였다. Fig.
초음파의 출력을 증가시키기 위하여 최대 154개의 소형 송신자를 묶어서 사용하였고, 촉각의 민감도를 증가시키기 위하여 초음파를 진폭 변조하여 송신하였다. 구현한 초음파 송신 시스템의 방사힘을 공간의 위치 정보를 촉각을 이용하여 전달하는 방법으로 사용하였고, 방사힘이 발생하는 공간상에서 손가락의 정보를 기계에 피드백함으로써 초음파를 이용한 촉각의 유용성을 확인하였다.
또한 초음파 신호를 변조하면 촉감의 강도가 증가함을 확인하였다. 본 실험에서는 음향 방사힘을 일으키는 공간상의 초점 위치에 촉각을 이용하여 손을 가져가도록 하는 지시자 역할을 하였다. 지정된 위치에 있는 손의 영상에서 손가락의 개수를 파악하는 영상 처리를 적용하여 손가락의 개수에 따라 필요한 제어에 응용할 수 있음을 보였다.
실시간으로 받아들여진 영상은 PC에서 영상처리를 하여 손가락의 개수를 세어서 그 숫자에 따라 다른 제어의 입력 명령으로 사용한다. 본 실험에서는 주먹을 쥔 상태와 5개의 손가락을 편 개수에 따라 6가지를 구별하여 손가락의 개수를 인식하도록 하였다. PC에서 영상처리 구현을 위하여 사용한 프로그램은 Visual Studio 2015와 OpenCV 3.
비디오 카메라에서 받은 영상에서 피부색을 검출하기 위하여 RGB 형식의 데이터를 YCrCb 형식으로 바꾸었다. 영상에서 피부색과 같은 색깔 범위만 분리하여 배경에서 손의 영역을 분리하였다.
촉감이 느껴지는 공간에 손을 가져다 대어서 카메라를 이용하여 손의 모양을 영상으로 받는다. 오목한 형태의 초음파 송신기의 가운데에 비디오 카메라를 설치하고 비디오 카메라의 양옆에 두 개의 흰색LED(light-emitting diode)를 붙여서 손에 대한 조명으로 사용하였다. 실시간으로 받아들여진 영상은 PC에서 영상처리를 하여 손가락의 개수를 세어서 그 숫자에 따라 다른 제어의 입력 명령으로 사용한다.
영상에서 피부색과 같은 색깔 범위만 분리하여 배경에서 손의 영역을 분리하였다. 이 데이터를 이진 영상으로 바꾼 뒤에 손바닥의 영역에 해당하는 픽셀에서 인접 경계까지의 최단 거리를 계산하는 알고리즘을 적용하여 손바닥영역의 등가질량중심점을 찾는다. OpenCV 라이브러리에서는 거리 변환 행렬을 계산하는 함수인 distanceTransform() 함수를 제공하며, 거리 변환 행렬에서 결괏값이 가장 큰 픽셀의 좌표와 값을 얻어오는데, 이것이 바로 손바닥영역의 등가질량 중심점이다.
5 cm의 아크릴반구에 154개의 초음파 송신자를 붙여서 만든 배열 구조의 사진이다. 초음파 음향 출력을 내기 위하여 10개의 오디오용 D급 디지털 파워 증폭기를 사용하였고, 6개의 증폭기에는 각각 15개씩, 4개의 증폭기에는 각각 16개씩의 송신자를 병렬로 묶어서 연결시키고 송신자에 가해지는 신호의 전압은 20 Vpp가 되도록 하였다. 작은 송신자를 여러 개 묶어서 사용할 경우, 집속점에서 나타나는 음향 방사힘의 크기는 사용한 소자의 개수에 비례하여 커진다.
따라서 작은 크기의 초음파 송신자를 쉽게 구할 수 있어 이를 사용하였다. 초음파의 공간상의 전달 특성을 확인하기 위하여 초음파의 음장을 컴퓨터 모사로 계산하였다.^[20]Fig.
초음파의 방사힘을 만들기 위하여 40 kHz의 초음파 송신자를 154개를 사용하여 오목한 형태의 배치로 묶어서 23.5 cm 깊이에 집속하여 송신하였다. 시뮬레이션에서는 20.
1은 전체 시스템의 구조이다. 초음파의 송신 음압을 크게 하기 위하여 154개의 초음파 송신자를 오목한 형태로 배열시키고 한 점의 초점 깊이에 초음파를 집속시켰다.
0002 μbar를 기준으로 115 dB의 음압을 나타낸다. 초음파의 음향 방사힘의 유무와 특성을 확인하기 위하여 정밀 저울의 표면에 초음파를 송신하여 나타나는 등가질량 변화를 측정하였다.^[22] 음향 파워 PWR은
본 논문은 40 kHz의 집속된 초음파를 이용하여 공기 중의 3차원 공간에 음향 방사힘을 형성시켰다. 초음파의 출력을 증가시키기 위하여 최대 154개의 소형 송신자를 묶어서 사용하였고, 촉각의 민감도를 증가시키기 위하여 초음파를 진폭 변조하여 송신하였다. 구현한 초음파 송신 시스템의 방사힘을 공간의 위치 정보를 촉각을 이용하여 전달하는 방법으로 사용하였고, 방사힘이 발생하는 공간상에서 손가락의 정보를 기계에 피드백함으로써 초음파를 이용한 촉각의 유용성을 확인하였다.
154개 송신자에서 모두 송신한 경우 초점 깊이에서 760 mg의 등가질량으로 측정되었다. 촉감 실험에서는 10명의 피험자에게 촉감이 느껴지는지 관찰하였다. 오목한 구조의 기하학적인 초점 깊이는 23.
그래프에서 원점은 주관적 수치의 평균값이며, 점선은 평균값을 곡선 근사를 하여 표시하였다. 피험자는 초점 근처에서 손바닥을 위 아래로 움직여서 촉각이 가장 세기가 큰 정도를 측정값으로 정하였다. 주파수를 바꾸어 줄 때 10 Hz 정도의 주파수 차이는 잘 구별하지 못했다.

대상 데이터

본 실험에서는 주먹을 쥔 상태와 5개의 손가락을 편 개수에 따라 6가지를 구별하여 손가락의 개수를 인식하도록 하였다. PC에서 영상처리 구현을 위하여 사용한 프로그램은 Visual Studio 2015와 OpenCV 3.1 라이브러리를 이용하였다.
실험에 사용한 초음파 송신자는 40 kHz의 주파수에서 공진하는 압전소자가 들어있는 직경 12 mm의 원통 구조이다. 데이터북에 의하면 송신 전압을 20Vpp를 인가하면 0 dB = 0.

성능/효과

따라서 초음파에 의한 촉각은 빠르게 반응하는 수용기에서 주로 감지됨을 알 수 있다. 10명의 피험자에 대하여 변조파를 송신했을 때, 송신자 개수에 따른 촉감의 정도는 30개를 송신했을 때 피험자 모두가 촉감을 느끼기 시작했으며, 93개부터는 모두 확실히 느낄 수 있었다. 따라서 연속파 보다는 변조파에 촉감을 더 잘느낌을 알 수 있다.
3 cm 깊이에 정밀 저울을 마주보고 배치하여 측정한 값이다. 154개 송신자에서 모두 송신한 경우 초점 깊이에서 760 mg의 등가질량으로 측정되었다. 촉감 실험에서는 10명의 피험자에게 촉감이 느껴지는지 관찰하였다.
손바닥을 대면 바람 부는 것과 같은 감각을 느낄 수 있었다. 그리고 손을 고정하여 움직이지 않는 것보다 손을 공간에서 휘젓듯이 천천히 움직이면 촉감을 더 잘느낄 수 있었다. 특히 음장의 축방향으로 손을 움직이면 촉감의 세기가 달라진다.
초점에서 초음파의 출력을 증가시키기 위하여 154개의 송신자를 묶어서 사용하였지만 수십 개의 송신자만으로도 촉각을 형성시킬 수 있었다. 또한 초음파 신호를 변조하면 촉감의 강도가 증가함을 확인하였다. 본 실험에서는 음향 방사힘을 일으키는 공간상의 초점 위치에 촉각을 이용하여 손을 가져가도록 하는 지시자 역할을 하였다.
피부에 직접 닿는 초음파도 방사힘을 발생시키므로, 이를 확인하기 위하여 초음파 송신기와 손의 피부 사이에 식품보관용 비닐 랩으로 막아서 음향 흐름을 제거하면 대부분의 피험자에게서 촉감의 크기가 거의 나타나지 않았다. 비닐 랩을 통과한 초음파의 세기는 많이 감쇠할 것으로 추정되지만 아주 민감한 피험자의 경우 비닐 랩을 통과한 초음파에 의한 미약한 촉감을 느낄 수 있었다. 따라서 초음파 송신자에 의한 촉감을 일으키는 요인이 음향 흐름과 음향 방사힘이 모두 작용하고 있음을 추정할 수 있다.
한 개의 송신자에서 나오는 초음파 방사힘의 등가질량이 수 mg 정도 되었다. 손바닥에 수백 mg 정도의 물체를 떨어뜨렸을 때 무게를 촉감으로 감지할 수 있으므로, 실험 결과를 보면 수백 개의 송신자를 사용하여 집속을 하면 수백 mg 정도의 등가질량의 음향 방사힘을 얻을 수 있을 것으로 추정할 수 있다.
5 cm 깊이에 집속하여 송신하였다. 시뮬레이션에서는 20.3 cm 깊이에서 음장의 최대치가 나타났다. 초음파가 집속되는 3차원 공간의 초점 근처에 손바닥을 위치시키면 축방향으로 시가 형태의 긴 영역에서 간지러운 느낌의 촉각을 확인할 수 있었다.
주파수를 바꾸어 줄 때 10 Hz 정도의 주파수 차이는 잘 구별하지 못했다. 실험에서 60 Hz 근처의주파수를 가지는 구형파로 진폭 변조했을 때 가장 잘느껴진다고 확인되었고 100 Hz 이상에서는 감도의 변화가 거의 없었다. 따라서 초음파에 의한 촉각은 빠르게 반응하는 수용기에서 주로 감지됨을 알 수 있다.
이는 초점 근처의 초음파 음장이 시가(cigar) 형태의 모양으로 깊이 방향으로 길게 형성되며, 따라서 음향 흐름에 의하여 발생하는 공기의 흐름도 시가 형태로 형성되기 때문이다. 연속파를 송신했을 때, 송신자 개수에 따른 촉감의 정도는 아크릴 반구의 가운데에 있는 61개를 송신했을 때 민감한 피험자는 촉감을 느끼기 시작했으며, 덜 민감한 피험자의 경우에는 92개부터 느끼기 시작하고 123개에서는 모두 확실히 느낄 수 있었다.
Table 1에 정밀저울의 측정값을 정리하였다. 정밀저울 측정 실험에서 송신자의 개수를 늘려서 병렬로 연결하면 측정된 등가질량도 송신자의 개수와 비례하여 늘어나며, 송신자와 저울 사이의 거리가 멀수록 초음파 신호의 감쇠에 의하여 측정된 등가질량이 줄어드는 경향을 확인할 수 있었다. 한 개의 송신자에서 나오는 초음파 방사힘의 등가질량이 수 mg 정도 되었다.
본 실험에서는 음향 방사힘을 일으키는 공간상의 초점 위치에 촉각을 이용하여 손을 가져가도록 하는 지시자 역할을 하였다. 지정된 위치에 있는 손의 영상에서 손가락의 개수를 파악하는 영상 처리를 적용하여 손가락의 개수에 따라 필요한 제어에 응용할 수 있음을 보였다.
3 cm 깊이에서 음장의 최대치가 나타났다. 초음파가 집속되는 3차원 공간의 초점 근처에 손바닥을 위치시키면 축방향으로 시가 형태의 긴 영역에서 간지러운 느낌의 촉각을 확인할 수 있었다. 초점 근처에서 물리적인 공기의 흐름을 확인함으로써 촉감을 일으키는 주요 원인은 음향 흐름에 의한 것으로 추정하며 피부에 직접 닿는 초음파에 의한 방사힘도 촉감을 일으키는 요인이 될 수 있음을 확인하였다.
초음파가 집속되는 3차원 공간의 초점 근처에 손바닥을 위치시키면 축방향으로 시가 형태의 긴 영역에서 간지러운 느낌의 촉각을 확인할 수 있었다. 초점 근처에서 물리적인 공기의 흐름을 확인함으로써 촉감을 일으키는 주요 원인은 음향 흐름에 의한 것으로 추정하며 피부에 직접 닿는 초음파에 의한 방사힘도 촉감을 일으키는 요인이 될 수 있음을 확인하였다. 초점에서 초음파의 출력을 증가시키기 위하여 154개의 송신자를 묶어서 사용하였지만 수십 개의 송신자만으로도 촉각을 형성시킬 수 있었다.

질의응답

핵심어	질문	논문에서 추출한 답변
	음향 흐름은 무엇인가?	고출력의 초음파가 균일한 매질의 유체 안에서 진행할 때 비선형 효과로 인하여 유체의 흐름이 발생하며 이를 음향 흐름이라고 한다.[16] 이러한 음향 흐름에 의한 힘의 크기 F는
	초음파의 방사힘을 간접적으로 피부에 전달시키는 방법은?	최근에는 사람의 피부에 기계적인 구동부를 직접 부착하지 않고 초음파의 방사힘을 이용한 힘을 간접적으로 피부에 전달함으로써 정보를 전달하는 방법에 대한 연구가 있었다.[10-13]고출력의 초음파 음장은 방사힘에 의한 힘을 발생시킨다. 이러한 힘을 사람의 피부에 전달함으로써 기계가 사람에게 정보를 전단하는 매개로 사용될 수 있다. 이러한 용도로 사용되는 초음파는 수십 kHz에서 수 MHz 대역의 주파수를 사용한다.
	초음파의 대역은?	이러한 힘을 사람의 피부에 전달함으로써 기계가 사람에게 정보를 전단하는 매개로 사용될 수 있다. 이러한 용도로 사용되는 초음파는 수십 kHz에서 수 MHz 대역의 주파수를 사용한다. 수 MHz 대역의 초음파는 공기 중에 전달이 어려우므로 초음파 트랜스듀서를 직접 피부에 접촉시켜서 방사힘을 전달하며 mm 단위의 공간 해상도를 가지므로 좀 더 많은 공간 정보를 전달 할 수 있다.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증