[보고서]컨텍스트 기반 스마트 인터랙션 서비스플랫폼 개발

이기혁

보고서 정보

주관연구기관

한국과학기술원
Korea Advanced Institute of Science and Technology

연구책임자

이기혁

보고서유형

최종보고서

발행국가

대한민국

언어

한국어

발행년월

2021-03

과제시작연도

2020

주관부처

과학기술정보통신부
Ministry of Science and ICT

연구관리전문기관

한국연구재단
National Research Foundation of Korea

등록번호

TRKO202100018394

과제고유번호

1711116301

사업명

차세대정보·컴퓨팅기술개발(R&D)

DB 구축일자

2022-02-26

키워드

실시간 인터랙션.웨어러블 인터페이스.시선 기반 인터페이스.크로스 디바이스 인터랙션.이기종 기기간 협력.웨어러블-모바일 딥러닝.개인화 클라우드렛.3-티어 플랫폼.Real-time interaction.Wearable interface.Gaze-based interface.Cross-device interaction.Cooperation among heterogeneous devices.Wearable-mobile deep learning.Personalized cloudlet.3-tier platform.

표 Training 세션과 Validation 세션의 Confusion Matrix
표 인터뷰에서 7 scale의 Likert scale 질문에 대한 응답 결과
표 (a) 각 요인에 따른 전체 조합에 대한 수행시간과 (b) 엣지 별 수행시간. 에러바는 표준오차를 의미하며, 별표 표시는 두 수준 간 차이가 유의미함을 의미
표 (a) 각 요인에 따른 전체 조합에 대한 정확도와 (b) 그리드 × 조건 별 정확도. 에러바는 표준오차를 의미하며, 별표는 두 수준 간 차이가 유의미함을 의미
표 SwipeBoard의 사용 화면(a)과 HoldBoard의 사용 화면(b). (a-1) 첫 번째 제스처로 영역을 선택후 (a-2) 두 번째 제스처로 문자 입력. (b-1) 엄지로 영역을 선택 후, (b-2) 검지로 문자 선택
표 각 입력방법의 블록 별 입력속도(adjWPM)와 정확도(CER, UER)
표 HoldBoard의 평균 커서가 나타난 시간(좌)과 각 입력방법의 실험 중 스마트와치를 본 빈도(우)
표 각 조건에 대한 평균 입력속도와 정확도
표 TickCount 인터랙션 과정
표 독립 변인 별로 1부터 10까지의 숫자를 입력한 정확도와 수행시간
표 각 기법에 대한 정답률 및 수행 시간 결과 (BA:기본기법, BO: Boundary, CH: Chunk, TM: Two Modes)
표 NASA-TLX 결과
표 음향 피드백에 따른 입력 결과의 에러의 크기 및 수행시간
표 각 입력각도에 따른 에러의 크기 및 수행시간의 변화 추세
표 보이스의 재생 속도 및 클릭 피드백에 따른 블록 간 정답률 및 수행시간의 추세
표 블록 3, 4의 보이스 재생 속도 및 클릭 피드백에 따른 정확도와 수행시간
표 1차원 가로방향 입력 공간의 선택의 수행시간
표 1차원 가로방향 입력 공간의 선택의 신체적 부담 정도
표 2차원 선택에 대한 피험자의 응답 수행 시간
표 2차원 선택에 대한 피험자의 신체적 부담 정도
표 스마트 글라스 GUI가 존재할 때 음향 피드백의 조건에 따른 주업 수행 성공률 및 응답시간, 부업의 성공률 및 응답시간
표 스마트 글라스 GUI가 존재하지 않을 때 음향 피드백의 조건에 따른 주업 수행 성공률 및 응답시간, 부업의 성공률 및 응답시간
표 OST 글라스 환경에서 사용자의 시선. 시선의 방향 만으로는 사용자가 글라스 디스플레이를 보는 지 디스플레이 너머의 무언가를 보는 지 알 수 없음
표 이향 운동의 예. 좌측과 우측 그림은 각각 멀리 있는 대상을 바라 볼 때와 가까이 있는 대상을 바라볼 때의 눈 각도를 표현한다. 이향 운동은 먼 대상에서 가까운 대상으로 시선을 옮길 때의 눈 움직임인 “수렴”과, 반대로, 가까운 대상에서 먼 대상으로 시선을 옮길 때의 눈 움직임인 “발산”으로 구성되어 있다
표 이향 운동을 유발하기 위한 시각 자극. (a) 양안 접안 디스플레이 상에 제시하는 시각자극. 좌측과 우측 디스플레이에 각기 반대 방향으로 움직이는 동일한 시각 자극을 제시한다. (b) 이러한 시각 자극을 사용자가 응시 할 때, 사용자는 해당 시각 자극들이 두 개의 좌우로 움직이는 시각 자극이 아닌, 하나의 앞 뒤로 움직이는 시각 자극으로 인식하게 된다
표 (a) 이향 운동을 유발하기 위한 양안 시각 자극의 위치 (주황색: 왼쪽 눈에 제시된 자극의 x축 상 위치, 파란색: 오른쪽 눈에 제시된 자극의 x축 상 위치)와 (b) 이때 사용자 눈의 움직임 (주황색: 왼쪽 눈의 x축 상 움직임, 파란색: 오른쪽 눈의 x축 상 움직임) 예시. 상기 예시에서 이향 운동을 유발하기 위한 시각 자극의 움직임은 사인함수를 따라서 움직이며, 주기적으로 서로 가까워졌다 멀어졌다를 반복한다
표 왼쪽 눈과 오른쪽 눈에 대한 시선 벡터 (V1, V2) 및 시선 벡터가 가상의 디스플레이에 교차하는 지점 P1, P2
표 고정된 대상 사이에서 시선을 옮길 때는, 가려진 대상을 볼 수는 없기에 필연적으로 관상면 상에서의 움직임이 발생한다
표 Probing 적용된 경우 (주황색)과 적용되지 않은 경우 (파란색)의 시행의 입력 시간 분포. 예를 들어, 1.x는 1초에서 2초 사이에 입력이 완료된 시행을 의미. Probing의 경우 총 320회의 시행 중 227회 (71%)의 시행이 1.x초에 완료 되었다
표 자극 패턴 별 입력 시간 결과. 에러바는 표준오차를 나타냄
표 자극 패턴 별 정확도 결과. TP는 True Positive rate, TN은 True Negative rate를 의미함. 에러바는 표준오차를 나타냄
표 정성 평가 누적 응답. (1) 해당 자극을 선호하는 정도, (2) 해당 자극이 사용하기 쉬운 정도, (3) 입력에 소요된 시간이 적당하다 느낀 정도, 그리고 (4) 눈의 피로도에 대해 1점에서 5점 사이의 리커트 스케일로 응답 받음. 파란색은 긍정적 평가, 붉은색은 부정적인 평가를 나타냄
표 자극 패턴 간 선호도 1대 1 비교표. 각 셀의 수치는 가로 축의 패턴이 세로 축의 패턴에 비해 낫다고 응답 받은 비율. 예를 들어 4초에 2.68도 자극은 4초에 2.01도 자극과 비교해서 25%의 응답만이 더 선호된다고 평가하였다
표 실험 인터페이스. (a) Pursuit: 2개의 시각 자극은 시계 방향, 2개의 시각 자극은 반시계 방향으로 회전. 궤적과 속도는 모두 동일 (b) Verge-it: 4개의 시각 자극이 4분위에 배치. 모두 같은 속도로 앞/뒤로 움직이는 듯 한 움직임을 가짐
표 실험에 사용한 가상 박물관 환경 (Museum VR Complete Edition, UNITY 에셋 스토어). (a) 실험에 사용된 박물관 환경 전체 지도. (b) 입체 석상들 (c) 넓은 이동 공간 및 정적/동적인 관람객 (d) 석상에 대한 영문 설명문 (d) 2차원 그림
표 정성평가 결과. 붉은 색은 점수가 높을수록 부정적인 평가인 경우, 부른 색은 점수가 높을수록 긍정적인 평가 인 경우를 나타낸다. NASA-TLX는 종합점수에 대한 결과이며 기존 100점 만점으로 평가 받은 설문이나 그래프상 표기를 위해 실 점수를 20으로 나눈 수치이다. 에러바는 표준오차를 의미한다
표 시선을 사용한 메뉴 인터페이스의 조작과 이를 통한 정보 탐색의 시나리오
표 (가) “시선 착지 지점”을 이용한 시선 기반의 메뉴 인터페이스 디자인. (나) 격자 메뉴. 사용자는 시선 제스처를 이용해 더욱 빠르고 효과적인 메뉴 선택이 가능해진다
표 가상 환경에서 구현된 실험 환경. (a) 목표 아이템의 표시 (X-B-F), (b) 격자 메뉴 선택 과업, (c) 메뉴 선택의 결과 (Correct or Wrong)
표 격자 메뉴 사용성 평가 실험 결과. 수행시간. 선택 성공률, 그리고 설문 평가 결과
표 Urbina et al.이 제안한 테두리 통과 선택 방식의 메뉴 인터페이스. (a) 오른쪽에 위치한 아이템 (B)를 선택하기 위해 이에 해당하는 테두리의 바깥으로 시선을 움직이는 상황 (b) 가상 현실 환경에서 비교 실험을 위해 구현된 Urbina et al., 의 메뉴 인터페이스
표 비교군과의 성능 비교 실험 결과 (정량 평가)
표 비교군과의 성능 비교 실험 결과 (정성 평가)
표 시선 제스처와 손가락 제스처의 결합을 통한 문자 입력 도식
표 시선 입력 시점 구분 방식에 따른 경로 생성 차이 도식으로, H, E, L, O를 입력하는 예시. (가) Kumar et al., 의 방식. 키보드 상의 키 위치를 정확히 알지 못하는 경우, 키의 위치를 탐색하기 위한 눈 움직임이 경로로 포함되게 됨. (나) 본 연구팀이 개발한 방식. 키 위치를 탐색하는 상황과 입력을 하려는 상황을 구분할 수 있기에 정확한 경로 생성 가능
표 (가) Saccade Landing 인식 방법 및 시선 입력 모드 결정 방법. (나) 3개의 Saccade Landing과 2개의 Fixation이 관측된 좌측 예시로부터 생성된 입력 경로
표 (가) 키보드 상 경로 입력 예시. 파란색 선은 생성된 입력 경로를 의미. (나) 입력된 경로로부터 사용자가 입력할 단어 추천 예시
표 (가) 총 9개 블록 (B1 ~ B9)에 대해, 각 블록 당 평균 단어 입력시간 (WPM). (나) 각 블록에 대해 평균 입력 실패 비율
표 (가) 3번의 Dragging과 4개의 입력 포인트로 구성된 입력 시퀀스 예시. (나) 연속 입력 시퀀스 중 Fixation과 Dragging이 발생하는 시점에 대한 예시
표 (가) 평균 Dragging Interval. 짧을수록 연속 입력 시퀀스가 끊김 없이 수행됨을 의미. (나) 평균 Dragging Duration. 짧을수록 사용자가 시선 입력 확정을 위한 조작을 효율적으로 수행함을 의미
표 (가) Dragging 조작 중 시선 위치가 변하지 않은 경우의 비율. (나) 평균 Fixation 시간
표 일반 입력 응시 시간 비교 실험 결과. Preference Rank는 숫자가 작을수록 더 선호됨을 의미
표 모바일 기기 성능 분류
표 하드웨어 자원 요구량 추산 결과
표 상용 하드웨어의 연산량과 SuggestBot 애플리케이션의 하드웨어 성능 요구량의 비교 (* Memory bandwidth 추정방식: 1회 floating operation 당, 1회 메모리 읽기 발생을 가정)
표 SuggestBot 플랫폼 아키텍처
표 Intel SGX 환경과 일반실행환경에서의 딥러닝 모델 연산 시간 비교
표 Snapdragon 821 SoC의 메모리 구조
표 메모리 대역폭 중심 스케줄링을 활용한 다수 딥러닝 실행 플랫폼 아키텍처
표 상용 컴퓨터 비젼 딥러닝 모델의 메모리 사용처 분석 결과
표 모델 파라미터 분리형 딥러닝 모델 실행 구조
표 프라이버시 보장형 클라우드 프레임워크 아키텍처
표 (좌) 초기 시스템 대비 프라이버시 보장형 클라우드의 딥러닝 모델 실행시간 (우) 일반실행환경 대비 프라이버시 보장형 클라우드의 딥러닝 모델 실행시간
표 모바일-클라우드 협력적 구동의 배터리 소모 감소량 측정 결과
표 모델 필터 가지치기 기반의 가변성능 모델 개념도
표 분류 모델의 필터 중요도 산출 예시
표 VGG 16 구조의 모델을 대상으로한 가변성능 모델 구성 사례
표 메모리 포함관계를 활용한 효율화된 모델 교환 기법 개요
표 딥러닝 무결성 검사 모듈을 포함한 프라이버시 보장형 클라우드 아키텍처
표 일시적 파라미터 로딩 기법을 적용한 프라이버시 보장형 클라우드의 추론 연산 과정
표 무결성 검사 정책별 변조 공격 검출 여부 및 예상 오버헤드
표 실험에 사용된 이미지 분류 CNN 모델 사양
표 무결성 검사 정책에 따른 모델 추론연산 시간 비교
표 프라이버시 보장형 클라우드의 연산 병렬화
표 모듈 간 병렬화를 통한 프라이버시 보장형 클라우드의 추론 속도 향상
표 연산 오프로딩 시기에 따른 레이턴시, 에너지 소모 차이
표 웨어러블-모바일 협력적 딥러닝 처리 프레임워크 아키텍처
표 Offline training phase의 딥러닝 모델 단순화 알고리즘
표 웨어러블-모바일 협력적 딥러닝 처리 프레임워크의 실행 속도 비교 결과
표 웨어러블-모바일 협력적 딥러닝 처리 프레임워크의 사용 전력 비교 결과
표 기 개발된 프라이버시 보장형 클라우드에서의 대용량 모델 처리 속도 저하
표 VGG-16 모델 추론시 요구되는 신뢰실행환경 내 메모리 사용처 (모델 파라미터 로딩을 위한 메모리는 제외됨)
표 컨볼루션 로워링 (Convolution lowering) 기반 컨볼루션 연산 기법
표 컨볼루션 분할 연산 기법의 예시 (3x3 kernel 레이어를 둘로 분할한 경우)
표 컨볼루션 분할 연산으로 인한 모델 추론시간 저하 실험 (Native 환경)
표 기존방식 및 MEC 방식 대비 컨볼루션 분할 연산 방식의 메모리 사용량
표 컨볼루션 분할연산 방식을 통한 대용량 모델 추론 속도 향상
표 신뢰실행환경 내부 메모리 사용량 조율의 예시 (VGG-19)
표 동적 파라미터 버퍼 관리의 예시 (VGG-19)
표 개발 프레임워크의 대용량 모델 추론 시 사용하는 신뢰실행환경 내부 메모리
표 신뢰실행환경 메모리 조율 및 최적화를 통한 최종 추론속도 향상
표 통합 프라이버시 보장형 클라우드 기반 딥러닝 프레임워크 아키텍처
표 모바일 상 DNN 모델 추론 대비 프라이버시 보장형 클라우드의 추론 속도(좌: 여러 스마트폰 기기에 대한 결과, 우: 네트워크 대역폭 변화에 따른 결과)
표 프라이버시 보장형 클라우드 활용에 의한 스마트폰 에너지 소모량 감소
표 실험에서 사용된 경량 DNN 모델
표 기존 SGX 환경, 스마트폰 연산, 제안 플랫폼에서의 경량 모델 추론시간 비교
표 웨어러블-모바일 협력적 딥러닝 처리 런타임 및 프라이버시 보장형 클라우드의 통합 구조도
표 통합 애플리케이션 구현 다이어그램. 모바일 기기들 (스마트폰, 스마트글라스, 스마트와치) 간의 연결은 블루투스 (파란색)를 통해 연결되어 있으며 스마트폰과 SuggestBot 엔진 간에는 WiFi를 통해 연결되어 있음
표 웨어러블 사용자 인터페이스. (a) 스마트글라스 및 스마트와치를 이용하여 인터페이스 탐색하는 모습, 추천 정보 공간 탐색 인터페이스, (b) 구체적인 정보 제공 인터페이스 (c) 추천 정보 공간 탐색 인터페이스의 GUI 구성
표 컨텍스트 엔진 통합 시스템 아키텍쳐
표 웨어러블 환경에 적합한 SuggetBot 시나리오를 위한 구현 목표
표 Scene 정보와 태그 정보의 결합으로 제공 가능한 정보 예시
표 웨어러블 사용자 인터페이스. (a) 스마트글라스 및 스마트와치를 이용하여 인터페이스 탐색하는 모습, 추천 정보 공간 탐색 인터페이스, (b) 구체적인 정보 제공 인터페이스
표 통합 애플리케이션 구현 예시: 클라우드 서버를 통한 딥러닝 모듈 실행
표 사용자가 풍경 사진을 촬영하였을 때 연상 SuggestBot이 사용자 개인의 이미지 풀 안에서 사진을 추천해준 결과 예시. 촬영한 사진 아래에 인스타그램 스타일의 컨텍스트 태그들을 확인할 수 있다

과제명(ProjectTitle) :	-
연구책임자(Manager) :	-
과제기간(DetailSeriesProject) :	-
총연구비 (DetailSeriesProject) :	-
키워드(keyword) :	-
과제수행기간(LeadAgency) :	-
연구목표(Goal) :	-
연구내용(Abstract) :	-
기대효과(Effect) :	-

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 제목(한글), 저자명(한글), 발행일자, 전자원문, 초록(한글), 초록(영문) 관리번호, 제목(한글), 제목(영문), 저자명(한글), 저자명(영문), 주관연구기관(한글), 주관연구기관(영문), 발행일자, 총페이지수, 주관부처명, 과제시작일, 보고서번호, 과제종료일, 주제분류, 키워드(한글), 전자원문, 키워드(영문), 입수제어번호, 초록(한글), 초록(영문), 목차
저장형식	Text(ASCII format) Excel format
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국가R&D연구보고서] 컨텍스트 기반 스마트 인터랙션 서비스플랫폼 개발
Development of a context-based smart interaction service platform 원문보기

초록 ▼

목차 Contents

표/그림 (105)

표/그림 (105)

참고문헌 (25)

연구과제 타임라인

활용도 분석정보

활용도 Top5 보고서

관련 콘텐츠

원문 보기

이 보고서와 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국가R&D연구보고서] 컨텍스트 기반 스마트 인터랙션 서비스플랫폼 개발 Development of a context-based smart interaction service platform 원문보기

초록 ▼

목차 Contents

표/그림 (105) 모든 표/그림 보기

표/그림 (105) 슬라이드로 보기

참고문헌 (25)

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

활용도 분석정보

활용도 Top5 보고서 더보기

관련 콘텐츠

원문 보기

이 보고서와 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국가R&D연구보고서] 컨텍스트 기반 스마트 인터랙션 서비스플랫폼 개발
Development of a context-based smart interaction service platform 원문보기

표/그림 (105)

표/그림 (105)

활용도 Top5 보고서