선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 연구는 인공지능 검색 서비스를 사용함에 따른 사용성 변화를 확인하는 것이며, 다음 연구 가설을 검증하였다. ‘검색 서비스를 이용하면 사용성에 변화가 있을 것이다.
- 이에 본 연구에서는 새로운 검색 기술인 인공지능 검색 서비스를 활용함에 따라 사용성이 어떻게 변화하는지를 확인하고자 하며, 다음 두 가설을 검증한다. 첫 번째 가설은 인공지능 검색 서비스를 이용하면 사용성에 변화가 있을 것이라는 가설이다.
가설 설정
- 첫 번째 가설은 인공지능 검색 서비스를 이용하면 사용성에 변화가 있을 것이라는 가설이다. 두 번째 가설은 인공지능 검색 방법에 따라 사용성 평가 요소별 변화의 차이가 있을 것이라는 가설이다. 연구는 Fig.
- 첫 번째, 검색 서비스를 이용하면 사용성에 변화가 있을 것이다. 두 번째, 인공지능 검색 방법에 따라 사용성 평가 요소별 변화의 차이가 있을 것이다. 본 실험에서는 한 집단의 사전과 사후 점수 차이가 있다는 대립가설을 통계적으로 검증하는데 적합한 분석 방법인 대응표본 t검정을 실시하였다.
- 이에 본 연구에서는 새로운 검색 기술인 인공지능 검색 서비스를 활용함에 따라 사용성이 어떻게 변화하는지를 확인하고자 하며, 다음 두 가설을 검증한다. 첫 번째 가설은 인공지능 검색 서비스를 이용하면 사용성에 변화가 있을 것이라는 가설이다. 두 번째 가설은 인공지능 검색 방법에 따라 사용성 평가 요소별 변화의 차이가 있을 것이라는 가설이다.
- 본 실험에 적용되는 대립 가설은 총 두 가지이다. 첫 번째, 검색 서비스를 이용하면 사용성에 변화가 있을 것이다. 두 번째, 인공지능 검색 방법에 따라 사용성 평가 요소별 변화의 차이가 있을 것이다.
제안 방법
- 결과 분석 후, 음(-)의 상관관계가 있었던 AiRS 서비스에 한하여 사용성이 더 나빠졌다고 대답한 피험자 21명 중 10명을 대상으로 그렇게 생각한 이유에 대하여 회상적 발성사고법으로 심층인터뷰를 진행하였다.
- 조유정 외(2017)는 GOMS 모델을 변형하여 음성 인터페이스에 최적화된 새로운 평가 모델을 제안하였다. 그리고 IPTV의 사용성을 해당 모델을 활용하여 평가하였다. 실험 결과 일반적으로 리모컨을 활용하여 사용하는 기능에서 사용성의 변화가 없었지만, 텍스트를 입력하여 검색할 경우 음성을 통한 검색의 사용성이 향상된 것을 확인하였다.
- 실험은 피험자에게 인공지능 검색 서비스를 경험 하기 이전에 기존의 네이버앱의 텍스트 검색에 대한 사용성 평가 설문을 한 후, 네이버앱 베타버전의 인공 지능 검색 서비스를 사용하고 사용성 평가를 진행하였다. 그리고 사용성 평가 분석 후, 사용성이 음(-)의 상관관계가 있었던 AiRS 추천 콘텐츠에 한하여 부정적으로 답변을 했던 사용자 21명 중 10명을 대상으로 회상적 발성사고법으로 심층 인터뷰를 진행하였다.
- 첫 번째, 문헌 조사를 통해 본 연구의 주요 키워드인 인공지능 검색 서비스, 사용성 평가의 개념과 연구 및 사례 대해 알아본다. 두 번째, 문헌 조사를 바탕으로 실험 가설 검증에 적합한 실험 대상, 실험 대상자를 선정하고, 사용성 평가 질문과 실험 프로세스를 설계한다. 마지막으로, 실험 후 SPSS 25.
- ’. 본 연구는 네이버앱 iOS 8.9.2 베타버전의 인공지능 검색 기능인스마트 렌즈, 스마트 보이스, 스마트 어라운드, AiRS 추천 콘텐츠를 대상으로 실험을 설계하였으며, 사용성 평가를 서비스의 유용성, 용이성, 검색성, 접근성, 매력성 측면에서 진행하였다.
- 본 연구에서는 피터모빌의 허니콤 모델을 바탕으로 사용성 평가 요소를 유용성, 용이성, 검색성, 매력성, 접근성으로 정하였다(Morville, 2004). 피터모빌의 허니콤 모델 중 신뢰성은 네이버 자체가 제공하는 정보의 질과 연관된 요소이고, 가치성은 사용자뿐만 아니라 서비스 제공자인 네이버의 입장도 고려된 평가요소라고 판단하여 본 실험의 사용성 평가 요소에서는 제외하였다.
- 사용성 평가 분석 후, 사용성의 변화가 음(-)의 상관관계가 있었던 AiRS에 대하여 사용성이 더 나빠졌다고 대답한 피험자 21명 중 10명을 대상으로 그렇게 생각한 이유에 대하여 회상적 발성사고법으로 심층 인터뷰를 진행하였다. 피험자들은 서비스가 추천해주는 키워드와 콘텐츠가 보고 있던 콘텐츠와 연관성이 떨어지고, 실질적으로 원하는 콘텐츠를 추천해주지 않는다고 느낀다고 말하였다.
- 사용성 평가 요소는 유용성, 용이성, 검색성, 접근성, 매력성 총 다섯 가지로, 설문은 요소별 해당하는 질문으로 구성되었다. 각 질문에 대한 답변은 리쿼트 5점 척도를 활용하여 수집 되었고, 평가 결과는 최저점을 1점으로, 최고점을 5점으로 점수를 환산하였다.
- 두 번째, 실험 참여자의 인구 통계학적 정보를 수집한다. 세 번째, 인공지능 검색을 활용하기 전 네이버앱의 사용성을 기존 네이버앱의 텍스트 기반 검색의 사용경험을 바탕으로 평가한다. 마지막으로, 네이버 앱의 인공지능 검색 서비스인 스마트 렌즈, 스마트 보이스, Table 2 인공지능 검색서비스 활용을 위한 검색 테스크 스마트 어라운드, AiRS 추천 콘텐츠 각각에 대하여 테스크를 수행하며 서비스를 이용하고, 사용성을 평가하는 프로세스를 반복한다.
- 실험은 진행에 필요한 네이버앱 베타버전은 정식 출시되지 않은 서비스로 설치과정이 번거롭고, 실험 하는 기능이 피험자에게 익숙하지 않은 기능일 수 있다는 점에서 대면 설문조사를 통해 실험을 진행한다.
- 그러므로 본 실험의 결과는 20대와 30대 만의 한정된 결과이다. 실험은 피험자에게 인공지능 검색 서비스를 경험 하기 이전에 기존의 네이버앱의 텍스트 검색에 대한 사용성 평가 설문을 한 후, 네이버앱 베타버전의 인공 지능 검색 서비스를 사용하고 사용성 평가를 진행하였다. 그리고 사용성 평가 분석 후, 사용성이 음(-)의 상관관계가 있었던 AiRS 추천 콘텐츠에 한하여 부정적으로 답변을 했던 사용자 21명 중 10명을 대상으로 회상적 발성사고법으로 심층 인터뷰를 진행하였다.
- 스마트 어라운드 스마트 어라운드는 인공지능 장소 검색 서비스로, 네이버의 인공지능 장소 추천 시스템인 에어스페이스(AiRSPACE, AiRS + Place and Context Embedded)가 적용되어있다. 이 서비스는 사용자의 위치 정보를 활용하여 사용자 주변의 유명 음식점, 가볼만한 곳, 문화 강좌를 추천한다.
- 1과 같은 프로세스로 진행된다. 첫 번째, 문헌 조사를 통해 본 연구의 주요 키워드인 인공지능 검색 서비스, 사용성 평가의 개념과 연구 및 사례 대해 알아본다. 두 번째, 문헌 조사를 바탕으로 실험 가설 검증에 적합한 실험 대상, 실험 대상자를 선정하고, 사용성 평가 질문과 실험 프로세스를 설계한다.
대상 데이터
- , 1996). 결과적으로, 선행연구에 따라본 연구에서는 총 32명의 피험자를 선정하였다.
- 실험은 2018년 11월 12부터 11월 18일까지 7일간 진행되었으며, 해당 기간 동안 20대와 30대 32명을 샘플링 하였다. 그 중 네이버앱 사용 경험이 없어 실험에 적합하지 않은 2명을 제외하였고, 총 30명의 실험 결과를 분석하였다. 분석 대상자의 인구 통계학적 사항에 대한 빈도 분석 결과는 Table 3과 같다.
- 실험은 네이버앱 경험이 있는 20대와 30대 32명을 샘플링하여 직접대면 설문조사를 실시하였고, 그 중 실험에 적합한 30명의 데이터를 분석하였다. 그러므로 본 실험의 결과는 20대와 30대 만의 한정된 결과이다. 실험은 피험자에게 인공지능 검색 서비스를 경험 하기 이전에 기존의 네이버앱의 텍스트 검색에 대한 사용성 평가 설문을 한 후, 네이버앱 베타버전의 인공 지능 검색 서비스를 사용하고 사용성 평가를 진행하였다.
- 피험자는 네이버앱의 사용 경험이 있는 20대와 30대이다. 모바일 환경에서 기존의 텍스트 중심의 검색 서비스와 인공지능을 활용한 검색 서비스의 사용 경험을 동일한 환경에서 비교하기 위하여 기존에 네이버앱 경험이 있는 사용자를 대상으로 하고, 피험자가 인공지능 검색 서비스의 개념을 단시간에 이해 가능해야 한다는 점에서 비교적 모바일 활용도가 높은 연령을 대상으로 한다.
- 본 연구는 네이버앱 8.9.3 베타버전을 사례로 실험을 진행한다. 네이버는 최근 1년간 국내 검색 포털 사이트의 약 70%의 시장 점유율을 차지하고 있는 기업이다(Internettrend, 2018).
- 실험은 2018년 11월 12부터 11월 18일까지 7일간 진행되었으며, 해당 기간 동안 20대와 30대 32명을 샘플링 하였다. 그 중 네이버앱 사용 경험이 없어 실험에 적합하지 않은 2명을 제외하였고, 총 30명의 실험 결과를 분석하였다.
- 실험은 네이버앱 경험이 있는 20대와 30대 32명을 샘플링하여 직접대면 설문조사를 실시하였고, 그 중 실험에 적합한 30명의 데이터를 분석하였다. 그러므로 본 실험의 결과는 20대와 30대 만의 한정된 결과이다.
- 피험자는 네이버앱의 사용 경험이 있는 20대와 30대이다. 모바일 환경에서 기존의 텍스트 중심의 검색 서비스와 인공지능을 활용한 검색 서비스의 사용 경험을 동일한 환경에서 비교하기 위하여 기존에 네이버앱 경험이 있는 사용자를 대상으로 하고, 피험자가 인공지능 검색 서비스의 개념을 단시간에 이해 가능해야 한다는 점에서 비교적 모바일 활용도가 높은 연령을 대상으로 한다.
데이터처리
- 두 번째, 문헌 조사를 바탕으로 실험 가설 검증에 적합한 실험 대상, 실험 대상자를 선정하고, 사용성 평가 질문과 실험 프로세스를 설계한다. 마지막으로, 실험 후 SPSS 25.0ver으로 t검정을 하여 통계적 유의미함을 알아본다.
- 두 번째, 인공지능 검색 방법에 따라 사용성 평가 요소별 변화의 차이가 있을 것이다. 본 실험에서는 한 집단의 사전과 사후 점수 차이가 있다는 대립가설을 통계적으로 검증하는데 적합한 분석 방법인 대응표본 t검정을 실시하였다.
- 실험을 통해 도출된 결과는 설문지의 데이터 코딩을 거쳐 SPSS 25.0ver을 사용하였으며, 유의수준은 p<0.05로 설정하여 통계적 자료를 처리하였다.
성능/효과
- 실험 분석 결과 인공지능 검색을 사용하였을 때 기존의 텍스트 기반 검색과 비교하여 통계적으로 유의미한 사용성 변화가 있음을 확인하였다. 각 검색에서 요소별 변화는 스마트 렌즈에서 검색성이, 스마트 보이스에서 유용성, 검색성, 접근성, 매력성이, 스마트어라운드에서 유용성과 검색성이 양(+)의 상관관계가 있었으며, AiRS 추천 콘텐츠에서 유용성이 음(-)의 상관관계가 있었다. 그리고 AiRS 추천 콘텐츠의 사용성에 대하여 부정적 답변한 피험자 10명 중 9명은 해당 서비스를 통해 추천된 키워드와 콘텐츠가 만족스럽지 않고, 기존의 텍스트 기반의 검색과 차이를 느끼지 못하였다고 대답하였다.
- 사용성 평가 요소는 유용성, 용이성, 검색성, 접근성, 매력성 총 다섯 가지로, 설문은 요소별 해당하는 질문으로 구성되었다. 각 질문에 대한 답변은 리쿼트 5점 척도를 활용하여 수집 되었고, 평가 결과는 최저점을 1점으로, 최고점을 5점으로 점수를 환산하였다. 동일한 평가 요소에 해당하는 문항에 대해서는 각 점수의 평균을 최종 값으로 사용하였다.
- 결과적으로, 두 번째 가설이었던 ‘인공지능 검색 방법에 따라 사용성 평가 요소별 변화의 차이가 있을 것이다.
- 결과적으로, 첫 번째 가설이었던 ‘검색 서비스를 이용하면 사용성에 변화가 있을 것이다.
- 피험자들은 서비스가 추천해주는 키워드와 콘텐츠가 보고 있던 콘텐츠와 연관성이 떨어지고, 실질적으로 원하는 콘텐츠를 추천해주지 않는다고 느낀다고 말하였다. 그 결과 기존의 텍스트 검색과 비교하여 차별성을 느끼지 못하여 유용성이 낮게 평가한 것으로 나타났다. 통계적으로 유의미한 요소는 아니었지만 AiRS 추천 콘텐츠의 접근성에 관한 의견으로 콘텐츠를 보고 있는 화면에 한하여서만 AiRS 추천 콘텐츠를 사용할 수 있다는 점에서 서비스의 접근성이 좋지 않다고 느낀다고 대답하였다.
- 김종애 (2009)는 학술데이터베이스에서 텍스트 검색과 이미지 검색을 검색 소요시간, 처리동작횟수, 사용용이성, 검색메뉴 이해도, 검색결과 제시방식의 이해용이성, 만족도를 기준으로 사용성 평가하였다. 그리고 검색 소요시간, 처리동작횟수의 측면에서 텍스트 기반 검색이 더 효율적이라고 평가하였다. 최영선(2014)은 의약품 정보검색시스템에서 텍스트 기반과 이미지 기반 검색을 검색시간, 검색과정, 검색결과에서 피험자의 주관적인 만족도를 측정하였다.
- 기존의 텍스트 중심 검색의 사용성은 평가 요소별 평균 점수가 보통을 의미하는 3점 이상의 점수를 받고 있었으며 보통 이상의 사용성을 가지고 있다고 판단된다. 그리고 본 연구에서는 사용성 변화에 양(+)의 상관관계가 있던 네이버앱의 스마트 렌즈, 스마트 보이스, 스마트 어라운드 사례를 통해 선행연구의 결과와 동일하게 검색되는 콘텐츠가 인공지능 검색 서비스가 제공하는 인터페이스와 부합한 경우, 사용성이 증가하는 것을 확인하였다. 특히 사용성 평가 요소 중 검색성의 점수가 검색 서비스 사례 모두에서 유의미한 변화가 있었는데, 이러한 결과는 인공지능 검색 서비스는 검색에 있어서 적절한 인터페이스를 제공 하고, 제공된 인터페이스가 사용자가 다양한 정보에 정보에 접근할 수 있게 하기 때문이라고 판단한다.
- 텍스트 기반의 정보검색과 이미지 기반의 정보 검색을 비교한 선행 연구에서는 검색되는 콘텐츠에 따라 사용성이 다르게 나타났다(Kim, 2009; Choi, 2014). 그리고 본 연구에서도 이미지 기반의 인공지능 검색을 사용하였을 때 사용성이 향상되 었다. 음성검색을 IPTV에서 활용한 선행 연구와 위치와 시간을 소셜 검색에서 활용한 선행연구에서는 검색 속도가 향상되는 것으로 나타났다(Cho et al.
- 동일한 평가 요소에 해당하는 문항에 대해서는 각 점수의 평균을 최종 값으로 사용하였다. 기존의 네이버앱 검색 서비스였던 텍스트 검색의 사용성 평가 요소의 평균은 Table 4와 같이 유용성이 3.68, 용이성이 3.28, 검색성이 3.20, 접근성이 3.98, 매력성이 3.70으로 나타났다. 그리고 인공지능 검색 서비스 사용에 따른 사용성 변화 정도와 변화의 통계적 유의미함을 검증하기 위하여 대응표본 t검정을 실시한 결과는 Table 5와 같다.
- 기존의 네이버앱의 사용성과 네이버앱 iOS 8.9.2의 인공지능 검색 서비스인 스마트 렌즈, 스마트 보이스, 스마트 어라운드, AiRS 추천 콘텐츠의 사용성 평가를 분석한 결과, 스마트 렌즈, 스마트 보이스, 스마트 어라운드에서는 양(+)의 상관관계가, AiRS에서는 음(-) 의 상관관계가 있었다. 결과적으로, 첫 번째 가설이었던 ‘검색 서비스를 이용하면 사용성에 변화가 있을 것이다.
- 그러므로 본 실험 이후 지속적으로 검색 기능이 향상 되며 이것이 이후의 사용성에 영향을 줄 가능성이 있다. 두 번째, 실험에 사용된 네이버앱 베타버전은 상용화되지 않은 버전이다. 기존 버전의 네이버앱과 비교하여 인터페이스의 차이가 크게 있으며, 피험자가 해당 앱의 인터페이스가 익숙하지 않다는 점이 평가 결과에 영향을 주었을 가능성이 있다.
- 세 번째, 인공지능 검색을 활용하기 전 네이버앱의 사용성을 기존 네이버앱의 텍스트 기반 검색의 사용경험을 바탕으로 평가한다. 마지막으로, 네이버 앱의 인공지능 검색 서비스인 스마트 렌즈, 스마트 보이스, Table 2 인공지능 검색서비스 활용을 위한 검색 테스크 스마트 어라운드, AiRS 추천 콘텐츠 각각에 대하여 테스크를 수행하며 서비스를 이용하고, 사용성을 평가하는 프로세스를 반복한다. 검색 테스크는 한정된 시간 내에 인공 지능 검색 서비스의 특징에 대한 이해를 돕기 위하여 각 검색 서비스의 활용도가 높은 예시를 중심으로 Table 2와 같이 구성하였다.
- , 2014). 본 연구에서도 음성기반, 위치기반의 인공지능 검색을 사용하였을 때 텍스트 검색과 비교하여 사용성이 향상되었다. 텍스트 마이닝을 특허 정보 컨텐츠 검색에서 활용한 선행연구에서는 검색 정확도가 높아지고, 검색 시간이 단축되었다(Go et al.
- 기존 버전의 네이버앱과 비교하여 인터페이스의 차이가 크게 있으며, 피험자가 해당 앱의 인터페이스가 익숙하지 않다는 점이 평가 결과에 영향을 주었을 가능성이 있다. 세 번째, 피험자가 각각의 인공지능 검색 서비스를 체험하는 과정에서 임의의 검색 키워드를 제시하였는데, 이 키워드는 인공지능 검색 서비스에서 비교적 잘 검색되는 키워드였다는 점에서 실제로 검색 환경과 차이가 있을수 있다. 마지막으로, 샘플 사이즈가 작고 대상을 20대와 30대로 한정하여 실험 결과에 오차가 있을 수 있다.
- 스마트 보이스를 사용하였을 때 사용성 변화는 Fig. 5와 같이 유용성, 검색성, 접근성, 매력성이 통계적으로 유의미한 변화가 있었고, 모두 양(+)의 상관관계가 있었다. 유용성은 평균이 3.
- 스마트 어라운드를 사용하였을 때 사용성 변화는 Fig. 6과 같이 유용성, 검색성이 통계적으로 유의미한 변화가 있었고, 모두 양(+)의 상관관계가 있었다. 유용성은 평균이 3.
- 그리고 IPTV의 사용성을 해당 모델을 활용하여 평가하였다. 실험 결과 일반적으로 리모컨을 활용하여 사용하는 기능에서 사용성의 변화가 없었지만, 텍스트를 입력하여 검색할 경우 음성을 통한 검색의 사용성이 향상된 것을 확인하였다. 복경수 외(2014)는 시간과 위치를 기반의 소셜 검색 기법을 제안하고, 불필요한 연산량을 감소시켜 검색 속도를 향상시킨다는 것을 확인하였다.
- 실험 분석 결과 인공지능 검색을 사용하였을 때 기존의 텍스트 기반 검색과 비교하여 통계적으로 유의미한 사용성 변화가 있음을 확인하였다. 각 검색에서 요소별 변화는 스마트 렌즈에서 검색성이, 스마트 보이스에서 유용성, 검색성, 접근성, 매력성이, 스마트어라운드에서 유용성과 검색성이 양(+)의 상관관계가 있었으며, AiRS 추천 콘텐츠에서 유용성이 음(-)의 상관관계가 있었다.
- 본 연구에서도 음성기반, 위치기반의 인공지능 검색을 사용하였을 때 텍스트 검색과 비교하여 사용성이 향상되었다. 텍스트 마이닝을 특허 정보 컨텐츠 검색에서 활용한 선행연구에서는 검색 정확도가 높아지고, 검색 시간이 단축되었다(Go et al., 2011), 하지만 본 연구의 텍스트 마이닝을 활용한 검색 콘텐츠 추천에서는 사용성이 낮아지는 것을 확인하였다.
- 최영선(2014)은 의약품 정보검색시스템에서 텍스트 기반과 이미지 기반 검색을 검색시간, 검색과정, 검색결과에서 피험자의 주관적인 만족도를 측정하였다. 피험자의 만족도는 검색 대상에 따라 달랐으며, 피험자는 의약품의 이미지 정보를 검색한 경우에 이미지 기반 검색을 유용하다고 생각하였다. 조유정 외(2017)는 GOMS 모델을 변형하여 음성 인터페이스에 최적화된 새로운 평가 모델을 제안하였다.
후속연구
- 본 연구는 인공지능 검색 서비스를 실제 서비스 중인 서비스를 대상으로 하여 피험자가 직접 서비스를 이용해보고 연구했다는 점에서 의의가 있으며, 추후의 인공지능을 활용한 서비스의 사용성 평가와 더불어 인공지능 검색 서비스 개발 및 연구 분야에 유용한 자료가 될 것으로 기대한다. 하지만 본 연구에는 다음과 같은 한계가 있다.
- 마지막으로, 샘플 사이즈가 작고 대상을 20대와 30대로 한정하여 실험 결과에 오차가 있을 수 있다. 추후 인공지능 검색 서비스를 대상으로 사용성 평가를 설계할 경우, 충분한 수의 피험자를 모집하고, 대상자가 서비스에 적응할 수 있는 시간과 환경을 제공할 것을 권장한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.