컴퓨터 정보기술의 발전과 함께 감정 기반 컴퓨팅이 다양한 분야에 빠르게 발전하여 확산되고 있다. 감정 기반 컴퓨팅의 지속적인 발전을 위해서는 이미지와 같은 멀티미디어의 콘텐츠의 감정 기반 색인과 검색이 필수적이다. 그러나 감정과 같은 추상적 개념은 주관적이며 이미지의 하위 수준 속성에서 유추하는데 한계가 있기 때문에 감정 색인은 통상적으로 난제로 여겨진다. 본 연구는 감정 색인 개선을 위해서 이미지에 대하여 이용자가 느끼는 감정 반응을 활용하여 이미지를 감정으로 접근하는데 있어서 확장된 접근점을 제공하는 방안을 고찰하였다. 이를 위하여 유로피아나 DB에서 사랑, 행복, 분노, 공포, 슬픔의 5가지 기본 감정을 표현한 이미지 15건을 선정하여 20명의 연구 참여자에게 보여주고 용어를 수집하였다. 이용자의 이미지 반응에서 수집한 용어는 정련 후 총 399건의 고유한 용어로 나타났다. 고유한 399건의 용어는 전체 1,093회 출현하였으며, 동시출현단어분석을 수행하여 상위 출현한 용어 네트워크를 구현하였다. 동시출현단어분석 기반의 네트워크를 통해서 기본 감정 용어와 함께 빈번하게 출현하는 용어를 규명하였다. 이를 통해 기본 감정용어와 함께 확장되어 제시될 수 있는 용어는 형용사, 동작/행위 표현 등 다양하게 나타났다.
컴퓨터 정보기술의 발전과 함께 감정 기반 컴퓨팅이 다양한 분야에 빠르게 발전하여 확산되고 있다. 감정 기반 컴퓨팅의 지속적인 발전을 위해서는 이미지와 같은 멀티미디어의 콘텐츠의 감정 기반 색인과 검색이 필수적이다. 그러나 감정과 같은 추상적 개념은 주관적이며 이미지의 하위 수준 속성에서 유추하는데 한계가 있기 때문에 감정 색인은 통상적으로 난제로 여겨진다. 본 연구는 감정 색인 개선을 위해서 이미지에 대하여 이용자가 느끼는 감정 반응을 활용하여 이미지를 감정으로 접근하는데 있어서 확장된 접근점을 제공하는 방안을 고찰하였다. 이를 위하여 유로피아나 DB에서 사랑, 행복, 분노, 공포, 슬픔의 5가지 기본 감정을 표현한 이미지 15건을 선정하여 20명의 연구 참여자에게 보여주고 용어를 수집하였다. 이용자의 이미지 반응에서 수집한 용어는 정련 후 총 399건의 고유한 용어로 나타났다. 고유한 399건의 용어는 전체 1,093회 출현하였으며, 동시출현단어분석을 수행하여 상위 출현한 용어 네트워크를 구현하였다. 동시출현단어분석 기반의 네트워크를 통해서 기본 감정 용어와 함께 빈번하게 출현하는 용어를 규명하였다. 이를 통해 기본 감정용어와 함께 확장되어 제시될 수 있는 용어는 형용사, 동작/행위 표현 등 다양하게 나타났다.
Given the context of rapid developing ubiquitous computing environment, it is imperative for users to search and use images based on affective meanings. However, it has been difficult to index affective meanings of image since emotions of image are substantially subjective and highly abstract. In ad...
Given the context of rapid developing ubiquitous computing environment, it is imperative for users to search and use images based on affective meanings. However, it has been difficult to index affective meanings of image since emotions of image are substantially subjective and highly abstract. In addition, utilizing low level features of image for indexing affective meanings of image has been limited for high level concepts of image. To facilitate the access points of affective meanings of image, this study aims to utilize user-provided responses of images. For a data set, emotional words are collected and cleaned from twenty participants with a set of fifteen images, three images for each of basic emotions, love, sad, fear, anger, and happy. A total of 399 unique emotion words are revealed and 1,093 times appeared in this data set. Through co-word analysis and network analysis of emotional words from users' responses, this study demonstrates expanded word sets for five basic emotions. The expanded word sets are characterized with adjective expression and action/behavior expression.
Given the context of rapid developing ubiquitous computing environment, it is imperative for users to search and use images based on affective meanings. However, it has been difficult to index affective meanings of image since emotions of image are substantially subjective and highly abstract. In addition, utilizing low level features of image for indexing affective meanings of image has been limited for high level concepts of image. To facilitate the access points of affective meanings of image, this study aims to utilize user-provided responses of images. For a data set, emotional words are collected and cleaned from twenty participants with a set of fifteen images, three images for each of basic emotions, love, sad, fear, anger, and happy. A total of 399 unique emotion words are revealed and 1,093 times appeared in this data set. Through co-word analysis and network analysis of emotional words from users' responses, this study demonstrates expanded word sets for five basic emotions. The expanded word sets are characterized with adjective expression and action/behavior expression.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이미지에 대한 이용자의 반응은 O'Connor, O'Connor, and Abbas(1999)가 제시한 바와 같이 이미지 접근에 있어서 중요한 속성이다. 따라서 본 연구는 이미지에 대한 이용자의 감정 반응을 이미지 감정 접근점 확장에 활용하고자 한다. 이와 함께 본 연구는 이용자가 제시한 이미지의 감정 반응에 나타난 용어를 기반으로 동시출현단어분석을 수행하였다.
감정색인을 위해서 이용자의 반응을 활용하는 관점의 연구가 미비한 상태이다. 따라서 본 연구는 이용자의 반응을 감정 색인에 적극적으로 활용하여 이미지 감정 접근 향상에 기여하고자 한다.
동시출현단어분석은 함께 빈번하게 등장한 용어가 개념적으로 유사하다는 가정에서 출발하여 학문의 지적구조 분석 등에 자주 사용되어 왔다 (He 1999). 본 연구는 이용자 감정 반응에서 동시에 빈번하게 출현한 용어를 분석하여 이를 네트워크 기반의 감정용어 확장을 제시하고자 하였다. 이러한 동시출현단어와 네트워크분석 방식은 전통적인 매뉴얼 시소러스 구축 방식에 비해서 비용과 시간 측면에 효율적일 뿐만 아니라 이미지의 감정용어 관련 네트워크 구현과 시각적인 제시에 있어서 효과적이라고 기대한다.
본 연구는 이용자의 감정 반응을 동시출현단어분석과 네트워크 분석을 수행하기 위해서 연구 참여자의 감정반응 응답을 처리하고 정련과정을 거쳤다. 5가지 기본 감정을 표현하는 이미지에 대하여 이용자의 반응은 399건의 고유 용어로 나타났다.
감정 색인은 기존의 연구들이 밝힌 바와 같이 본질적으로 이미지가 내포하고 있는 추상적이고 함의적 개념을 색인하는 난제 중에 하나이다. 이에 대하여본 연구는 최근 연구 흐름과 같이 이미지 감정 색인을 위해서 이용자의 반응을 활용하고자 하였다. 이용자의 반응을 분석하여 동시에 빈번하게 출현하는 용어를 네트워크로 표현하여 이미지의 감정 접근점을 확장하고자 하였다.
이에 본 연구는 이용자가 이미지에 대해서 반응한 결과를 분석하여 감정 접근점을 이용자 중심으로 확장하고자 하는 연구 목적을 수행하며, 궁극적으로 이미지 감정 접근과 이용 향상에 기여하고자 한다. 이러한 연구 목적의 달성을 위해서 두 가지 구체적인 연구문제를 다루고자 한다.
이에 대하여본 연구는 최근 연구 흐름과 같이 이미지 감정 색인을 위해서 이용자의 반응을 활용하고자 하였다. 이용자의 반응을 분석하여 동시에 빈번하게 출현하는 용어를 네트워크로 표현하여 이미지의 감정 접근점을 확장하고자 하였다. ‘사랑’, ‘행복’, ‘분노’, ‘슬픔’, ‘공포’와 같은 5가지 기본 감정을 표현하는 이미지에 대하여 연구 참여자의 반응을 기반으로 동시출현단어분석과 네트워크 분석을 수행하였으며, 그 결과 기본 감정 용어의 확장을 제시하였다.
가설 설정
(1976)의 기본단계이론을 활용하여, 시소러스 설계를 위한 제안점을 제시하였다. 시소러스 설계 시에 색상과 일반 범주를 위해서는 기본단계 용어에 집중하는 것이 바람직하다고 제안하였다. 일관된 일련의 용어 구축이 상대적으로 어려운 추상개념을 위해서는 용어의 계층구조와 연관구조를 통해 브라우징 기능을 확장하는 것이 바람직하다고 제시하였다.
제안 방법
‘사랑’, ‘행복’, ‘분노’, ‘슬픔’, ‘공포’와 같은 5가지 기본 감정을 표현하는 이미지에 대하여 연구 참여자의 반응을 기반으로 동시출현단어분석과 네트워크 분석을 수행하였으며, 그 결과 기본 감정 용어의 확장을 제시하였다.
이지연(2002)은 이미지의 감정정보에 대하여 2차례의 실험을 통하여 색인 일관성에 대한 탐구를 수행하였다. 1차와 2차 실험에서 이용자 간의 색인 일관성과 이미지 탐색 과정에서 기존 주제어와 이용자의 동의 정도를 파악하였다. 이 두 차례 실험의 결과 감정 정보의 색인 객관성을 담보하는 것은 한계가 있으며, 이용자의 주관적 접근을 가능하게 하는 시스템 필요하다고 제시하였다.
본 연구는 유로피아나 이미지 중에서 전문 색인가에 의해서 5가지 기본 감정(사랑, 행복, 슬픔, 분노, 공포)으로 색인된 이미지를 선정하였다. 5가지 감정으로 색인된 수많은 이미지 중에서 사전 실험을 통해 해당 감정으로 지속적으로 이용자들에게 받아들여진 이미지 3건을 감정 이미지 모형으로 선정하였다. 결과적으로 5가지 감정에 대해서 3건의 이미지, 즉 총 15건의 이미지가 본 연구에 사용되었다.
이러한 선정 결정은 Armitage와 Enser(1997)가 제시한 것처럼 감정을 자극하는 극단적인 이미지 보다는 일반적인 이미지의 이용과 이에 대한 인식을 적용하는 것이 이미지의 감정 색인과 접근점 확장하는데 있어서 실질적인 기여가 될 수 있다는 고찰에 기인한다. 본 연구는 유로피아나 이미지 중에서 전문 색인가에 의해서 5가지 기본 감정(사랑, 행복, 슬픔, 분노, 공포)으로 색인된 이미지를 선정하였다. 5가지 감정으로 색인된 수많은 이미지 중에서 사전 실험을 통해 해당 감정으로 지속적으로 이용자들에게 받아들여진 이미지 3건을 감정 이미지 모형으로 선정하였다.
예를 들어 ‘기쁨을 느꼈다’, ‘기쁘다’, ‘기뻐하는 것 같다’ 등의 용어를 ‘기쁨’이라는 명사형으로 통제하는 과정을 거쳐서 동일한 용어는 하나의 대표 용어로 분석될 수 있도록 하였다. 우선 전체 감정 용어를 대상으로 동시출현 단어 분석하여 상위 동시출현단어를 기반으로 감정 용어 동시출현 네트워크를 구현하였다. 이와 함께 5가지 감정인 슬픔, 사랑, 공포, 행복, 분노 별로 감정 용어 동시 출현 네트워크를 구현하였다.
감정색인에 국한되지는 않았지만, 일반적인 관점에서 Stvilia, Jörgensen, and Wu(2012)는 소셜 태깅이 이미지 색인에 기여할 수 있는 가능성을 탐색하였다. 이를 위하여 저자들은 Thesaurus for Graphic Materials와 Library of Congress Subject Heading 기반의 기존 색인어에 Flickr와 위키피디아의 이용자가 생성한 이미지 태그를 합하여 이용자에게 유용성 실험을 수행하였다. 실험 결과 소셜 태킹은 기존의 통제 어휘 기반 색인어와 더해져서 이용자들에게 유용하다고 인지되었으며, 이미지에 대한 포괄성 또한 높은 것으로 나타났다.
이미지의 컬렉션 접근은 개별 이미지에 대한 행태와 차이가 있으며, 이 점을 주목하여 Stvilia와 Jörgensen(2009)은 Flickr에서 개인 이미지 컬렉션(photoset)과 이용자 그룹이 집합적으로 생성한 이미지 컬렉션 (group photo)에 대하여 이용자가 생성한 기술을 내용 분석하여 이미지 컬렉션 수준의 메타데이터에 대한 제안점을 보여주고자 하였다. 이미지를 10개의 범주를 사용하여 사진첩(photoset) 기능의 컬렉션 단계에서의 태그를 분석하였다. 분석결과 플리커 이용자들은 개인 이미지 컬렉션은 bottom-up방식의 이미지 기술이 보편적이며, 그룹 이미지 컬렉션은 top-down 방식의 이미지 기술이 지배적이라고 밝혔다.
우선 전체 감정 용어를 대상으로 동시출현 단어 분석하여 상위 동시출현단어를 기반으로 감정 용어 동시출현 네트워크를 구현하였다. 이와 함께 5가지 감정인 슬픔, 사랑, 공포, 행복, 분노 별로 감정 용어 동시 출현 네트워크를 구현하였다. 동시출현단어 분석에서 동시출현 행렬 작성은 BibExcel1) 프로그램을 사용하였으며, 네트워크 구현은 NodeXL2) 프로그램을 사용하였다.
따라서 본 연구는 이미지에 대한 이용자의 감정 반응을 이미지 감정 접근점 확장에 활용하고자 한다. 이와 함께 본 연구는 이용자가 제시한 이미지의 감정 반응에 나타난 용어를 기반으로 동시출현단어분석을 수행하였다. 동시출현단어분석은 함께 빈번하게 등장한 용어가 개념적으로 유사하다는 가정에서 출발하여 학문의 지적구조 분석 등에 자주 사용되어 왔다 (He 1999).
대상 데이터
Rorissa(2010) 역시 일반적인 관점에서 이미지 색인과 검색에 있어서 이용자가 생성한 태킹 정보의 유용성을 규명하기 위해서 Flickr에 부여된 태그와 색인가가 부여한 색인어를 비교 분석하였다. 2007년 6월 1일부터 7일까지 7일 동안 Flickr에 업로드되고 태깅된 이미지 약 2백만건과 St. Andrews Library Photographic Archive의 소장 이미지 300,000건을 모집단으로 설정하였다. 이 중에서 Flickr 이미지는 무작위로 선정된 975건의 이미지에 부여된 4,159건의 태그와 St.
5가지 감정으로 색인된 수많은 이미지 중에서 사전 실험을 통해 해당 감정으로 지속적으로 이용자들에게 받아들여진 이미지 3건을 감정 이미지 모형으로 선정하였다. 결과적으로 5가지 감정에 대해서 3건의 이미지, 즉 총 15건의 이미지가 본 연구에 사용되었다. 또한 연구 참여자는 2013년 7월 10일부터 8월 29일까지 본 연구의 데이터 수집에 참여하였다.
이미지 감정 색인에 관한 연구인 정선영과 정 은경(2014) 연구의 후속 연구이며, 본 연구는 앞선 연구와 마찬가지로 연구 목적 성취를 위해서 유럽 문화유산 데이터베이스인 유로피아나(europeana)에서 검색된 동일한 이미지 데이터(정선영, 정은경 2014 연구 참조)를 사용하였다. 데이터 선정과정에서 International Affective Picture System(IAPS) 등을 고려하였으나, 유로피아나 데이터를 최종 선정하였다. 이러한 선정 결정은 Armitage와 Enser(1997)가 제시한 것처럼 감정을 자극하는 극단적인 이미지 보다는 일반적인 이미지의 이용과 이에 대한 인식을 적용하는 것이 이미지의 감정 색인과 접근점 확장하는데 있어서 실질적인 기여가 될 수 있다는 고찰에 기인한다.
결과적으로 5가지 감정에 대해서 3건의 이미지, 즉 총 15건의 이미지가 본 연구에 사용되었다. 또한 연구 참여자는 2013년 7월 10일부터 8월 29일까지 본 연구의 데이터 수집에 참여하였다. 연구 참여자는 총 20명이며 특성을 살펴보면, 20대 초중반의 대학 및 대학원 재학생으로 남여 비율은 여성 참여자가 50%를 약간 상회하는 수준이다.
슬픔으로 색인된 이미지를 보고 연구 참여자는 반응을 기술하였으며, 이용자 반응에서 추출한 고유한 용어는 총 108건으로 나타났다. 슬픔으로 색인된 이미지를 보고, 연구 참여자는 총 215건의 용어를 사용하였으며, 하나의 이미지에 평균 3.58건의 용어를 사용하였다. <표 3>에서 제시하는 바와 같이 4회 이상 나타난 상위 출현 빈도 용어는 12건으로 나타났으며, ‘슬픔’(26회), ‘절망’(10회), ‘고뇌’(8회) 등으로 나타났다
또한 연구 참여자는 2013년 7월 10일부터 8월 29일까지 본 연구의 데이터 수집에 참여하였다. 연구 참여자는 총 20명이며 특성을 살펴보면, 20대 초중반의 대학 및 대학원 재학생으로 남여 비율은 여성 참여자가 50%를 약간 상회하는 수준이다. 연구 참여자는 15개의 이미지를 보고, 가장 먼저 떠오르는 감정에 대하여 표현할 수 있는 내용을 모두 자유롭게 개방형 설문지에 기술하도록 안내되었다.
연구 참여자들은 공포의 이미지에 대한 반응으로 총 219건의 용어를 사용하여 기술하였다. 이 중에서 총 121건의 용어는 고유한 것으로 나타났다.
Rorissa(2008)의 연구는 기본단계이론을 활용하여 개별 이미지의 색인과 검색뿐만 아니라 그룹의 이미지를 대상으로 색인과 검색 향상을 목적으로 한다. 이를 위해서 Rorissa는 180명의 연구 참여자가 이미지를 보고 생성한 정렬, 명명, 기술 결과를 분석하였다. 그 결과 연구 참여자들은 그룹의 이미지와 개별 이미지를 명명하고 기술하는 과정에서 완전히 다른 사고 구조로 접근하는 것을 보여주었다.
본 연구는 ‘이미지 감정 색인과 접근’이라는 일련의 연구 프로젝트의 일환으로 수행되었다. 이미지 감정 색인에 관한 연구인 정선영과 정 은경(2014) 연구의 후속 연구이며, 본 연구는 앞선 연구와 마찬가지로 연구 목적 성취를 위해서 유럽 문화유산 데이터베이스인 유로피아나(europeana)에서 검색된 동일한 이미지 데이터(정선영, 정은경 2014 연구 참조)를 사용하였다. 데이터 선정과정에서 International Affective Picture System(IAPS) 등을 고려하였으나, 유로피아나 데이터를 최종 선정하였다.
가 <그림 1>과 같이 제시되었다. 전체 고유 감정 용어 399건 중에서 4회 이상 출현한 66건의 감정용어를 기반으로 구현되었다. 전체적으로 네트워크를 살펴보면, 왼쪽은 긍정적 감정인 ‘행복’과 ‘사랑’ 감정을 나타내는 용어들이 주로 연결되어 있으며, 오른쪽은 부정적인 감정인 ‘슬픔’, ‘공포’, ‘분노’와 관련된 용어들이 연결되어 있다.
보다 구체적으로 이용자가 제공한 태그와 감정 색인에 대한 가능성을 타진한 Schmidt와 Stock(2009)은 이미지 감정 색인을 위하여 소셜 태킹과 같은 집합적 색인 가능성에 대한 탐구를 시도하였다. 총 763명의 연구 참여자들은 5가지 기본 감정의 전형 이미지에 대해서 스크롤 바와 태그를 사용하여 감정을 표현하였다. 이들은 이용자들이 표현한 결과를 분석하여 특정 이미지에 대해서 일관적 감정의 표현과 기본단계이론에 근거한 기본 수준의 태그가 사용되었 음을 보고하였다.
행복을 표현한 이미지에 대해서 연구 참여자 들의 반응을 분석하여 총 208건의 감정용어를 찾아내었으며, 80건의 용어가 고유한 것으로 나타났다. 이는 평균적으로 이미지 하나당 3.
데이터처리
이와 함께 5가지 감정인 슬픔, 사랑, 공포, 행복, 분노 별로 감정 용어 동시 출현 네트워크를 구현하였다. 동시출현단어 분석에서 동시출현 행렬 작성은 BibExcel1) 프로그램을 사용하였으며, 네트워크 구현은 NodeXL2) 프로그램을 사용하였다.
이론/모형
Shatford Layne (1994)의 범주와 Rosch et al.(1976)의 기본단계이론을 활용하여, 시소러스 설계를 위한 제안점을 제시하였다. 시소러스 설계 시에 색상과 일반 범주를 위해서는 기본단계 용어에 집중하는 것이 바람직하다고 제안하였다.
성능/효과
‘슬픔’, ‘분노’, ‘공포’의 부정적 기본 감정 용어는 유사어나 동의어 이외에도 ‘걱정’, ‘긴장감’, ‘두려움’, ‘외로움’, ‘압박감’, ‘절망’, ‘고뇌’, ‘충격’, ‘화남’ 등의 용어와 빈번하게 등장 하는 것으로 나타났다.
‘행복’을 중심으로 ‘기쁨’, ‘사랑’, ‘편안’, ‘귀여움’, ‘즐거움’, ‘안정감’ 등이 주요한 노드로 확인되었다.
이 중에서 9회 이상 출현한 상위 출현빈도 20위의 용어는 <표 1>에서 제시하는 바와 같다. 5가지 기본 감정의 유로피아나의 색인어 중 4가지 색인어인 슬픔, 사랑, 공포, 행복이 각각 43회, 38회, 34회, 30회 출현하여 1위부터 4위를 차지하였다. 분노는 21회 출현하여 7위를 차지하였으며, 5위는 무서움으로 29회, 6위는 귀여움으로 23회 출현하였다.
기본 감정 5가지에 대하여 이용자의 반응을 기반으로 한 고유한 용어의 수를 살펴보면, 전체 감정을 대상으로 한 경우는 고유한 용어는 399건으로 나타났다. 개별 감정네트워크로서 슬픔 108건, 사랑 119건, 공포 121건, 행복 80건, 분노 134건의 용어로 각각 나타났다. 이러한 확장된 용어는 기존의 시소러스나 통제 어휘에서 전통적으로 제공하는 유사어, 동의어, 관련어 등의 관계보다는 해당 이미지의 특성을 반영한 형용사나 동작/행위의 표현 등이 포함되어 있다.
개별적인 기본 감정으로써 슬픔 감정 네트워크를 살펴보면, ‘두려움’, ‘안타까움’, ‘불안’, ‘무서움’, ‘절망’, ‘고뇌’ 등이 주요하게 슬픔 용어와 연결되어 있는 것으로 나타났다.
이를 위해서 Rorissa는 180명의 연구 참여자가 이미지를 보고 생성한 정렬, 명명, 기술 결과를 분석하였다. 그 결과 연구 참여자들은 그룹의 이미지와 개별 이미지를 명명하고 기술하는 과정에서 완전히 다른 사고 구조로 접근하는 것을 보여주었다. 기본단계이론의 세 가지 단계인 상위단계, 기본단계, 하위단계를 통해 살펴보면, 그룹 이미지의 명명에서는 상위단계를 사용하며, 개별 이미지를 기술하는데 있어서는 기본단계를 사용하는 것으로 나타났다.
두 번째 논의 사항으로는 감정 네트워크를 통해 나타난 용어의 다양성이다. 기본 감정 5가지에 대하여 이용자의 반응을 기반으로 한 고유한 용어의 수를 살펴보면, 전체 감정을 대상으로 한 경우는 고유한 용어는 399건으로 나타났다. 개별 감정네트워크로서 슬픔 108건, 사랑 119건, 공포 121건, 행복 80건, 분노 134건의 용어로 각각 나타났다.
기본 감정 용어인 ‘행복’, ‘사랑’은 유사어나 동의어 이외에도 ‘따뜻함’, ‘편안함’, ‘기쁨’ 등이 긍정적 용어와 함께 빈번하게 등장하는 것으로 나타났다.
또한 5가지 기본 감정 용어를 포함하지 않은 상위 출현한 용어 쌍은 ‘두려움’-‘무서움’, ‘고독’-‘외로움’, ‘다정함’-‘따뜻함’, ‘두려움’-‘화남’으로 나타났다.
이미지를 10개의 범주를 사용하여 사진첩(photoset) 기능의 컬렉션 단계에서의 태그를 분석하였다. 분석결과 플리커 이용자들은 개인 이미지 컬렉션은 bottom-up방식의 이미지 기술이 보편적이며, 그룹 이미지 컬렉션은 top-down 방식의 이미지 기술이 지배적이라고 밝혔다. Rorissa(2008)의 연구는 기본단계이론을 활용하여 개별 이미지의 색인과 검색뿐만 아니라 그룹의 이미지를 대상으로 색인과 검색 향상을 목적으로 한다.
사랑의 이미지에 연구 참여자가 기술한 용어를 분석하면, 총 119건의 고유한 용어가 출현하였으며, 전체적으로 총 214건의 용어가 나타났다. 사랑의 이미지에 사용된 용어는 이미지 하나에 대하여 평균 3.
상위 동시출현 용어 쌍에서 ‘따뜻함’-‘사랑’, ‘사랑’-‘행복’, ‘귀여움’-‘사랑’ 용어 쌍은 기본 감정 색인 어인 사랑을 포함하고 있지만, ‘따뜻함’-‘포근함’과 ‘따뜻함’-‘신비로움’ 등의 용어 쌍은 ‘사랑’이라는 기본 감정 용어 없이 빈번하게 함께 출현하고 있는 것으로 나타났다.
슬픔으로 색인된 이미지를 보고 연구 참여자는 반응을 기술하였으며, 이용자 반응에서 추출한 고유한 용어는 총 108건으로 나타났다. 슬픔으로 색인된 이미지를 보고, 연구 참여자는 총 215건의 용어를 사용하였으며, 하나의 이미지에 평균 3.
이를 위하여 저자들은 Thesaurus for Graphic Materials와 Library of Congress Subject Heading 기반의 기존 색인어에 Flickr와 위키피디아의 이용자가 생성한 이미지 태그를 합하여 이용자에게 유용성 실험을 수행하였다. 실험 결과 소셜 태킹은 기존의 통제 어휘 기반 색인어와 더해져서 이용자들에게 유용하다고 인지되었으며, 이미지에 대한 포괄성 또한 높은 것으로 나타났다. 이러한 결과는 이미지 색인과 검색에 있어서 소셜 태킹의 가치와 함께 실제적인 활용 가능성을 보여준 것이라고 볼 수 있다.
연구 참여자들이 분노 이미지에 본 반응을 기술하였으며, 이를 살펴보면, 총 237건의 감정 용어가 나타났으며, 이중에서 134건의 용어가 고유한 것으로 나타났다. 하나의 이미지에 대해서 평균 3.
정선영과 정은경(2014)은 감정 색인을 위한 시각적 요인을 규명하기 위해 5가지 기본 감정을 나타내는 15건의 이미지에 대해서 20명의 연구 참여자와 인터뷰를 수행하였다. 연구 참여자와의 인터뷰 결과 총 620건의 시각적 요인 및 하위요인을 규명하였으며, 5가지 기본 감정별로 시각적 요인의 분포에 차이가 있음을 밝혔다. 이지연(2002)은 이미지의 감정정보에 대하여 2차례의 실험을 통하여 색인 일관성에 대한 탐구를 수행하였다.
Shatford Layne(1994)의 연구결과에서 제시한 바와 같이 이미지 감정 접근점 확장을 위해서 네트워크와 같이 복수의 노드(용어)를 제시 하는 것이 효율적이다. 즉 추상적인 개념을 이미지 접근점으로 이용자에게 제시하기 위해서는 네트워크의 여러 노드(용어)를 제시하는 것이 기존의 시소러스나 통제어휘의 단일 항목 제시보다 유용하다는 것을 보여준다. 두 번째 논의 사항으로는 감정 네트워크를 통해 나타난 용어의 다양성이다.
이와 같은 연구결과를 바탕으로 이미지 감정 색인과 검색 향상을 위한 이용자 반응 기반 감정 접근점 확장은 세 가지 논의 사항을 중심으로 살펴볼 수 있다. 첫째, 전체 감정 네트워크를 살펴보면, 5가지 기본 감정의 구분은 명확한 경계가 있기 보다는 감정의 최상위 구분 단계인 긍정적 감정과 부정적 감정으로 양분되어 나타났다. 이러한 결과는 5가지 기본 감정 중에서도 긍정적 감정인 ‘사랑’과 ‘행복’의 감정을 표현하는 용어가 서로 밀접하게 연결되어 있는 것을 보여준다.
이용자의 검색요구와의 비교를 위해서 Chung과 Yoon(2009)는 Shatford Layne의 범주체계와 기본단계이론의 구체성에 기반하여 Flickr 이용자가 제공하는 태그와 검색 질의어의 특성을 비교 분석하였다. 태그와 검색 질의어에 대해서 범주 분석 결과의 빈도 분석과 카이 자승 분석을 통해서 통계적으로 유의미한 차이가 있음을 보였다. 태그와 검색 질의어의 구체성 수준에서도 통계적으로 유의미한 차이를 밝혔다.
행복 감정 네트워크는 행복 기본 감정 용어가 중심이 되어 ‘귀여움’, ‘사랑’, ‘편안’, ‘즐거움’, ‘안정감’, ‘기쁨’ 등의 용어와 함께 출현한 것으로 나타났다.
후속연구
본 연구는 이용자 감정 반응에서 동시에 빈번하게 출현한 용어를 분석하여 이를 네트워크 기반의 감정용어 확장을 제시하고자 하였다. 이러한 동시출현단어와 네트워크분석 방식은 전통적인 매뉴얼 시소러스 구축 방식에 비해서 비용과 시간 측면에 효율적일 뿐만 아니라 이미지의 감정용어 관련 네트워크 구현과 시각적인 제시에 있어서 효과적이라고 기대한다.
질의응답
핵심어
질문
논문에서 추출한 답변
멀티미디어 감정 기반의 접근과 이용연구에 있어 키워드와 같은 텍스트를 활용하기 어려운 이유는 무엇인가?
따라서 감정 기반 컴퓨터 정보기술 환경에서 이미지와 같은 멀티미디어 감정 기반의 접근과 이용은 매우 중요한 연구 분야이다. 그러나 여러 학자들은 이미지의 특성상 키워드와 같은 텍스트는 이차적인 표현이기 때문에 직접적인 감정 색인과 검색에 있어서 상당한 어려움이 있다고 동의한다(Fidel 1997; Jörgensen 2003; Wang and Wang2005). 이미지는 특히 시각적인 구성 요소에 기반을 둔 복합적이며 함축적 의미를 포함하고 있기 때문에 이미지 접근에 있어서 감정과 같은 추상적이고 함의적 접근점을 제공하는 것은 이미지 색인과 검색의 본질적인 어려움을 해결하려는 시도라고도 볼 수 있다.
감정의 색인과 검색 과정은 어떤 특징을 가지고 있는가?
실제적으로 감정을 표현하는 용어에 대해서 색인가와 이용자, 이용자와 이용자 사이에 상당한 차이를 보인다. 따라서 감정의 색인과 검색은 색인가와 이용자 사이의 주관적인 판단과 함께 이를 표현하는 용어 사용의 차이로 인해 검색 결과의 불일치로 이어지는 경향이 있다. 예를 들면, 색인 가는 A라는 이미지에 ‘행복’이라는 감정 용어를 사용하여 색인한 경우에, 이용자 관점에서 ‘따뜻하다’, ‘즐겁다’ 등의 시각이 다른 용어를 사용하여 검색하는 경우에 검색 결과에 있어서 불일치가 일어나기 마련이다.
감정 기반 컴퓨팅 기술의 발전을 위해 필요한 것은 무엇인가?
최근 컴퓨터 정보 기술과 이용이 빠른 속도로 확대되어 가고 있으며, 감정 기반의 컴퓨팅은 가장 활발하게 연구가 이루어지고 있는 분야이다(Rho and Yeo 2013; Tao and Tan 2005). 감정 기반 컴퓨팅 기술 발전을 위한 핵심 과제 중의 하나는 콘텐츠와 정보에 대하여 감정 기반의 접근과 이용이다. 따라서 감정 기반 컴퓨터 정보기술 환경에서 이미지와 같은 멀티미디어 감정 기반의 접근과 이용은 매우 중요한 연구 분야이다.
참고문헌 (27)
유소영, 문성빈. 2004. 심미적 인상을 이용한 이미지 검색에 관한 실험적 연구. 정보관리학회지, 21(4): 187-208. (Yu, So-Young and Sung-Been Moon. 2004. "An Exploratory Study of Image Retrieval Using Aesthetic Impressions." Journal of the Korean Society for Information Management, 21(4): 187-208.)
이지연. 2002. 이용자 관점에서 본 이미지 색인의 객관성에 대한 연구. 정보관리학회지, 19(3): 123-143. (Lee, Jee-Yeon. 2002. "An Investigation of the Objectiveness of Image Indexing from Users' Perspectives." Journal of the Korean Society for Information Management, 19(3): 123-143.)
정선영, 정은경. 2014. 이미지 감정색인을 위한 시각적 요인 분석에 관한 탐색적 연구. 한국문헌정보학회지, 48(1): 53-73. (Chung, SunYoung and EunKyung Chung. 2014. "An Exploratory Investigation on Visual Cues for Emotional Indexing of Image." Journal of the Korean Society for Library and Information Science, 48(1): 53-73.)
Chung, Eun Kyung and Jung Won Yoon. 2009. "Categorical and Specificity Differences between User-Supplied Tags and Search Query Terms for Images. An Analysis of Flickr Tags and Web Image Search Queries." Information Research: An International Electronic Journal, 14(3).
Enser, Peter. G. B., Christine. J. Sandom, Jonathon. S. Hare, and Paul H. Lewis. 2007. "Facing the Reality of Semantic Image Retrieval." Journal of Documentation, 63(4): 465-481.
Fidel, Raya. 1997. "The Image Retrieval Task: Implications for the Design and Evaluation of Image Databases." The New Review Hypermedia and Multimedia, 3: 181-200.
J rgensen, Corinne. 1998. "Attributes of Images in Describing Tasks." Information Processing & Management, 34(2-3): 161-174.
J rgensen, Corinne. 2003. Image Retrieval: Theory and Research. Lanham, MD: Scarecrow Press.
J rgensen, Corinne. 2004. "The Visual Indexing Vocabulary: Developing a Thesaurus for Indexing Images across Diverse Domains." Proceedings of the American Society for Information Science and Technology, 41(1): 287-293.
Knautz, Kathrin and Wolfgang G. Stock. 2011. "Collective Indexing of Emotions in Videos." Journal of Documentation, 67(6): 975-994.
O'Connor, Brian, Mary O'Connor, and June Abbas. 1999. "User Reactions as Access Mechanism: An Exploration based on Captions for Images." Journal of the American Society for Information Science, 50(8): 681-697.
Rho, Seungmin and Sang-Soo Yeo. 2013. "Bridging the Semantic Gap in Multimedia Emotion/Mood Recognition for Ubiquitous Computing Environment." The Journal of Supercomputing, 65(1): 274-286.
Robertson, Stephen E., M. E. Maron, and William S. Cooper. 1982. "Probability of Relevance: A Unification of Two Models for document retrieval." Information Technology: Research and Development, 1: 1-21.
Rorissa, Abebe. 2008. "User-generated Descriptions of Individual Images versus Labels of Groups of Images: A Comparison Using Basic Level Theory." Information Processing & Management, 44(5): 1741-1753.
Rorissa, Abebe. 2010. "A Comparative Study of Flickr Tags and Index Terms in a General Image Collection." Journal of the American Society for Information Science and Technology, 61(11): 2230-2242.
Rosch, Eleanor, Carolyn B. Mervis, Wayne D. Gray, David M. Johnson, and Penny Boyes-Braem. 1976. "Basic Objects in Natural Categories." Cognitive Psychology, 8: 382-439.
Schmidt, Stefanie and Wolfgang G. Stock. 2009. "Collective Indexing of Emotions in Images: a Study in Emotional Information Retrieval." Journal of the American Society for Information Science and Technology, 60(5): 863-876.
Stvilia, Besiki, Corinne J rgensen, and Shuheng Wu. 2012. "Establishing the Value of Sociallycreated Metadata to Image Indexing." Library & Information Science Research, 34: 99-109.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.