본 논문에서는 색맹인 사람들을 위한 스마트 폰 기반 색상 매칭 기법을 제안한다. 색맹인 사람들을 위해 기존 연구로 모바일 기반 애플리케이션들이 제공되기는 하였으나, 대부분의 연구가 사진 촬영 후 색상의 값, 이름만 제공할 뿐 동일 색상을 실시간으로 비교하지 못하는 불편함이 있다. 이러한 불편함을 해소하기 위해 우리는 스마트 폰의 카메라로 색상 비교를 위해 사진을 촬영하여 화면 옆에 두고, 실시간 입력되는 카메라 영상을 비교하여 유사 색상을 알려줌으로써 실시간 비교가 가능한 색상 매칭 알고리즘과 이를 이용한 애플리케이션을 개발하였다. 색상 매칭 알고리즘은 실시간 비교를 위해 Red, Green, Blue 그리고 Hue 값을 이용하여 코사인 유사도를 계산하며, 유사도 값에 따라 매칭 결과를 실시간으로 알려준다. 제안 방법의 성능을 판단하기 위해 색상 매칭 실험을 하였으며, 그 결과 매칭 성공률은 약 98%를 나타냈다. 따라서 제안 방법은 색맹인 사용자가 스마트 폰을 이용하여 자신이 원하는 색을 찾는데 효과적인 기법이 될 것이다.
본 논문에서는 색맹인 사람들을 위한 스마트 폰 기반 색상 매칭 기법을 제안한다. 색맹인 사람들을 위해 기존 연구로 모바일 기반 애플리케이션들이 제공되기는 하였으나, 대부분의 연구가 사진 촬영 후 색상의 값, 이름만 제공할 뿐 동일 색상을 실시간으로 비교하지 못하는 불편함이 있다. 이러한 불편함을 해소하기 위해 우리는 스마트 폰의 카메라로 색상 비교를 위해 사진을 촬영하여 화면 옆에 두고, 실시간 입력되는 카메라 영상을 비교하여 유사 색상을 알려줌으로써 실시간 비교가 가능한 색상 매칭 알고리즘과 이를 이용한 애플리케이션을 개발하였다. 색상 매칭 알고리즘은 실시간 비교를 위해 Red, Green, Blue 그리고 Hue 값을 이용하여 코사인 유사도를 계산하며, 유사도 값에 따라 매칭 결과를 실시간으로 알려준다. 제안 방법의 성능을 판단하기 위해 색상 매칭 실험을 하였으며, 그 결과 매칭 성공률은 약 98%를 나타냈다. 따라서 제안 방법은 색맹인 사용자가 스마트 폰을 이용하여 자신이 원하는 색을 찾는데 효과적인 기법이 될 것이다.
In this paper, we proposed the color matching application based on smart phone which can help color blind people. For color blind people, the existing methods and applications supported color matching application which based on mobile. However, because the most research only showed the color value a...
In this paper, we proposed the color matching application based on smart phone which can help color blind people. For color blind people, the existing methods and applications supported color matching application which based on mobile. However, because the most research only showed the color value and color name through capture image of mobile camera, those cannot compare with capture image color of mobile camera and color of real object in real-time. To solve those problem, we proposed the color matching algorithm and developed the color matching application that can compare with color of mobile camera's capture image and color of real object in real-time, because the proposed application divides screen of smart phone into two parts and it show one part as capture image of smart phone camera and the other part as real-time camera image of smart phone. Color matching algorithm calculate cosine similarity using Red, Green, Blue, and Hue value of each image for real-time comparing and show matching result according to similarity value in real-time. To evaluate the performance of the proposed application, we tested a color matching experiment using the proposed application and the matching result was 98% success rate. Therefore, the proposed application will be a useful application which can help color blind people.
In this paper, we proposed the color matching application based on smart phone which can help color blind people. For color blind people, the existing methods and applications supported color matching application which based on mobile. However, because the most research only showed the color value and color name through capture image of mobile camera, those cannot compare with capture image color of mobile camera and color of real object in real-time. To solve those problem, we proposed the color matching algorithm and developed the color matching application that can compare with color of mobile camera's capture image and color of real object in real-time, because the proposed application divides screen of smart phone into two parts and it show one part as capture image of smart phone camera and the other part as real-time camera image of smart phone. Color matching algorithm calculate cosine similarity using Red, Green, Blue, and Hue value of each image for real-time comparing and show matching result according to similarity value in real-time. To evaluate the performance of the proposed application, we tested a color matching experiment using the proposed application and the matching result was 98% success rate. Therefore, the proposed application will be a useful application which can help color blind people.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서, 본 논문에서는 이러한 문제점을 해소하기 위해 찾고자 하는 색상을 스마트 폰 카메라로 촬영한 후, 촬영 이미지를 화면 왼쪽에 보이게 하고, 실시간으로 카메라 영상이 들어오는 화면을 오른쪽에 두어 색맹인 사용자가 보다 편리하게 자신이 원하는 색상을 찾을 수 있는 스마트 폰 기반 실시간 색상 매칭 기법을 제안한다. 제안 방법은 색상 비교를 위해 RGB 색상 값과 기존 연구에서 사용하던 HSI(H:Hue, S:Saturation, I:Intensity) 컬러 공간의 Hue 값을 사용하며, 이때 실시간 영상의 빠른 색상 분석을 처리하기 위해 입력 영상 중앙의 일정 영역을 이용한다.
제안 방법
색맹인 사람들에게 실시간으로 정보를 제공하는 효과적인 색상 매칭 알고리즘은 그림 3과 같이 앞서 저장한 각각의 RGB 색상 배열과 Hue 배열을 이용하여 코사인 유사도를 계산하고, 유사도 값에 따라 Excellent, Good, bad 중 하나의 매칭 결과 및 유사 비율을 표시한다. 그리고 저장한 HSI 값을 HSI value table의 Color names과 비교하여 사람들에게 친숙한 색상 정보를 동시에 제공한다. 그림 3에서 코사인 유사도(Cosine similarity)를 이용한 매칭 값(Matching value) 계산은 RGB 값과 Hue 값을 저장한 배열들의 평균 유사도와 pixel 각각을 비교한 유사도 평균을 사용하며, 매칭 방법은 그림 4의 슈도코드를 사용한다.
제안 방법은 색상 비교를 위해 RGB 색상 값과 기존 연구에서 사용하던 HSI(H:Hue, S:Saturation, I:Intensity) 컬러 공간의 Hue 값을 사용하며, 이때 실시간 영상의 빠른 색상 분석을 처리하기 위해 입력 영상 중앙의 일정 영역을 이용한다. 비교를 위해 왼쪽에 있는 촬영 이미지는 사용자가 원하는 위치에 포인터를 옮길 수 있으며, 위치한 포인터 내의 색상 값과 실시간 영상에서 분석한 색상 값은 코사인 유사도(Cosine Similarity)를 이용한 색상 유사도를 비교하여 색상의 일치 여부를 알려준다. 즉, 제안 방법은 색맹인 사용자가 한 쌍의 동일한 색상 물체를 찾거나, 비교 할 때 유용하게 사용할 수 있다.
성능 평가를 위한 색상 매칭대상은표1의 16가지색상중9개를랜덤으로선택하여만들어진3×3 표를촬영하게한후앞에선택된9개의색상을 3×3 표에 재배열하여 동일한 색상을 각각 5초 이내에 찾게 하였다.
그림 5의 ③과 ④는 각 영상의 해당 픽셀 영역에 색상을 표 1에 분류에 따라 그 결과를 나타내는 것이며, 그림 5의 ⑤는 양쪽의 pixel 영역 색상이 일치하는지를 나타내는 것이다. 이때, 애플리케이션에 사용할 T1과T2의 임계값 설정을 위해T1과 T2 값을 변화하며, 표 1의 16개 색상에 대한 색상 값 매칭을 각각 10회 시도하였으며, 결과는 아래 그림 6과 같다.
따라서, 본 논문에서는 이러한 문제점을 해소하기 위해 찾고자 하는 색상을 스마트 폰 카메라로 촬영한 후, 촬영 이미지를 화면 왼쪽에 보이게 하고, 실시간으로 카메라 영상이 들어오는 화면을 오른쪽에 두어 색맹인 사용자가 보다 편리하게 자신이 원하는 색상을 찾을 수 있는 스마트 폰 기반 실시간 색상 매칭 기법을 제안한다. 제안 방법은 색상 비교를 위해 RGB 색상 값과 기존 연구에서 사용하던 HSI(H:Hue, S:Saturation, I:Intensity) 컬러 공간의 Hue 값을 사용하며, 이때 실시간 영상의 빠른 색상 분석을 처리하기 위해 입력 영상 중앙의 일정 영역을 이용한다. 비교를 위해 왼쪽에 있는 촬영 이미지는 사용자가 원하는 위치에 포인터를 옮길 수 있으며, 위치한 포인터 내의 색상 값과 실시간 영상에서 분석한 색상 값은 코사인 유사도(Cosine Similarity)를 이용한 색상 유사도를 비교하여 색상의 일치 여부를 알려준다.
본 장에서는 제안 방법을 이용하여 구현한 실제 색상 매칭 애플리케이션을 소개하며, 제안 기술의 성능을 평가하기 위한 실험 및 결과를 설명한다. 제안 애플리케이션은iOS 환경에 동작하도록 Apple사의 Xcode 6으로 제작하였으며, 실시간으로 입력되는 카메라 영상을 분석하기 위해 Apple에서 제공하는 AVCaptureVideoDataOutputSampleBufferDelegate를 사용하였다. 그림 5는 구현된 애플리케이션을 캡쳐한 것이다.
본 장에서는 색맹인 사용자를 위한 실시간 색상 매칭 방법에 관한 애플리케이션의 화면 구성을 소개하며, 색맹인 사람들에게 실시간으로 정보를 제공하는 효과적인 색상 매칭 알고리즘을 구체적으로 설명한다. 제안 애플리케이션의 화면은 그림 2와 같이 왼쪽에 사용자에 의해 촬영된 이미지를 배치하며, 오른쪽에 실시간으로 입력되는 카메라 영상을 배치한다.
대상 데이터
본 실험에 사용된 애플리케이션의 pixel 영역 크기는 20×20 pixel이며, 매칭 결과를 보여주기 위한 T1과 T2는 앞선 실험에서 높은 정확도를 나타낸 90%, 80%으로 하였다.
다음으로, 제안 방법의 성능 평가를 위한 실험은 다음과 같이 진행하였다. 실험 대상은 10대, 20대, 30대, 40대 각연령층별로 5명이 참여하였으며, 실험자의 눈에 의한 색 구분을 방지하기 위해 Tomoyuki가 사용한 Simulation eyeglass를 제작하여 실험에 사용하였다. 성능 평가를 위한 색상 매칭대상은표1의 16가지색상중9개를랜덤으로선택하여만들어진3×3 표를촬영하게한후앞에선택된9개의색상을 3×3 표에 재배열하여 동일한 색상을 각각 5초 이내에 찾게 하였다.
성능/효과
본 논문에서 제안하는 스마트 폰 기반 색상 매칭 기법은 사용자들이 비교하고자 하는 색상을 실시간으로 비교할 수 있으며, 동시에 색상의 이름을 제공함으로써 색맹인 사람들에게 도움을 줄 수 있는 유용한 기술이다. 4장 실험 결과에서 볼수 있듯이 제안 방법은 10~40대 전체적으로 98% 이상의 색상 매칭 성공률을 보였으며, 매칭을 위해 소요되는 시간 또한 평균 4.5초로 제안 애플리케이션은 실제 색맹인 사람들에게 즉시 서비스 할 수 있을 것으로 생각된다. 또한, 제안 방법을 이용하여 개발한 색상 매칭 애플리케이션은 3장에서 정의한 HSI 값에 따른 색상 이름을 더 다양하게 정의하면, 다양한 분야에 활용 할 수 있을 것이다.
즉, 제안 방법은 색맹인 사용자가 한 쌍의 동일한 색상 물체를 찾거나, 비교 할 때 유용하게 사용할 수 있다. 우리는 제안 방법의 성능을 판단하기 위해 iOS 기반 실시간 색상 매칭 애플리케이션을 제작하였으며, 다양한 색상을 지닌 여러 사물을 이용한 실험 결과 약 98%의 매칭 성공률을 나타냈다. 따라서 제안 방법은 색맹인 사용자들에게 손쉽게 동일 색상을 찾을 수 있는 효과적인 기법으로 활용 할 수 있을 것이다.
비교를 위해 왼쪽에 있는 촬영 이미지는 사용자가 원하는 위치에 포인터를 옮길 수 있으며, 위치한 포인터 내의 색상 값과 실시간 영상에서 분석한 색상 값은 코사인 유사도(Cosine Similarity)를 이용한 색상 유사도를 비교하여 색상의 일치 여부를 알려준다. 즉, 제안 방법은 색맹인 사용자가 한 쌍의 동일한 색상 물체를 찾거나, 비교 할 때 유용하게 사용할 수 있다. 우리는 제안 방법의 성능을 판단하기 위해 iOS 기반 실시간 색상 매칭 애플리케이션을 제작하였으며, 다양한 색상을 지닌 여러 사물을 이용한 실험 결과 약 98%의 매칭 성공률을 나타냈다.
후속연구
차후 연구로는 제안 방법에 사용되는 색상 유사도 매칭 알고리즘을 응용하여, 색맹인 사람들이 보다 편리하게 애플리케이션을 사용할 수 있도록 UI/UX 개선을 연구할 것이다. 그리고 실제 색맹인 사람들을 대상으로 한 실증 실험을 진행할 것이며, 기존실험에서 사용한 16개의 색상 이외에 보다 다양한색상을접할 수있는실생활에서의실험 연구를할 것이다.
우리는 제안 방법의 성능을 판단하기 위해 iOS 기반 실시간 색상 매칭 애플리케이션을 제작하였으며, 다양한 색상을 지닌 여러 사물을 이용한 실험 결과 약 98%의 매칭 성공률을 나타냈다. 따라서 제안 방법은 색맹인 사용자들에게 손쉽게 동일 색상을 찾을 수 있는 효과적인 기법으로 활용 할 수 있을 것이다.
색맹인 사람들 외에도, 어린 아이들에게 실제 색상과 그 색상의 이름을 설명해주고, 동일한 색상을 찾게 하는 교육 목적으로 활용이 가능할 것이다. 또한 개발한 애플리케이션의 화면에 정의된 색상 이름과 함께 RGB 값과 HSI 값을 함께 나타내어 준다면, 인쇄, 그래픽 디자이너들에게도 카메라 화면에 보이는 색상 값을 찾거나, 사용하고자 할 때 유용하게 쓰일 수 있을 것이다.
5초로 제안 애플리케이션은 실제 색맹인 사람들에게 즉시 서비스 할 수 있을 것으로 생각된다. 또한, 제안 방법을 이용하여 개발한 색상 매칭 애플리케이션은 3장에서 정의한 HSI 값에 따른 색상 이름을 더 다양하게 정의하면, 다양한 분야에 활용 할 수 있을 것이다. 색맹인 사람들 외에도, 어린 아이들에게 실제 색상과 그 색상의 이름을 설명해주고, 동일한 색상을 찾게 하는 교육 목적으로 활용이 가능할 것이다.
또한, 제안 방법을 이용하여 개발한 색상 매칭 애플리케이션은 3장에서 정의한 HSI 값에 따른 색상 이름을 더 다양하게 정의하면, 다양한 분야에 활용 할 수 있을 것이다. 색맹인 사람들 외에도, 어린 아이들에게 실제 색상과 그 색상의 이름을 설명해주고, 동일한 색상을 찾게 하는 교육 목적으로 활용이 가능할 것이다. 또한 개발한 애플리케이션의 화면에 정의된 색상 이름과 함께 RGB 값과 HSI 값을 함께 나타내어 준다면, 인쇄, 그래픽 디자이너들에게도 카메라 화면에 보이는 색상 값을 찾거나, 사용하고자 할 때 유용하게 쓰일 수 있을 것이다.
30대와 40대에 비해 10대와 20대가 색상 매칭에 빠른 이유는 10대와 20대의 경우 실험 자체를 게임 하는 느낌으로 집중해서 빨리 찾기를 하였다는 의견이 많았기 때문이다. 즉 실험 결과에서 제안 방법은 연령대에 관계없이 편리하게 색상을 비교하고, 원하는 색상을 찾을 수 있으므로 색맹인 사용자들에게 동일한 색상을 찾을 수 있는 효과적인 기법으로 활용 할 수 있을 것이다.
차후 연구로는 제안 방법에 사용되는 색상 유사도 매칭 알고리즘을 응용하여, 색맹인 사람들이 보다 편리하게 애플리케이션을 사용할 수 있도록 UI/UX 개선을 연구할 것이다. 그리고 실제 색맹인 사람들을 대상으로 한 실증 실험을 진행할 것이며, 기존실험에서 사용한 16개의 색상 이외에 보다 다양한색상을접할 수있는실생활에서의실험 연구를할 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
우리의 삶에서 색상이 중요한 이유는?
우리의 삶에서 색상은 매우 중요한 역할을 한다. 하나의 물체에 어떠한 색상이 칠해져 있는지에 따라 따뜻한, 차가움, 부드러움, 시원함 등과 같이 각기 다른 느낌을 전달할 수 있으며, 사람들이 입는 옷, 양말, 신발 등에도 각 색상의 조화에 따라 전달되는 느낌이 달라질 수 있다. 그러나 전 인구의 약 8%에게는 선천적으로 색상이 명확히 구별되지 않는 결함이 있다.
선천적으로 색상이 명확히 구별되지 않는 결함을 갖고 있는 인구는 몇퍼센트인가?
하나의 물체에 어떠한 색상이 칠해져 있는지에 따라 따뜻한, 차가움, 부드러움, 시원함 등과 같이 각기 다른 느낌을 전달할 수 있으며, 사람들이 입는 옷, 양말, 신발 등에도 각 색상의 조화에 따라 전달되는 느낌이 달라질 수 있다. 그러나 전 인구의 약 8%에게는 선천적으로 색상이 명확히 구별되지 않는 결함이 있다. 물론이러한결함이일상생활에큰지장을주지않지만, 색맹인 사람의 경우 다양한 색상의 양말들 중 같은 색상의 양말을 고르는 것과 같은 사소한 일에서조차 스트레스를 받을 수 있다.
사진 촬영 후 색상의 값, 이름만 제공할 뿐 동일 색상을 실시간ㄴㅇㄹ
색맹인 사람들을 위해 기존 연구로 모바일 기반 애플리케이션들이 제공되기는 하였으나, 대부분의 연구가 사진 촬영 후 색상의 값, 이름만 제공할 뿐 동일 색상을 실시간으로 비교하지 못하는 불편함이 있다. 이러한 불편함을 해소하기 위해 우리는 스마트 폰의 카메라로 색상 비교를 위해 사진을 촬영하여 화면 옆에 두고, 실시간 입력되는 카메라 영상을 비교하여 유사 색상을 알려줌으로써 실시간 비교가 가능한 색상 매칭 알고리즘과 이를 이용한 애플리케이션을 개발하였다. 색상 매칭 알고리즘은 실시간 비교를 위해 Red, Green, Blue 그리고 Hue 값을 이용하여 코사인 유사도를 계산하며, 유사도 값에 따라 매칭 결과를 실시간으로 알려준다.
참고문헌 (11)
T. Ohkubo, and K. Kazuyuki, "A color compensation vision system for color-blind people," In: Proceedings of SICE Annual Conference 2008 IEEE, pp. 1286-1289, August 2008.
T. Ohkubo, K. Kobayashi, K. Watanabe, and Y. Kurihara, "Development of a time-sharing-based color-assisted vision system for persons with color-vision deficiency," In: Proceedings of SICE Annual Conference 2010 IEEE, pp. 2499-2503, August 2010.
V. K. Y. V. S. Kondo, and V. Y. Tsuchiya, "Development of color-distinguishing application "ColorAttendant"," FUJITSU Sci. Tech. J, Vol. 45, No. 2, pp. 247-253, 2009.
S. Schmitt, S. Stein, F. Hampe, and D. Paulus, "Mobile services supporting color vision deficiency," In: Proceedings of 13th International Conference on Optimization of Electrical and Electronic Equipment (OPTIM) IEEE, pp. 1413-1420, May 2012.
A. S. Manaf, and R. F. Sari, "Color recognition system with augmented reality concept and finger interaction: Case study for color blind aid system," In : Proceedings of 9th International Conference on ICT and Knowledge Engineering (ICT & Knowledge Engineering) IEEE, pp. 118-123, January 2012.
R. Harwahyu, A. S. Manaf, B. S. Ananto, B. A. Wicaksana, and R. F. Sari, "Implementation of color-blind aid system," Journal of Computer Science, Vol. 9, No. 6, pp. 794, 2013.
RGB Color Codes Chart, RapidTables.com, http://www.rapidtables.com/web/color/RGB_Color.htm
M. B. Chung, and I. J. Ko, "Intelligent copyright protection system using a matching video retrieval algorithm," Multimedia Tools and Applications, Vol. 59, No. 1, pp. 383-401, 2012.
S. M. Dominguez, T. Keaton, and A. H. Sayed, "Robust finger tracking for wearable computer interfacing," In: Proceedings of the 2001 workshop on Perceptive user interfaces ACM, pp. 1-5, November 2001.
S. Kaur, and D. Aggarwal, "Image Content Based Retrieval System using Cosine Similarity for Skin Disease Images," Advances in Computer Science: an International Journal, Vol. 2, No. 4, pp. 89-95, 2013.
G. Qian, S. Sural, Y. Gu, and S. Pramanik, "Similarity between euclidean and cosine angle distance for nearest neighbor queries," In: Proceedings of the 2004 ACM symposium on Applied computing ACM, pp. 1232-1237, March 2004.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.