초록 ▼

IV. 연구결과
1. 식물정보 인식기술 및 실용화 가능성 탐색

가. 식물인식 요소

식물을 구성하는 정보 중에서 인식에 큰 영향이 없는 뿌리와 줄기를 제외한 꽃과 잎의 어떤 요소가 인식을 하는데 필요한지 분석을 해 보았다. 그 중 꽃이 가장 핵심적인 인식 요소가 되고，꽃의 구조 중에서 꽃잎의 색상과 꽃잎의 모양이 인식에 필수 요소로 분석 되었다.
따라서 꽃잎의 색상과 모양을 추출하는 알고리즘이 우선적으로 개발 되어야 식물 정보 인식이 효과적으로 이루어질 것으로 판단된다. 꽃이 없는 식물의 경우 잎이

IV. 연구결과
1. 식물정보 인식기술 및 실용화 가능성 탐색

가. 식물인식 요소

식물을 구성하는 정보 중에서 인식에 큰 영향이 없는 뿌리와 줄기를 제외한 꽃과 잎의 어떤 요소가 인식을 하는데 필요한지 분석을 해 보았다. 그 중 꽃이 가장 핵심적인 인식 요소가 되고，꽃의 구조 중에서 꽃잎의 색상과 꽃잎의 모양이 인식에 필수 요소로 분석 되었다.
따라서 꽃잎의 색상과 모양을 추출하는 알고리즘이 우선적으로 개발 되어야 식물 정보 인식이 효과적으로 이루어질 것으로 판단된다. 꽃이 없는 식물의 경우 잎이 중요한 인식요소가 되는 것으로 분석 되었다.
잎의 경우 색상은 대부분 초록색이므로 인식요소로서 적합 하지 않는 것으로 판단되고 적합한 인식요소는 모양이 가장 효과적인 것으로 분석 되었다. 그러나 잎은 영상으로 획득할 때 개체수가 문제가 되는데，이를 보완하기 위한 방법과 알고리즘이 필요 할 것으로 판단된다.

나. 패턴인식 처리 알고리즘 분석 및 구현

1) 필터 구현
꽃 영상 처리 및 특성을 추출해보기 위한 여러 가지 필터들을 구현하여 이를 적용하고 조합해 봄으로써，다양한 꽃 영상에 대한 기본 특성을 조사하고, 필요한 처리 기술을 도출한다.

2) 세그먼테이션 구현
DB화할 꽃 영상이나，사용자의 촬영 영상에 대해서 꽃 부분과 배경 부분을 분리하는 세그먼테이션 처리를 하게 되면，꽃에 대한 특징정보를 추출하여 검색의 정확성을 높일 수 있다.
본 연구에서는 SIOX(Simple Interactive Object Extraction) 알고리즘을 사용하여 세그먼테이션을 구현하였다. SIOX는 상호작용 방식의 색상 정보 기반 세그먼테이션의 방식으로, 다양한 어플리케이션에서 활용되고 있는 알고리즘이다. 따라서 꽃 영상에 대해 배경을 효과적으로 제거할 수 있는지 이를 구현하여 확인해보는 연구를 수행하였다.
SIOX는 사용자의 “확실한 전경” 또는 “확실한 배경”의 구분을지 정해야하는 상호작용이 요구되지만，영상 촬영 시 중심점을 기준으로 일정 반경을 확실한 전경으로 삼고, 대부분의 꽃 영상이 원형의 공간 안쪽에 위치할 수 있으므로，그 밖은 확실한 배경으로 지정하여 어느 정도 자동화 처리가 가능하다고 판단한다.
실험결과, 세그먼테이션이 잘 안 되는 영상도 다수 존재하는데，이에 대한 원인 분석 및 개선에 관한 연구가 필요하다.

3) 테스트 DB 및 검색 구현
본 연구에서는 타당성 검토를 위해 기술한 알고리즘과 다음과 같은 시험용 DB를 이용하여 시뮬레이션을 수행하였다.

(1) 실험 대상
- 꽃 종류 : 129 종
- 전체 이미지 개수 ： 1218 장，320x240
한 꽃 당 이미지 개수 : 5~10 장 정도이며, 5이하의 경우와 10 이상의 경우도 소량 존재

(2) 실험 방법 공통
- 모든 이미지의 중심으로 부터 가로，세로 1/3 의 영역(106x80) 만을 취함(DB 이미지, 검색 이미지 모두 일괄적으로 적용)
- 하나의 꽃은 5-10 장 정도의 이미지가 있으며，구해진 모멘트와 히스토그램을 평균하여 DB화함.
- 검색 이미지의 모멘트와 히스토그램을 구하여 평균값과의 차를 구함

(3) 칼라모멘트
- RGB를 HSL로 변환후，H, S, L 각각의 1,2,3차 모멘트를 구함，총 9 개인수
- 9개의 인수에 대해 검색 이미지와 DB 이미지와 각각의 차를 구하고，이를 모두 합함.
- 합한 수치가 최소인 순으로 검색 결과 출력 (1순위 부터 5순위 까지)

(4) 칼라히스토그램
- RGB를 HSL로 변환후，H의 값을 24개(색)로 양자화하고，24개의 색에 대한 히스토그램을 구함
- 24색에 대해 검색 이미지와 DB 이미지와의 각각의 차를 구하고，이를 모두 합함.
- 합한 수치가 최소인 순으로 검색 결과 줄력 (1순위 부터 5순위 까지)

(5) 실험
- 전체 이미지에서 임의의 이미지 100개를 취함
- 100개의 이미지에 대하여 검색 수행

4) 실험 결과
- 모멘트: 1 순위로 찾은 수 = 74 건，못 찾은 수(6순위 이하) 11 건
- 히스토그램: 1 순위로 찾은 수 = 66 건，못 찾은 수(6순위 이하) 15 건
- 둘다 1 순위 : 53 건
- 둘다 못 찾은 경우 : 7 건
- 모멘트는 찾았으나，히스토그램으로 못 찾은 경우 : 8 건
- 히스토그램으로 찾았으나，모멘트로 못 찾은 경우 : 4 건
- 5순위 이상을 올바른 검색의 결과로 볼 때，모멘트 89 %, 히스토 그램 85%의 적중률

5) 고찰
- 전체 이미지 모두 검색할 필요가 있음. 이 때의 실험결과는 다를 수 있다.
- DB 이외의 이미지를 검색 이미지로 한 실험을 수행해야하며，이 때의 실험결과는 다를 수 있다.
- 평균에 의한 비교이므로，모든 DB 이미지와 비교하는 방법과 차이가 있을 수 있다.
- 이미 확보된 이미지로부터 일괄적인 DB화를 수행하였으므로，DB 자체에 오차가 있을 수 있다. (ex, 꽃봉오리가 중심에 있지 않은 이미지，초점이 맞지 않는 이미지，과일 이미지 등)

2. 연구범위 및 서비스 타당성 분석

가. 연구개발내용
식물인식 대국민 서비스를 사업화할 경우의 연구개발 내용을 요약하면 다음과 같다.

1) Mobile Application의 개발
- 아이폰，안드로이드，윈도우즈，바다 개발환경
- 촬영/정규화/송수신/표시와 같은 사용자 편의기능 개발
- 사용자 인터페이스 설계 및 개발
- 패턴인식 및 검색 알고리즘 연구 및 앱 개발

2) 식물인식 검색 서비스 서버 개발
- 웹서비스(이미지 수신，검색 결과 전송 등)
- 패턴인식 및 검색 알고리즘 연구개발
- 이미지 및 기초 데이터 수신 기능구현
- 유사 식물 검색 기능 구현
- 검색 결과 전송 기능구현
- 검색 실패 시 사용자의 요청에 따라 이미지 등록 기능 구현

3) Meta data 입력 시스템 설계 및 개발
- 사진 보정 기능
- 꽃 분류 기능
- 특징 추출 기능
- DB 저장/획득 기능

4) DB 서버 설계 및 구축
- 식물대상 사진 DB 구죽
- 메타 데이터 구축
- 사용자 등록 구죽

5) 식물DB 구축 방법내용
- 500 종 x 10 장으로 구축하여 시범서비스
- 꽃은 꽃 봉우리를 수직으로 보고(Top view) 카메라에 거의 꽉 차게 찍는다.
- 한 송이만 촬영한다.
- 한 종의 꽃의 대해서 10장의 다른 꽃을 촬영한다.
- 랜드스케이프(가로)로 촬영한다.
- 통상 옆모양이 주로 인식 되는 꽃(튤립)은，정면과 측면 모두 촬영하며, 같은 꽃 이름을 갖는 다른 꽃으로 취급한다.
- 주 색상이 다르면 같은 꽃 이름을 갖는 다른 꽃으로 취급한다.
- 군집을 이루는 꽃(안개꽃)은 군집 그대로 촬영한다.
- 만개한 꽃만을 촬영한다.
- 320x240으로 정규화 한다.

나. 서비스 타당성 분석
식물인식 알고리즘을 연구 분석한 결과 다음과 같은 결론을 얻을 수 있다.

- 연구용 혹은 실험적으로 식물인식이 90%까지 가능한 것으로 발표되고 있으나 제한된 DB를 사용하는 실험결과이며 실제 서비스 상황에서는 식물의 변이와 사용자의 조건에 따라서 인식률의 차이가 많을 것으로 판단된다. 본 연구의 시뮬레이션 결과에서는 약 70% 정도의 인식률을 나타내었다.
- 세그먼테이션이 어려운 케이스가 다수 존재한다. 예를 들어 꽃갈이 잎 색깔과 유사한 경우는 세그먼테이션이 어렵다.
- 꽃 모양 분류기준이 정확할 경우，사용자로 하여금 꽃모양을 선택한 이후에 인식처리 하면 인식률개선 가능할 수 있을 것이다.
- 전체 과정을 자동인식 처리하는 모드와 꽃 모양，잎 모양을 사용자가 선택한 이후 인식 처리하는 모드를 병행하여 서비스 시스템을 개발하는 것이 바람직하다.
- 잎 모양，나무껍질 등의 인식요소를 병행 사용할 경우，인식률 개선이 가능하다.
- 꽃술의 색상을 병행 처리시 인식률 개선 가능할 것이다.
- 현재의 국가생물종 DB는 스마트폰을 이용한 식물인식용으로는 사용이 불가능하고 스마트폰을 이용하여 식물이름을 인식한 다음 그 식물에 대한 상세정보를 원하는 사용자에게 추가 상세서비스용으로는 연계가 가능할 것이다.
- 스마트폰 촬영 각도 제한하고 꽃을 가능한 가운데 위치시키고 크게 개화된 꽃 중심으로 정면 위에서 촬영된 사진으로 DB를 구축해야 한다.
- 꽃의 종류가 단일 꽃이 아닌 군집형 꽃，비정상적인 꽃의 형태 등이 있을 경우 인식하기가 어렵다.
- 원예식물의 경우 여러 변이종이 있으므로 한 종류의 꽃에 대해 훈련 영상용으로 3，40장 정도로 서로 다른 다양한 사진 DB를 구축해야 할 것이다.

3. 식물인식 대국민서비스를 위한 방안 연구
본 연구에서는 서버를 활용하는 경우와 서버를 활용하지 않고 스마트폰 자체로 서비스 시스템을 구동하는 것을 기반으로 하는 다양한 대국민 서비스 시나리오 안들은 제시하였다.
다양한 시나리오 중에 서버를 활용하지 않고，세그먼테이션 과정을 생략하고 자동 인식시키는 방안은 다음과 같다.
이 경우는 만약 인식하지 못하면 꽃 모양을 선택하면 재수행하는 방안이다.
한편，서버를 활용하며 세그먼테이션을 자동으로 수행하고, 인식 실패시 꽃 모양을 사용자가 선택하여 제시도하는 방안은 다음과 같다.

4. 국가생물종지식정보시스템 데이터 연계 방안 제시
산림청 산하 수목원에서 보유하고 운영하고 있는 국가생물종 DB를 식물인식 서비스에 연계하여 활용하는 방안을 모색하기 위하여 국가 생물종 지식정보시스템을 분석하였다.
분석 결과, 국가생물종지식정 보시스템 메뉴에는 이름으로 찾기와 같은 다양한 특히 이름으로 찾기와 꽃 모양이나 색을 비롯한 조건검색도 가능하다.
하지만 모양과 색을 조합하여 검색하면 146개의 검색결과가 나오고 모양과 색 그리고 개화기와 같은 정보를 검색조건으로 주면 단 2개의 정보만 검색되는 시스템이다.
하지만 국가생물종 지식DB에는 위와 같은 상세한 식물정보가 저장 되어 있기 때문에 식물인식 맵을 통하여 찾은 식물에 대한 상세정보를 얻고자 할 때 국가생물종 DB를 연계하여 활용할 수 있을 것이다.
결론적으로 국가생물종 DB의 사진 DB는 아래 그림과 같이 꽃 모양이 크게 초점이 맞추어져 있지 않고 여러 송이의 꽃과 배경이 강조되어 있기 때문에 스마트폰 자동인식 DB로는 부적합하다.

(출처 : 요약문 7p)

목차 Contents

• 표지 ... 1
• 제출문 ... 2
• 요약문 ... 4
• 목차 ... 22
• 그림목차 ... 24
• 표목차 ... 28
• 제1장 연구과제의 개요 ... 30
• I. 연구의 목적 및 필요성 ... 30
• 1. 연구의 목적 ... 30
• 2. 연구의 필요성 ... 31
• II. 연구내용 및 방법 ... 33
• 1. 연구내용 및 범위 ... 33
• 2. 연구추진방법 ... 33
• 제2장 관련 분야의 국내/외 동향 ... 37
• I. 모바일 증강현실 동향 ... 37
• 1. 모바일 증강현실의 등장 배경 ... 37
• 2. 증강현실을 이용한 모바일 위치 정보 서비스 ... 37
• 3. 해외의 증강현실 활용 서비스 ... 39
• 4. 국내의 증강현실 활용 서비스 ... 40
• 5. 모바일 증강현실 표준화 동향 ... 41
• II. 식물이름 찾기 서비스 조사 분석 ... 43
• 1. 웹 및 APP 분석 ... 43
• 2. 수목원의 나뭇잎 이미지 검색시스템 시범서비스 ... 48
• 3. 식물인식 관련 특허분석 ... 51
• 제3장 연구수행내용 및 결과 ... 55
• I. 스마트폰 증강현실을 활용한 식물정보서비스 타당성 분석 ... 55
• 1. 식물 영상정보 인식기술 및 실용화 가능성 탐색 ... 55
• 2. 식물정보를 구성하는 인식모델 요소 분석 ... 64
• 3. 증강현실 활용 모델 및 적용 사례 조사 ... 76
• 4. 식물정보 인식모델에 적합한 인식 알고리즘 조사 ... 84
• II. 연구범위 및 서비스 타당성 분석 ... 102
• 1. 꽃 검색 시스템 구축 범위 분석 ... 102
• 2. 식물인식 서비스를 위한 스마트폰 앱 개발 ... 104
• 3. 서비스 타당성 분석 ... 114
• III. 대국민서비스를 위한 방안 연구 ... 116
• 1. 증강현실 기반 대국민 서비스 대상 및 환경 분석 ... 116
• 2. 다양한 식물을 대상으로 패턴인식에 대한 정확도 분석 ... 119
• 3. 스마트폰 환경에서의 패턴인식 모델에 대한 수행 성능 분석 ... 125
• 4. 대국민 서비스 시나리오 방안 ... 127
• 5. 국가생물종지식정보시스템 데이터 연계방안 제시 ... 135
• 제4장 연구결과의 활용계획 ... 151
• I. 증강현실 국내/외 사례조사 ... 151
• II. 식물인식 알고리즘 조사 분석 및 타당성 분석결과 ... 151
• III. 소요예산 및 대국민 서비스 시나리오 분석 ... 152
• 제5장 연구과정에서 수집한 해외정보 ... 153
• I. 논문 ... 153
• II. 증강 현실의 활용사례 ... 153
• 1. 제품 소개 ... 154
• 2. 전망대 ... 154
• 3. 지하철 안내 ... 154
• 4. 온라인 쇼핑 ... 155
• 5. 영화 서비스 ... 155
• 제6장 참고문헌 ... 156
• 부록 ... 158
• 끝페이지 ... 164