[논문]실제 대국을 위한 임베디드 환경 바둑 기보 저장 시스템

서원성; 정기철

doi:10.7583/jkgs.2020.20.3.45

실제 대국을 위한 임베디드 환경 바둑 기보 저장 시스템
Real-time Go Recording System in Embedded Environment for Real Match 원문보기

한국게임학회 논문지 = Journal of Korea Game Society, v.20 no.3, 2020년, pp.45 - 54

서원성 (숭실대학교 IT대학 글로벌미디어학부) , 정기철 (숭실대학교 IT대학 글로벌미디어학부)

초록
AI-Helper

현재 수기로 진행하는 오프라인 바둑 대국의 기보 입력 자동화를 위해서, 대국 현장에서 직접 사용할 전용 임베디드 보드를 이용한 시스템이 필요하다. 본 논문은 임베디드 보드의 영상처리 환경에서 조명에 강건한 처리를 위하여 물체의 형태 정보와 색상 정보를 통합하여 사용하며, 물체 추출을 위해서는 연결 성분 분석, 에지 정보, 색상 정보를 결합해서 사용하고, 영상 처리 각 단계에서 바둑판의 고유 정보를 이용하여 연산단계를 줄였다. 결과적으로 임베디드 환경에서 연산을 최소화하여 실제 실시간 대국 환경에서도 신뢰성 높은 기보를 자동으로 저장할 수 있도록 구현하였다.

Abstract ▼ AI-Helper

An automated system using a embedded board is required to generate the notation input of the offline Go game. This paper integrates shape and color information of the objects on the Go game board for light-insensitive processing and reduces the computation step. This paper combined the detection of obstacles using connected components with the computation of canny edge detection and HSV-based detection. As a result, the processing time is reduced in the embedded environment so that reliable notation can be automatically stored even in real-time play environment.

주제어

표/그림 (7)

그림 [Fig. 1] System environment
그림 [Fig. 2] System process
그림 [Fig. 3] Pseudo code of perspective transform
그림 [Fig. 4] Process of perspective transform
그림 [Fig. 5] Process of hand detection
그림 [Fig. 6] Process of Canny edge detection
그림 [Fig. 7] Process of HSV-based detection

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 임베디드 환경에서 실시간으로 동작되는 자동 기보 입력 시스템을 제안하고 구현하였다. 이전의 연구들과 비교해 보았을때 본 논문 에서 제안하는 시스템은 실제 수많은 대국이 이루어지는 환경에서 이용하기 위한 목적으로 저전력 쿼드코어인 1.
본 논문은 임베디드 환경에서 연산을 최소화하면서 안정적인 바둑돌 검출을 위해서 두 가지 알고리즘을 병행하였다. Canny Edge Detection을 이용하여 비교적 빠른 속도로 1차 바둑돌 검출을 하며, 흰돌과 백돌을 구분하기 위해 HSV 색상 공간에서 차연산을 이용한 2차 검출을 수행한다.
이 시스템은 Canny Edge Detection과 HSV Based Detection을 이용해 연산을 최소화하여 실제 대국 환경에서도 임베디드 환경을 통한 신뢰성 높은 기보를 자동으로 입력할 수 있음을 보여준다. 이 연구를 위해서 한국기원에서 주관하는 바둑 대회 녹화 영상을 바탕으로 실제 대국 환경과 동일하게 구축한 실험실 환경에서 다양한 조명이나 돌발변수에 적응할 수 있는 시스템을 구축하려 노력하였다. 하지만 기보 입력에 오차없이 작동하기 위해서는 일정한 속도로 착수해야 하며, 착수 후에는 바둑판 위에 손과 같은 장애물이 없어야하는 제약을 가진다.

제안 방법

본 논문에서 제안한 시스템에서 손 등의 장애물을 감지하기 위한 connected component의 임계값은 바둑돌의 크기에 맞추기 위해 전체 바둑판 크기인 (722×722)px를 361개의 착수점을 기준으로 나눈 (38×38)px에 맞춰 설정하였다. 1차 검출인 Canny Edge Detection에서는 내부 패치의 Edgeness의 유무를 이용해 검출하였다. 2차 검출인 HSV Based Detection에서는 HSV 각각의 임계값을 실제 대국 환경의 조명과 유사한 실험환경에서 손과 머리와 같은 주변 요소들이 만들어내는 그림자에도 영향 없이 임의로 조정하였다.
2차 검출인 HSV Based Detection에서는 HSV 각각의 임계값을 실제 대국 환경의 조명과 유사한 실험환경에서 손과 머리와 같은 주변 요소들이 만들어내는 그림자에도 영향 없이 임의로 조정하였다.
Andrea Carta 등은 대국영상에서 Circular Hough Transform(CHT)와 Linear Hough Transform(LHT)을 이용하여 바둑돌과 격자 무늬를 찾아내는 자동 기보 입력 시스템을 제안하였다.
본 논문은 임베디드 환경에서 연산을 최소화하면서 안정적인 바둑돌 검출을 위해서 두 가지 알고리즘을 병행하였다. Canny Edge Detection을 이용하여 비교적 빠른 속도로 1차 바둑돌 검출을 하며, 흰돌과 백돌을 구분하기 위해 HSV 색상 공간에서 차연산을 이용한 2차 검출을 수행한다. 오류가 없어야하는 바둑 기보 생성의 특성상 조명과 환경에 따라 오 검출이 발생할 수 있기 때문에, 연산 속도가 빠른 Canny Edge Detection과 비교적 연산속도는 느리지만 바둑돌 구분이 용이한 HSV값을 병행하여 오차를 최소화하며 바둑돌을 검출하고, 손과 같은 주변 요소로 인한 오류를 차단하여 실시간으로 동작되는 자동 기보 입력 시스템을 제안한다.
같은 방법으로 Perspective Transform 단계에서 저장한 초기 이미지의 361개 패치의 색상, 채도, 명도 세 값의 평균을 구한 값에서 현재 이미지의 값을 뺀 값의 임계값을 검사하여 최종적으로 바둑돌을 검출한다. 임계값은 색상, 채도, 명도 모두를 비교하여 한가지 값이라도 임계값을 넘으면 바둑돌로 검출하게 된다.
나정선은 전기 장치를 활용하여 바둑돌이 놓인 위치를 감지해 자동으로 기보를 생성하는 시스템을 구현하였다. 이 방법은 특수하게 제작된 바둑판을 사용해야 하는 이유로 비용과 범용성의 문제가 있다[1].
대국중에는 바둑판이 미세하게 대국자에 의해서 움직일 수 있으며, 또한 바둑판의 모서리에서 바둑판 내 격자 모서리까지의 거리가 바둑판 마다 일정하지 않기 때문에, 본 논문에서는 Perspective Transform을 진행하기 전에 바둑판 내 격자의 모서리를 검출한다[Fig. 3].
먼저 노란색 계열의 격자 무늬가 그려진 바둑판의 특징과 검정과 하양 두가지의 색을 띄는 바둑돌의 특징에서 착안하여, Canny 연산을 통해 바둑돌이 착수되었을 때 격자무늬의 유무를 검출한다. Canny 연산의 결과를 바탕으로 바둑돌이 놓였다고 판단되었을 때, 비교적 많은 연산이 필요한 HSV 색공간의 색상 차이를 이용해 바둑돌을 정밀하게 검출한다.
바둑돌을 인식하기 위한 첫 단계로 카메라의 각도에 따른 바둑판과 바둑돌의 왜곡 현상을 해결하기 위해 Perspective Transform을 진행한다. 대국중에는 바둑판이 미세하게 대국자에 의해서 움직일 수 있으며, 또한 바둑판의 모서리에서 바둑판 내 격자 모서리까지의 거리가 바둑판 마다 일정하지 않기 때문에, 본 논문에서는 Perspective Transform을 진행하기 전에 바둑판 내 격자의 모서리를 검출한다[Fig.
바둑판의 격자 이미지 생성 단계에서 이미지의 노이즈를 제거하기 위한 Mophology 연산은 dilate 연산 후 close 연산을 하였으며, 필터는 5×5 사이즈를 사용하였다.
박동진과 전경구도 CHT을 활용하여 바둑돌을 인식해 기보를 만드는 시스템을 제안하였으며, CHT의 많은 연산량을 줄이기 위해 첫 프레임이 아닌 직전 프레임과의 차영상을 구하였다.
본 논문에서 2차 검출은 1차 검출을 통해 검출된 착수점을 대상으로 진행하며 (722×722)px 크기의 361개의 착수점을 기준으로 나눈 (38×38)px 크기의 패치 각각을 색상, 채도, 명도 세값으로 분리한 각 패치 내부값의 평균을 이용하는 수식은 다음과 같다.
본 논문에서 제안하는 시스템은 바둑판과 바둑돌을 왜곡없는 일정한 크기로 정규화하기 위해 Perspective Transform을 진행한 후 초기 빈 바둑판의 이미지를 저장한다. 이 초기 빈 바둑판 이미지는 추후에 바둑돌 검출을 위한 차 영상으로 사용된다.
본 논문에서 제안하는 시스템은 임베디드 환경에서 실시간으로 진행하는 대국의 바둑돌의 색상과 위치를 인식하여 자동으로 기보를 저장한다.
본 논문에서 제안하는 시스템은 라즈베리파이 3 Model B+ 임베디드 환경과 바둑판, 계시기, 바둑돌의 대국 세팅, 그리고 카메라로 구성된다.
본 논문에서 제안하는 시스템의 소프트웨어는 라즈베리파이 3 Model B+ 임베디드 환경에서 Python 언어로 구현하였으며, OpenCV 패키지를 이용하여 영상처리를 수행하였다.
본 논문에서 제안한 시스템에서 손 등의 장애물을 감지하기 위한 connected component의 임계값은 바둑돌의 크기에 맞추기 위해 전체 바둑판 크기인 (722×722)px를 361개의 착수점을 기준으로 나눈 (38×38)px에 맞춰 설정하였다.
본 논문에서 제안한 시스템은 저전력 쿼드코어인 1.4GHz ARM Cortex-A53 MP4의 CPU와 1GB의 메모리를 가지는 라즈베리파이 3 Model B+임베디드 환경에서 Python을 이용해 구현하였다[10]. 본 자동 기보 입력 시스템으로 일반적인 조명 환경에서 검은돌과 흰돌을 한 수당 규칙적인 시간으로 교차해가며 놓으며 실험하였다.
실시간 기보 입력 시스템을 위해 검출 알고리즘은 오차를 최소화하고 불필요한 연산을 막으며 바둑돌 뿐 아니라 손, 머리 등과 같은 장애물의 감지도 필요하다. 본 시스템은 connected component 알고리즘으로 검출된 객체들의 component 크기를 비교하여 바둑돌의 평균 component 값을 구하고 그 값을 기준으로 손과 같이 바둑돌 보다 더 큰 객체가 감지될 경우 바둑돌 검출 알고리즘을 정지시켜 장애물로 인한 시스템의 오류를 최소화 한다. 초기 이미지인 [Fig.
4GHz ARM Cortex-A53 MP4의 CPU와 1GB의 메모리를 가지는 라즈베리파이 3 Model B+임베디드 환경에서 Python을 이용해 구현하였다[10]. 본 자동 기보 입력 시스템으로 일반적인 조명 환경에서 검은돌과 흰돌을 한 수당 규칙적인 시간으로 교차해가며 놓으며 실험하였다. 실제 실시간으로 진행되는 대국 환경에서 기보의 오차가 없어야 함을 가정하여 오차가 없는 조건을 찾을때 까지 반복하였다.
비교적 연산량이 적은 Canny Edge Detection을 통해 1차 검출된 착수점들 중에서 바둑돌이 아닌 착수점을 찾아내 HSV값을 이용한 바둑돌의 2차 검출을 진행한다. 본 논문에서 2차 검출은 1차 검출을 통해 검출된 착수점을 대상으로 진행하며 (722×722)px 크기의 361개의 착수점을 기준으로 나눈 (38×38)px 크기의 패치 각각을 색상, 채도, 명도 세값으로 분리한 각 패치 내부값의 평균을 이용하는 수식은 다음과 같다.
Canny Edge Detection을 이용하여 비교적 빠른 속도로 1차 바둑돌 검출을 하며, 흰돌과 백돌을 구분하기 위해 HSV 색상 공간에서 차연산을 이용한 2차 검출을 수행한다. 오류가 없어야하는 바둑 기보 생성의 특성상 조명과 환경에 따라 오 검출이 발생할 수 있기 때문에, 연산 속도가 빠른 Canny Edge Detection과 비교적 연산속도는 느리지만 바둑돌 구분이 용이한 HSV값을 병행하여 오차를 최소화하며 바둑돌을 검출하고, 손과 같은 주변 요소로 인한 오류를 차단하여 실시간으로 동작되는 자동 기보 입력 시스템을 제안한다.
6](e)과 같다. 이 결과의 오류를 최소화하기 위해 검출된 착수점을 대상으로 다음 HSV Based Detection을 진행한다.
이 연구는 Canny Edge Detection 영상에서 Hough Transform을 활용해 직선을 검출한 후 바둑판 위의 교차점들을 찾고, 교차점에서 추출된 색상 정보를 활용해 바둑돌의 유무와 놓인 바둑돌의 색상을 구별해 기보를 생성 한다[3].
본 논문에서는 임베디드 환경에서 실시간으로 동작되는 자동 기보 입력 시스템을 제안하고 구현하였다. 이전의 연구들과 비교해 보았을때 본 논문 에서 제안하는 시스템은 실제 수많은 대국이 이루어지는 환경에서 이용하기 위한 목적으로 저전력 쿼드코어인 1.4GHz ARM Cortex-A53 MP4의 CPU와 1GB의 메모리를 가지는 라즈베리파이 3 Model B+임베디드 환경을 이용하여 비용을 최소화 하였다. 이 시스템은 Canny Edge Detection과 HSV Based Detection을 이용해 연산을 최소화하여 실제 대국 환경에서도 임베디드 환경을 통한 신뢰성 높은 기보를 자동으로 입력할 수 있음을 보여준다.
추가로 장애물을 고려한 실시간 기보 저장을 위해서 Hand Detection을 도입하여 불필요한 연산을 방지하고 바둑 기보 입력의 오차를 최소화 한다. Hand Detection은 입력 영상에 손과 같은 장애물이 없을 경우에만 바둑돌 검출 알고리즘이 동작하게 하기 위함이다.
카메라는 바둑판에서 수직 상단으로 55cm 떨어져있으며, 수평에서 80° 기울어져 배치하여 대국자의 불편을 최소화한 상태로 바둑판 전부를 영상에 담아내도록 구성하였다[Fig. 1].

이론/모형

바둑돌 검출 알고리즘은 비교적 연산량이 많은 HSV 값 기반 검출과 비교적 연상량이 적고 빠른 Canny Edge Detectiond을 이용하여 바둑 기보 저장의 오차를 최소화 하며 1차 검출로 Canny Edge Detection, 2차 검출로 HSV Based Detection을 이용한다[Fig. 2].
위치가 고정된 카메라의 입력 영상 중앙에 바둑판이 위치하고, 바둑판의 색이 비교적 균일함에 착안하여 HSV영역의 값 중 색상을 나타내는 Hue 값으로 바둑판을 검출한 마스크를 생성한다. 이 마스크를 이용해 Shi-Tomasi Corner Detection을 사용하여 [Fig. 4](a)와 같이 바둑판의 네 모서리를 찾는다.

성능/효과

실제 실시간으로 진행되는 대국 환경에서 기보의 오차가 없어야 함을 가정하여 오차가 없는 조건을 찾을때 까지 반복하였다. 본 시스템이 오차 없이 작동하기 위해서는 바둑돌을 착수하고 손과 머리와 같은 장애물이 화면에서 완전히 밖으로 나가야 하며, 착수하는 시간은 3 ~ 5초로 일정해야 하는 제약을 알 수 있었다. 이와 같은 제약조건에서 본 시스템은 임베디드 환경내에서 65ms ~ 70ms의 실행속도로 작동함을 보인다.
4GHz ARM Cortex-A53 MP4의 CPU와 1GB의 메모리를 가지는 라즈베리파이 3 Model B+임베디드 환경을 이용하여 비용을 최소화 하였다. 이 시스템은 Canny Edge Detection과 HSV Based Detection을 이용해 연산을 최소화하여 실제 대국 환경에서도 임베디드 환경을 통한 신뢰성 높은 기보를 자동으로 입력할 수 있음을 보여준다. 이 연구를 위해서 한국기원에서 주관하는 바둑 대회 녹화 영상을 바탕으로 실제 대국 환경과 동일하게 구축한 실험실 환경에서 다양한 조명이나 돌발변수에 적응할 수 있는 시스템을 구축하려 노력하였다.

후속연구

하지만 기보 입력에 오차없이 작동하기 위해서는 일정한 속도로 착수해야 하며, 착수 후에는 바둑판 위에 손과 같은 장애물이 없어야하는 제약을 가진다. 향후에는 이 시스템의 제약을 완화하고 영상녹화기능을 추가하여, 만들어진 기보와 영상파일을 같이 저장해 서버로 전송하는 자동 기보입력 대국 환경을 구성할 수 있음을 전망한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	기보란?	기보는 바둑이나 장기에서 대국자가 바둑돌 혹은 장기말을 두는 위치와 순서를 기록한 자료를 말한다. 일반적으로 프로 기사들의 대국 기보는 제 3자가 수기로 기록하여 작성된다.
	본 논문에서 임베디드 환경에서 연산을 최소화하면서 안정적인 바둑돌 검출을 위해 사용한 알고리즘은?	본 논문은 임베디드 환경에서 연산을 최소화하면서 안정적인 바둑돌 검출을 위해서 두 가지 알고리즘을 병행하였다. Canny Edge Detection을 이용하여 비교적 빠른 속도로 1차 바둑돌 검출을 하며, 흰돌과 백돌을 구분하기 위해 HSV 색상 공간에서 차연산을 이용한 2차 검출을 수행한다. 오류가 없어야하는 바둑 기보 생성의 특성상 조명과 환경에 따라 오 검출이 발생할 수 있기 때문에, 연산 속도가 빠른 Canny Edge Detection과 비교적 연산속도는 느리지만 바둑돌 구분이 용이한 HSV값을 병행하여 오차를 최소화하며 바둑돌을 검출하고, 손과 같은 주변 요소로 인한 오류를 차단하여 실시간으로 동작되는 자동 기보 입력 시스템을 제안한다.
	기보 작성의 자동화 방법으로는 어떤 것이 있는가?	기보 작성의 자동화 방법으로는 특수 제작된 바둑판을 사용하거나, 영상처리 기술을 활용한 방법이 있다. 특수 제작된 바둑판을 사용하는 경우에는 비용과 범용성의 문제가 발생하며, 영상처리를 사용한 기보 입력 시스템은 카메라와 안정적인 영상 처리 시스템이 필요하다[1].

참고문헌 (10)

Jeongseon Na, "Automatic Order Recording Badook Table," Korea. Patent, 20 0200127 , 2000.
Rajesh K.Gupta, "Introduction to Embedded Systems", ICS 212, Winter Workshop, 2002.
A. Srisuphab, P. Silapachote, T. Chaivanichanan, W. Ratanapairojkul, W. Porncharoensub, "An application for the game of Go: Automatic live Go recording and searchable Go database", TENCON IEEE Region 10 Conference, pp.1-6, 2012.
Andrea Carta, Mario Corsolini, "Moving to VideoKifu: the last steps toward a fully automatic record-keeping of a Go game.", Journal of Baduk Studies, 13(2):45-63, 2016.
Andrea Carta, Mario Corsolini, "VideoKifu, or the automatic transcription of a Go game.", arXiv:1807.01577, 2018.
Dongjin Park, Kyungkoo Jun, "CHT-based Automatic Go Recording System under Illumination Change and Stone Dislocation." Journal of KISS : Software and Applications, Vol.41 No.6, pp. 448-455, 2014.
Daegyu Lee, Yungu Lee, "Algorithm of recognizing Go stones for the automatic records of Go games," Autumn Annual Conference of IEIE, pp.809-812, 2016.
MinSeong Kim, YunGu Lee, "Recognition of Go Game positions using Motion Analysis and Background Update", Annual Conference of The Korean Society Of Broad Engineers, pp.215-218, 2017.
MinSeong Kim, YeoKyung Yoon, KwangJin Rhee, YunGu Lee, "Recognition of Go Game Positions using Obstacle Analysis and Background Update", Journal of Broadcast Engineering 22(6), pp.724-733, 2017.
"Raspberry Pi - Wikipedia," wikipedia, last modified Oct 19, 2019, https://en.wikipedia.org/wiki/Raspberry_Pi

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증