[논문]AR을 이용한 당구 학습 시스템

강승우; 최강선

doi:10.14702/jpee.2020.309

AR을 이용한 당구 학습 시스템
Augmented Reality-based Billiards Training System 원문보기

JPEE : Journal of practical engineering education = 실천공학교육논문지, v.12 no.2, 2020년, pp.309 - 319

강승우 (한국기술교육대학교 전기전자통신공학부) , 최강선 (한국기술교육대학교 전기전자통신공학부)

초록
AI-Helper

당구는 재미있는 스포츠이지만, 처음 입문한 초심자가 득점 가능한 경로를 계산하고 올바르게 공을 쳐서 보낼 정도로 숙련되기까지의 진입 장벽이 높은 편이다. 당구 초심자가 어느 정도 수준에 도달하기 위해선 지속적인 집중과 훈련을 필요로 하는데, 적절한 동기 부여 요소가 없다면 흥미를 잃어버리기 쉽다. 본 연구는 스테레오 카메라와 VR 헤드셋을 결합한 몰입도 높은 증강 현실 플랫폼 상에서 당구 경로 안내 및 시각 효과를 통해 초심자의 흥미를 유도하고 당구 학습을 가속하는 것을 목표로 두었다. 이를 위해 영상처리를 활용하여 당구공 배치를 인식하고 Unity Engine의 물리 시뮬레이션을 통해 경로 탐색과 시각화를 수행해 실제와 유사한 경로 예측을 구현했다. 이는 당구에 처음 입문하는 초심자가 경로 설계에 대한 부담 없이 공을 올바르게 보내는 훈련에만 집중할 수 있게 만들며, 나아가 오랜 시간 알고리즘이 제안하는 경로를 익힘으로써 점진적으로 당구 숙련도를 높일 수 있다는 점에서 AR 당구의 학습 보조 도구로서의 가능성을 확인할 수 있었다.

Abstract ▼ AI-Helper

Billiards is a fun and popular sport, but both route planning and cueing prevent beginners from becoming skillful. A beginner in billiards requires constant concentration and training to reach the right level, but without the right motivating factor, it is easy to lose interests. This study aims to induce interest in billiards and accelerate learning by utilizing billiard path prediction and visualization on a highly immersive augmented reality platform that combines a stereo camera and a VR headset. For implementation, the placement of billiard balls is recognized through the OpenCV image processing program, and physics simulation, path search, and visualization are performed in Unity Engine. As a result, accurate path prediction can be achieved. This made it possible for beginners to reduce the psychological burden of planning the path, focus only on accurate cueing, and gradually increase their billiard proficiency by getting used to the path suggested by the algorithm for a long time. We confirm that the proposed AR billiards is remarkably effective as a learning assistant tool.

주제어

표/그림 (16)

그림 그림 1. 시스템 구성도 Fig. 1. System block diagram.
그림 그림 2. 영상 인식 수행 절차 Fig. 2. Process of image recognition.
그림 그림 3. 과제에 사용된 미니 당구 세트 실물 이미지 Fig. 3. Actual image of mini billiards set, which is used for this project.
그림 그림 4. 명도(Value) 성분을 제거한 이미지 Fig. 4. Image without value channel.
그림 그림 5. HSV 색공간에서 단순 범위 필터 적용 결과 및 침식을 통한 경계 검출 Fig. 5 Result of simple range filter and edge detection using erosion.
그림 그림 6. 그림 5로부터 추출하고, Ramer-Douglas-Peucker 알고리즘을 적용하여 근사된 꼭지점 목록 Fig. 6. List of points which is extracted from Fig. 5, and is approximated using Ramer-Douglas-Peucker algorithm.
그림 그림 7. 원점에 위치한 당구대 모델과 각 정점의 순서 Fig. 7. Table at origin point and the order of table's vertexes.
그림 그림 8. 당구대 평면 상에 위치하는 당구공의 중점 Fig. 8. Center of the billiard balls located on the table plane.
그림 그림 9. 광선 투사를 통한 당구공의 중점 추정 Fig. 9. Estimation of billiards ball center coordinate via ray casting.
그림 그림 10. 희소 템플릿 커널 Fig. 10. Representation of Sparse Template Kernel.
그림 그림 11. 공 인식 입력 이미지 Fig. 11. Input image for ball detection.
표 표 1. 당구공 인식 파라미터 Table 1. Parameters of billiard ball recognition
그림 그림 12. 각각 빨강, 주황, 하양 공의 적합도 필드 Fig. 12. Red, Orange and White ball's suitability fields, respectively.
그림 그림 13. 탐색된 공의 위치를 평면에 투영한 결과 Fig. 13. Ball positions projected on billiard table plane.
그림 그림 14. 실제 구동 화면. 검은색 선은 득점이 가능한 방향을 모두 나타내며, 주황색 선은 사용자의 시야 각도에 따라 활성화된 예상 득점 경로이다. 초록 색의 궤적은 공이 지나온 자리로, 아래 이미지에서는 비교적 정확하게 궤적을 따라 득점하는 것을 볼 수 있다. Fig. 14. Actual footage. The black lines represents all directions in which scoring is possible, and the orange line is the predicted scoring path activated according to the user's viewing angle. The green trajectory is where the ball has passed, and in the image below, you can see that the scoring is relatively accurate.
그림 그림 15. 예측이 부정확하게 이루어지는 사례. 위의 경우 예측보다 실제 경로(빨간색 선)가 더 넓게 벌어졌다. 아래의 경우 주황색의 예측 경로보다 초록색의 실제 경로가 분리각이 더 작았다. Fig. 15. Examples of inaccurate predictions. In the above case, the actual path (red line) was wider than the prediction. In the case below, the actual path in green color had a smaller separation angle than the predicted path in orange color.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 변형된 템플릿 매칭을 통해 중점 탐색의 정확도와 성능 최적화 사이에서 균형을 찾고자 하였다. 공의 추정 중점 2D 좌표에서, 해당 위치에서의 공의 이미지 상 픽셀 반경 크기의 커널로 색상에 대한 템플릿 매칭을 수행하며, 이 때의 템플릿은 그림 4와 같이 명도를 제외한 색상, 휘도의 비교만을 수행한다.

가설 설정

당구대는 변형되지 않는 강체(rigid body)이며, 당구대의 치수는 이미 알고 있으므로, 그림 7과 같이 당구대와 같은 치수의 물체가 원점(0, 0, 0)에 있다고 가정한다. 이때 원점은 카메라의 위치를 의미한다.
이 때 당구대의 꼭지점 개수가 4개인 것은 자명하고, 사용자가 당구대를 바라보고 있다면 당구대 영역의 크기 또한 화면 상에서 일정 이상을 차지할 것이다. 따라서 각각의 도형을 순회하며 조건에 부합하는 도형을 찾고, 이를 당구대의 네 개 꼭지점이라 가정한다. 여기까지의 과정이 그림 2의 당구대 영역 검출에 해당한다(그림 6).

제안 방법

단, 중력을 고려하지 않으므로 수직 방향 속도를 제거하며, 여러 실험과 관찰에 근거하여 법선 방향의 속도도 제거하였다. 이는 상향 벡터와 법선 벡터의 외적 결과로 접점의 속도 벡터를 스케일링 하는 것과 같다.
단, OpenCV 구현은 화면에서 검출된 2D 정점의 순서가 모델 공간의 3D 정점의 순서와 정합되어 있다고 가정하는데, 실제로는 화면상에 검출된 당구대의 긴 변-짧은 변 정점의 순서가 모델 공간에서의 순서와 다를 수 있다. 따라서 먼저 PNP 알고리즘을 적용하고, 인덱스 목록을 방향에 관계없이 한 번 회전시켜 다시 PNP 알고리즘을 적용, 더 오차가 적은 후보를 당구대의 최종 자세로 선정한다.
따라서 본 연구에선 시분할이 아닌 이벤트 기반의 물리 시뮬레이션 기능을 새로 설계하였다. 이벤트 기반 모델은 시분할 기반 시뮬레이션에서 연산의 대부분을 차지하는, 충돌이 없는 기간에 대한 시뮬레이션 전체를 생략하는 모델이다.
9[m/s]에 대해 각각 총 2880번 시뮬레이션을 수행한다. 모든 경로에 대한 시뮬레이션 결과 중 득점하는 경로를 일차적으로 획득하고, 득점 시공과의 충돌 각도, 충돌 전 외부 요인에 의한 이동 여부 등 여러 가지 요소를 고려하여 최적의 경로 목록을 필터링한다. 이 목록에서 사용자의 머리 방향과 가장 가까운 경로를 선택해 시각화하게 된다.
본 연구는 위 프로젝트와 맥락을 같이 하되, 주제의 구현에 점차 보편화되어가고 있는 증강 현실 장비를 활용한다. 이는 기존의 시스템에 비해 장소의 제약이 없는 데다, 기존의 증강 현실 장비를 활용할 수 있으므로 적은 비용과 높은 범용성을 갖게 된다.
본 연구에서는 카메라를 통해 입력된 이미지를 분석하여 당구대와 당구공의 카메라에 대한 상대 자세를 계산하고, 증강 현실 장비의 위치 추적 기능을 통해 얻은 가상 세계에서의 사용자의 머리 자세(카메라 위치 및 회전)를 활용해 이를 가상 세계의 절대 자세로 변환한다. 당구대와 당구공의 위치가 파악되면 이를 바탕으로 물리 시뮬레이션을 수행할 수 있다.
위의 휴리스틱을 바탕으로 시뮬레이션 엔진을 구현하고, 당구공의 배치가 바뀔 때마다 공의 360도 각도를 0.5°단위로 나눈 뒤, 시작 속도 0.15, 0.3, 0.6, 0.9[m/s]에 대해 각각 총 2880번 시뮬레이션을 수행한다. 모든 경로에 대한 시뮬레이션 결과 중 득점하는 경로를 일차적으로 획득하고, 득점 시공과의 충돌 각도, 충돌 전 외부 요인에 의한 이동 여부 등 여러 가지 요소를 고려하여 최적의 경로 목록을 필터링한다.
이를 통해 획득한 당구대의 자세는 카메라에 대한 상대 자세이므로, 여기에 AR 헤드셋의 위치 추적 기능이 반환한 카메라의 절대 자세를 적용, 당구대의 절대 자세를 계산한다.
이벤트 기반 모델은 시분할 기반 시뮬레이션에서 연산의 대부분을 차지하는, 충돌이 없는 기간에 대한 시뮬레이션 전체를 생략하는 모델이다. 일반적인 시분할 시뮬레이션이 매 시뮬레이션 스텝마다 Δt의 시간 동안 모든 물체가 움직인 거리를 연산하고, 이후 모든 물체의 충돌을 검사하는 것과 달리, 이벤트 기반 모델은 구체 궤적 교차[6]를 바탕으로 매우 긴 시간 간격에 대해 모든 물체의 충돌을 검사하고, 가장 먼저 충돌이 발생하는 시간에 대해 모든 물체의 이동을 시뮬레이션 한 뒤, 해당 지점에서 충돌한 물체의 충돌 물리를 계산한다. 즉, 이벤트 기반 충돌 연산은 복잡도가 O(n²)인 충돌 검사를 시뮬레이션 기간 동안 충돌이 발생하는 횟수만큼만 시행하게 되며, 이는 시분할 방식에 비해 최적화 측면에서 많은 이득을 갖는다.
실질적인 충돌 물리 반응을 계산해야 한다. 현재 모델은 당구공과 쿠션에 작용하는 물리[7]를 정교하게 구현하는 대신, 공과 공, 공과 쿠션 사이의 탄성 계수 을 직접 지정하고[8], 공과 쿠션 충돌 시 공에 적용되는 회전을 경험에 기반한 휴리스틱을 통해 구현하였다.

성능/효과

AR 당구의 기술적인 구현을 통해 알고리즘이 제시한 속도 및 방향 조건을 정확하게 갖추었을 때, 50% 이상의 확률로 성공 가능한 경로를 제시할 수 있었다. 충돌 계산이 휴리스틱에 기반을 둔 만큼 모든 상황에서 이상적인 정확도를 보이지는 못하나, 이는 많은 경우 알고리즘이 제시하는 조건을 갖추기 어려운 당구 초심자가 인지하기 어려운 수준의 오차로서, 당구 학습 보조라는 본 연구의 본질적인 목적을 고려하면 납득 가능한 수준의 구현으로 생각된다.
또한 영상 처리 알고리즘은 OpenCV에서 제공하는 GPU 가속연산 클래스인 UMat의 적극적인 활용, 또 Ⅱ.A에서 언급한 각종 최적화 기법 등을 통해 한 프레임당 처리 속도를 평균 33ms 수준까지 낮출 수 있었다(AMD Rygen 3900x 및 RTX 2060S 기준).
공의 배치를 일치시키고 여러가지 속도에 대해 실험한 결과, 공을 밀어 치는 경우, 즉 공의 분리각이 15° 이하일 때는 경로 예측을 신뢰하기 어려웠으며, 분리각 30~75°로 일반적인 충돌이 일어날 때, 공의 시작 속도 0.3~0.6 m/s 구간에서 90% 이상의 정확도를 보였다. 쿠션에 대한 충돌은 한 번 충돌할 때는 거의 모든 시작 속도 구간에서 90% 이상의 정확도를 보였다.
기본적으로 시뮬레이션은 당구공의 정중앙을 타점으로 두고 타격하는 조건만을 시뮬레이션 하는데, 공의 속도가 0.6 m/s 이내인 경우 방향과 속도를 정확하게 맞추었을 때 납득할 만한 정확도를 보였다. 여기서 정확도는 경로에서 3° 이상 벗어나지 않고 득점하는 비율로 정의된다.
따라서 희소 템플릿 커널(sparse template kernel) 개념을 도입, 전체 픽셀의 약 5~10%정도만을 샘플링하여 템플릿 매칭을 수행함으로써 성능 최적화를 달성하였다. 이때 커널에서 샘플링하는 픽셀은 그림 10과 같이 나타난다.
또한, 연구 기간 동안 AR 당구를 체험해 본 체험자들의 사용 평가에 따르면, 체험자는 일차적으로 당구공 자체에 적용된 시각 효과에 흥미를 느끼고, 당구를 전혀 접해본 적이 없는 경우에도 어플리케이션이 제시하는 경로를 바탕으로 득점을 내며 큰 심리적인 보상과 동기를 얻을 수 있었다.
물론 속도가 상수나 자연 감쇠(v(t)=V₀e^-αt)가 아닌 경우 궤적 검사의 복잡도가 매우 크게 증가하게 되므로, 가속도 함수가 존재하는 경우 시뮬레이션 자체가 불가능하다는 큰 단점이 있지만, 당구의 경우 초기 속도를 제외하면 외력이 작용하지 않으므로 이벤트 기반 시뮬레이션의 도입이 적절하다 판단되었다.
영상 처리 프로그램의 경우 의존할 수 있는 시각 정보가 사용자의 시야에 위치한 카메라 하나뿐임에도 불구하고, 테이블과 각 공의 3D 좌표를 안정적으로 추출하고, VR 헤드셋 및 IMU 내장 스테레오 카메라의 위치 추적 기능에서 발생하는 드리프트(drift) 현상을 효과적으로 보정할 수 있었다. 또한 영상 처리 알고리즘은 OpenCV에서 제공하는 GPU 가속연산 클래스인 UMat의 적극적인 활용, 또 Ⅱ.

참고문헌 (9)

Interesting Engineering, "This AR projector system acts like a billiards coach," Youtube, 2018 [Online]. Available: https://youtu.be/zHVW2_lH9vs (Accessed October 7, 2020)
OpenCV, "Structural analysis and shape descriptors," Jul. 18, 2020 [Online]. Available: https://docs.opencv.org/4.4.0/d3/dc0/group__imgproc__shape.html (Accessed October 7, 2020)
Wikipedia, "Ramer-douglas-peucker algorithm," Aug. 22, 2020 [Online]. Available: https://en.wikipedia.org/wiki/Ramer%E2%80%93Douglas%E2%80%93Peucker_algorithm (Accessed October 7, 2020)
X. S. Gao, X. R. Hou, J. L. Tang, and H. F. Cheng, "Complete solution classification for the perspective-three-point problem," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 25, no. 8. pp. 930-943, August 2003.

상세보기
P. Cong, Z. Xiong, Y. Zhang, S. Zhao, and F. Wu, "Accurate dynamic 3d sensing with fourier-assisted phase shifting," IEEE Journal of Selected Topics in Signal Processing, vol. 9, no. 3 pp. 396-408, April 2015.

상세보기
M. Gomez, "A swept-sphere sweep test," Simple Intersection Tests for Games, GAMASUTRA, October 18, 1999 [Online]. Available: https://www.gamasutra.com/view/feature/131790/simple_intersection_tests_for_games.php?page2 (Accessed October 17, 2020)
S. Mathavan, M. R. Jackson, and R. M. Parkin, "A theoretical analysis of billiard ball dynamics under cushion impacts," Proceedings of the Institution of Mechanical Engineers, Part C: Journal of Mechanical Engineering Science, vol. 224, no. 9, pp. 1863-1873, 2010.

상세보기
D. Conger, "Collision of point particles," PHYSICS Modeling for Game Programmers, Boston, Mass.: Thomson Course Technologhy, 2004.
K. T. Jung, "A study on students' learning process in practical education using an equipment," JPEE, vol. 4, no. 1, pp. 165-172, June 2012.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증