기획연재(최종회)

2022 한국프로탁구리그 데이터 톺아보기
“픽셀캐스트, 여러분에겐 어떤 의미였나요?”

프로탁구 원년, 픽셀스코프(PIXELSCOPE)는 AI 무인 중계 플랫폼 ‘픽셀캐스트(PIXELCAST)’를 통해 전체 231 경기, 총 1,002매치의 모든 중계 화면을 직접 제작, 송출했다. 픽셀캐스트는 경기 영상은 물론 다양한 데이터들까지 곁들이며 탁구중계의 신기원을 열었다는 평가를 받았는데, 해당 기록들은 향후 시스템 고도화 및 선수들 경기력 향상에도 좋은 자료로 활용될 것으로 기대된다. 구경모 픽셀스코프 연구소장이 그 풍성한 기록들을 풀어놓는다.

※ 본 기사와 관련된 모든 데이터와 정보는 픽셀스코프 자산으로 무단 도용 및 복제를 금지합니다.
 

광교 Studio-T

경기가 있는 날이면 어김없이 찾은 Studio-T. 커피 한 잔과 함께 경기장 불을 켜고 들어가서 가장 먼저 하는 일은 아무래도 방송 시스템 점검. 카메라 상태, 네트워크 상태, 프로그램 동작 점검, 그리고는 이어지는 음악 선곡. 시즌 내내, (챔피언스리그 오프닝 공연을 해준) Nada의 『내 몸(My Body)』, 『신(Spicy)』, 『Bulletproof』와 함께 Blits의 『This Moment』, 『Into The Cherry Blossom Wind』, 디지털네이티브의 『폭풍속으로』, 『S.O.A.S』 같은 곡들이 경기장을 가득 채웠다.

심판이 사용하는 스마트 스코어보드의 터치 상태를 확인하고 오늘 있을 경기가 잘 등록되어 있는지, 경기 라인업이 대시보드에 잘 표시되는지, 전광판에는 점수와 중계 영상이 잘 나오는지 확인하고, 중계석으로 돌아와 감독석, 중계석 마이크의 음향 확인을 하고 나면 사람이 AI를 도와줄 수 있는 일은 마무리가 되는 셈이다.
 

AI 중계 화면의 단조로움

최초의 PIXELCAST는 스마트 프로덕션(Smart Production)이라는 이름으로 야구에서 먼저 시작했다. 투수가 던지는 공의 속도와 궤적, 타자가 쳐낸 공의 발사각도를 초고속 영상 위에 얹어 시청자에게 제공하는 것을 시작으로 공과 선수의 움직임 전체를 인식하고 이를 이용해 야구 중계 전체를 자동화하는 것도 가능하니까. 중계 중 화면의 전환 시점이 방송국마다, PD마다 조그만 순서의 차이가 있을 뿐 전환 시점과 흐름이 대부분 정형화 되어 있다는 점에 착안하여 개발을 시작했다. 심지어 공을 따라가는 AI 카메라의 움직임은 카메라 감독이 살짝 지루해하는 틈에도 쉴 새 없이 움직여 외야의 공을 찾아낼 수 있었다.

개발을 시작하게 한 그 ‘정형화된 패턴’은 시청자들의 필요를 만나면서 극대화되기도 한다. 랠리 다음 리플레이를 꼭 보여달라거나 랠리 중에는 카메라를 움직이지 말아달라는 등의 요구사항들은 오히려 ‘AI 중계 화면의 단조로움’을 부각시키는 원인이 되기도 했다. 다양성을 위한 고민 끝에 내린 결론은 경기장 내부의 모습을 담는 기존 7대의 카메라보다 더 많은, 다른 용도의 카메라를 사용해 보자는 것으로 났다. 다음 시즌 중계를 위해 선수가 아닌 공의 움직임을 따라 움직이는 카메라 한 대, 선수와 감독, 관중석 팬들의 표정을 잡아내고 호흡을 담기 위한 카메라 두 대를 추가로 구매했다. 기존에 VAR 목적으로 활용하던 고속카메라 4대도 다시 설치하면 서브하는 공의 회전도 보이고 화면 구성이 훨씬 더 풍성해질 것이라 기대했다.
 

달라지는 다음 버전의 PIXELCAST

데이터를 기반으로 하는 중계답게 풍성한 기록들을 화면에 담아 보여주는 방법들을 끊임없이 고민했다. 카메라의 추가는 돈이 엮인 선택의 영역이라면, 표출되는 자막을 개선하고 콘텐츠를 새로 기획하고 업그레이드하는 일은 시간의 영역이다. 다음 버전의 PIXELCAST를 상상하고 구체화하는 일은 지금처럼 리그가 쉬어가는 중에만 가능한 업무다. 덕분에 초조한 작업이지만 지나고 보면 순간순간이 가장 열정적이고 뜨거운 순간이기도 하다.

먼저 이야기할 부분은 선수들 데이터를 표시하는 내용이다. 프로리그 첫해에는 없었던 전적 데이터를 포함하여 다승, 연승을 포함하는 순위정보 등 각종 유의미한 기록들, 특히 『월간탁구』 지면을 통해 연재한 바 있는 랠리 최고 속도, 랠리 분포, 랠리/경기 시간정보를 포함한 이벤트 정보 등 화면에 표출할 수 있는 내용들이 많이 기획되었다.

단체전에 출전하는 선수 명단뿐 아니라 선수 개개인의 프로필 정보도 AI가 데이터베이스에서 가져와 자막으로 만든다. 선수의 주특기, 선수가 사용하는 라켓과 러버 정보들도 화면을 통해 확인할 수 있다.

중계진과의 호흡을 필요로 하는 부분들도 강화했다. 매 경기의 관전 포인트를 비롯하여 중계 발언에 포함해서 할 수 있는 이야기들을 함께 고민하고 이를 화면에 노출 시킬 수 있도록 구성했다. 경기가 끝나면 다음 경기, 다음 대전 상대에 대한 설명도 자막과 함께 제공된다.

경기 중에 발생하는 각종 사고, 현장 상황에 대한 안내를 경기 운영팀 쪽에서 방송 중에 슬라이드 자막 형태로 노출 시킬 수 있도록 개발하였다. 이는 단순히 자막이 지나가는 화면 하나를 만드는 것이 아니라 현장 경기 운영 시스템 자체를 바꾸고 업그레이드하는 지난한 과정을 거쳐야만 얻을 수 있는 노하우라 한 시즌을 운영하고 난 뒤에야 비로소 개발이 완료될 수 있었다. 예를 들어, 시스템에 심판이 경기 오더를 입력하고 오더지를 출력하는 과정을 간소화한다거나 경기기록지(경기시간, 타임아웃, 경고 등 기록)를 작성하는 내용들 모두를 자동화하는 시스템의 개발을 마무리한 것인데, 이는 우리의 중계 자동화 시스템이 단지 카메라 몇 대로 독립적으로 돌아가는 시스템이 아니라 경기 영역 전반에 걸쳐 다양하게 개입하고 있음을 확인시켜주는 부분이기도 하다. 단순히 영상의 컷을 자동으로 편집하고 LED 광고를 넘겨주는 인건비 몇 푼 줄여 보겠다고 개발을 진행하고 있는 게 아니란 이야기다.

눈에 보이지 않는 더 큰 가치

무인 중계 시스템의 핵심은 현재 중계 중인 영상의 상태를 파악하고 경기장과 경기의 상황을 인지하는 능력이며, 그것의 원천은 공과 선수의 위치와 움직임을 추적하는 알고리즘의 정확도. 그것이 핵심이다. 이 핵심 가치를 향상시키는 방향으로 지속적인 연구를 해왔다.

공의 인식 정확도에 영향을 미치는 요소는 크게 두 가지다. 첫 번째는 카메라가 설치된 환경조건. 카메라가 흔들림 없이 고정되어 있어야 하고 균일한 조명 아래에서 인식 대상인 공이나 선수가 움직여주면 좋다. 늘 이상적인 환경에서, 고정된 장소에서만 프로그램이 돌아가는 것이 아니기 때문에 이 부분은 늘 변수가 많고 또한 그런 이유로 다양한 환경에서 영상을 수집하고 인식 알고리즘을 개선해야 한다. 문득 지난 시즌 난간에 카메라를 설치해 둔 덕분에, 관객들이 난간에 기대 있을 때마다 가슴 두근거렸던 것을 생각하면 지금도 아찔하다. 두 번째는 공과 주변 기물들, 공과 선수, 선수와 선수 사이의 접촉 또는 상호작용에 의한 가림 현상의 발생을 들 수 있다. 효율을 위해 최대한 경기장 주변에는 공과 선수 이외에는 아무것도 없으면 좋겠지만 현실은 만만치가 않다. 인식용 카메라 대수를 늘려 화각에 가림이 없도록 하거나 고속의 카메라를 이용하여 인식이 안 되는 프레임을 최소화하는 방법도 있지만, 어찌 되었건 알고리즘의 개선이 늘 최우선 과제이다.
 

선수를 추적하는 과정에서 선수 검출의 정확도도 중요하다. 선수의 위치정보는 추후 데이터 분석에도 활용하지만, 당장 카메라의 앵글에 담기는 피사체의 위치로 사용되고 또한 그 정확도는 곧 시청자들이 보는 화면의 질과 연관되기 때문이다. 기존 사각형 기반의 검출 결과를 이용해 자동으로 카메라를 움직이던 알고리즘을 대대적으로 개선해 선수들의 관절 정보를 찾고 이를 조합해 카메라를 움직이는 형태로 알고리즘을 개선했다. 3차원 좌표정보를 도출하기 시작하면서 키가 작은 선수는 카메라를 조금 낮게, 키가 큰 선수는 조금 높게 카메라 화각을 자동으로 조절할 수 있고 덕분에 조금 더 가까이 선수들의 영상을 볼 수 있게 되었다.

개발한 알고리즘은 감독, 코치, 심판, 관객을 촬영하기 위해 추가되는 카메라를 움직이는 용도로도 활용된다. 감독석에서 갑자기 감독이 일어나는 경우, 선수단에서 코치가 손을 번쩍 들어 올려 응원을 하는 동작이나 심판이 손을 올려 경고를 한다거나 지시를 하는 동작, 관객석에서의 큰 움직임 등 다양한 동작들을 미리 정의하고 따라갈 수 있도록 프로그래밍할 수도 있겠고….

인식 알고리즘과 그 결과의 활용 측면에서 주로 이야기를 했는데, 본질적으로 중요한 가치는 뭐니 뭐니 해도 데이터다. 위에 설명한 모든 것을 가능하게 하는 것도, 결국 마지막까지 남는 것도 데이터고, PIXELCAST가 존재하는 이유도 마찬가지로 데이터다. 우리는 이 데이터를 특화해 콘텐츠를 만들어왔다. 서브 위치 분포와 공격 위치 분포, 득점 위치 분포 정보를 실시간으로 수집한 뒤 취합하여 각 게임 뒤 보여주는 형태로 구성했다. 게임과 게임 사이의 시간이 1분으로 정해져 있어 정보전달에 할애할 수 있는 시간이 적어 다음과 같이 양 선수의 기록이 함께 비교될 수 있도록 콘텐츠를 수정했다.

공의 궤적과 궤적 내에서의 속도 변화, 공의 물리량 변화를 기반으로 찾을 수 있는 구질 정보의 추론, 구질과 자세의 관계같이 공과 영상 데이터 사이에서 얻어낼 수 있는 정보들은 물론이고, 랠리의 연결성과 플레이의 변화가 시작된 시점, 변화를 꾀하는 선수들의 움직임과 위치 선정, 선수별 수비 가능 범위 등 공과 선수와의 관계에 대한 정보, 선수들의 움직인 거리와 이를 바탕으로 한 체력 소모의 추정 같이 선수의 위치 데이터만으로도 할 수 있는 것들, 지난달에 언급한 바 있는 심판 보조 시스템으로의 활용 등 데이터의 가치는 무궁무진하다. 눈에 보이지 않는, 아직 구체화 되지 못한 너무 많은 것들이 데이터에 녹아 있다. 그 데이터에 대한 이해나 인정을 계속해서 요구해야 하는 상황이 마음 아프다.

기록이 필요해

야구는 KBO(한국야구위원회)의 의뢰를 받아 스포츠투아이(주)에서 모든 기록을 작성한다. 각 경기장에 기록원을 파견하여 경기 정보를 작성하고 기록통계 및 선수 관리시스템을 제공한다. 각 경기장에 설치한 투구/타구 및 필드 추적 시스템을 기반으로 공과 선수의 트래킹 데이터를 수집하고 이를 방송이나 게임, 포털서비스나 통신사에서 활용할 수 있게 제공한다. 각 구단에서도 이들 데이터를 이용해 선수 전력 분석 및 전략 구상을 한다.

배구는 KOVO(한국배구연맹)에서 직접 기록원을 파견해서 기록을 작성한다. 매 경기마다 5~6명 한 팀의 기록원들이 공과 선수의 위치, 공격/수비내용 모두를 기록한다. 기록된 내용은 구단, 방송, 기자단을 위한 기록 전문 사이트(DB BANK)에 취합된다. 포털서비스사의 문자중계 등에도 해당 기록들이 활용된다. 무려 2005년부터 18년간의 데이터가 담겨 있고, 데이터의 수준 또한 매우 높다.
 

안재형 프로탁구리그 위원장, 유남규 실업탁구연맹 부회장께 각각 그런 얘기를 들은 적이 있다. “대회에 나가면 상대 선수의 경기를 엄청나게 메모했다. 공이 왔다 갔다 하는 순서를 그리고, 선수의 특성과 특징을 메모했다. 어쩌다 어렵게 구한 비디오가 있으면 모든 궤적을 수첩에 그리고 또 머리에 남겼다. 그렇게 만든 수첩이 몇십 권이다.”

요즘은 선수들이 모두 경기장에 태블릿을 가지고 온다. 삼각대를 경기장 뒤편에 세워 놓고 자신과 상대 선수의 영상을 녹화한다. 그것을 어떻게 활용하는지 궁금하다. 지속적으로 본인과 상대의 플레이를 보면서 잘한 부분과 잘못한 부분을 찾는지, 영상을 다시 더듬어 예전 레전드 선배님들이 그렇게 하셨던 것처럼 종이에 랠리의 과정을 그리는지, 각각의 영상들은 어떻게 관리되고 있는지, 혹여 그냥 녹화만 해놓고 태블릿 한편을 차지하고 있지는 않은지….

기록은 색인이다. 기억에 대한 책갈피이기도 하다. 남겨둔 영상에 대한 메모, 영상 안에 담긴 플레이에 대한 데이터, 그 안에서 발견한 여러 가지 정보들로부터 배울 수 있는 어떤 통찰을 끌어내고 이를 기록하는 일은 중요하다. 누구나 할 것 없이 모든 선수의 모든 경기 영상을 대신 녹화해 준다면 그건 의미가 있는 일일까? 이 과정에서 혹여 그러한 정보를 자동으로 추출하고 그것에 대한 색인을 자동으로 해줄 수 있으면 그 영상들 모두가 가치 있는 데이터라고 이야기할 수 있을까?

기록은, 데이터는, 필요로 하는 사람에게 필요를 아는 사람에게 주어지는 것이 맞다. 그것을 보고, 그것을 이용하고, 즐거움을 찾고, 그것을 통해 성장을 할 수 있는 사람에게.

안녕은 영원한 헤어짐은 아니겠지요

오랜 준비와 함께 다음 시즌을 기다렸으나 본의 아니게 역설적으로 이번 시즌은 픽셀캐스트가 중계를 안 하게 되었다. 지면을 통해 월간탁구 독자들을 만나는 즐거움도 아쉽지만 여기서 마무리하려고 한다. 음악 이야기로 시작한 이번 기고의 마무리는 음악 추천으로 하고 싶다. 공일오비의 『이젠 안녕』.

열정과 진심을 쏟아 부었던 시간이었다. 우리에게 탁구에서의 픽셀캐스트는 아픈 손가락과 같아서 무심결에, 무시로 한 번씩 돌아보게 될 것 같다.

여러분에게 픽셀캐스트는 어떤 의미였나요? (월간탁구 2022년 12월호 수록원고).