가상의 무대를 짓는 사람들

완성된 화면만 보면 가상의 무대는 늘 매끈하다. 버추얼 아이돌이 별빛 쏟아지는 무대를 가로지르며 춤추고, 카메라는 그 사이를 미끄러진다. 화면은 한 점의 솔기도 없이 깨끗하다. 그래서 사람들은 종종 그 세계가 컴퓨터 어딘가에서 버튼 하나로 생겨났다고 생각한다.

현장을 한 번이라도 본 사람은 그렇게 말하지 않는다. 가상의 무대는 자동으로 생기지 않는다. 검은 수트를 입은 배우의 땀 위에서, 게임 엔진을 모는 오퍼레이터의 모니터 앞에서, 새벽 세 시까지 꺼지지 않는 리허설 무대 위에서 — 그것은 사람들이 손으로 짓는다. 이 글은 그 현장의 르포다. 무엇을 무엇이라 부르는가가 아니라, 그 일이 실제로 어떻게 돌아가는가에 관한 이야기다.

검은 수트의 스테이지

가장 먼저 움직이는 곳은 모션캡처 스테이지다.

천장에 수십 대의 적외선 카메라가 박혀 있고, 바닥은 텅 비어 있다. 검은 수트에 작은 반사 마커를 점점이 붙인 배우가 그 한복판에 선다. 카메라들은 그 마커들의 위치를 1초에 수백 번씩 읽어, 배우의 움직임을 점과 선의 골격으로 옮긴다. 그리고 그 골격은 그 자리에서, 옆 모니터 속 가상 캐릭터의 몸으로 흘러 들어간다. 배우가 팔을 들면, 모니터 속 캐릭터가 같은 순간 팔을 든다.

이 '같은 순간'을 사람들은 리타게팅이라 부르는데, 말처럼 깔끔하지 않다. 배우의 골격과 캐릭터의 골격은 비율이 다르다. 팔이 더 길거나, 다리가 더 짧거나, 머리가 두 배 크다. 그 간극을 그 자리에서 메워 주지 않으면 캐릭터는 제 발을 밟고, 손이 몸을 뚫는다. 그래서 스테이지 한쪽에는 늘 이 어긋남을 실시간으로 손보는 사람이 붙어 있다.

가장 어려운 건 얼굴이다. 몸짓은 틀려도 어딘가 눈감아 줄 구석이 있지만, 표정은 그렇지 않다. 배우의 눈가가 0.1초 늦게 웃으면, 캐릭터는 곧바로 죽은 인형처럼 보인다. 헬멧 카메라를 쓰고 종일 같은 대사를 반복하는 배우, 그 미세한 떨림을 캐릭터의 얼굴 근육으로 옮기는 아티스트 — 캐릭터가 살아 있느냐 죽어 있느냐는 대개 이 자리에서 갈린다.

모션캡처는 움직임을 복사하는 일이 아니다. 한 사람의 호흡을, 다른 몸으로 옮겨 다는 일이다.

움직임이 몸을 입는 곳 — 엔진

모션캡처가 잡아낸 골격은 아직 앙상하다. 그 골격이 살과 옷과 빛을 입고 '캐릭터'가 되는 곳, 그리고 그가 설 무대가 그려지는 곳이 바로 게임 엔진이다.

왜 영화 엔진이 아니라 '게임' 엔진일까. 게임 엔진은 본래 플레이어의 조작에 그 즉시 반응하도록 만들어진 물건이다. 버튼을 누르면 화면이 바로 바뀌어야 하는 세계에서 자라났다. 그래서 영화의 렌더링이 한 프레임에 몇 시간을 쓰던 자리를, 게임 엔진은 1초에 수십 프레임으로 답한다. 무대의 조명을 한낮에서 황혼으로 바꾸고, 안개의 농도를 올리고, 캐릭터의 의상을 통째로 갈아입히는 일이 — 후반 작업이 아니라 지금 이 순간 일어난다. 가상의 무대가 '실시간'으로 존재할 수 있는 것은, 이 엔진의 성질 덕분이다.

그 앞에는 '오퍼레이터'라 불리는 자리가 있다. 엔진을 모는 사람이다. 감독이 "조금 더 쓸쓸하게"라고 말하면, 오퍼레이터는 그 모호한 한마디를 빛의 각도와 색온도로 번역해 몇 초 만에 화면에 띄운다. 무대 한가운데에 가상의 카메라를 놓고, 렌즈를 갈아 끼우고, 캐릭터를 따라 그 카메라를 미끄러뜨린다. 물리 무대였다면 크레인과 레일이 필요했을 동선이, 여기서는 마우스 한 번의 드래그다.

그 곁에는 테크니컬 아티스트가 있다. 예술과 공학의 경계에 선 직무다. 아티스트가 원하는 그림이 현장의 하드웨어로 실시간에 그려질 수 있는지를 판단하고, 안 되면 되게 만드는 사람. 머리카락 한 올의 흔들림을 살리려고 셰이더를 새로 짜고, 무거운 장면을 가볍게 깎아 프레임이 끊기지 않게 다듬는다. 화면이 멈추지 않고 흐르는 것 자체가 이들의 보이지 않는 노동이다.

현장에서 '실시간'은 마법이 아니라 직업이다. 누군가는 그 즉시성을 만들기 위해, 밤새 장면의 무게를 덜어 낸다.

엔진이 열어 준 자유에는 묘한 역설이 있다. 중력도, 무대의 크기도, 의상을 갈아입는 시간도 더는 제약이 아니다. 캐릭터는 한순간에 우주로 솟구치고, 무대는 곡이 끝나기 전에 다른 세계로 갈아엎힌다. 그러나 그 무한한 자유는, 매 프레임을 끊기지 않게 그려 내야 한다는 또 다른 족쇄와 맞바꾼 것이다. 상상력은 자유로워졌지만, 그 상상을 실시간에 떠받치는 노동은 오히려 늘었다.

버추얼 아이돌이 무대에 서는 밤

이 모든 자리가 한 호흡으로 묶일 때, 비로소 버추얼 아이돌이 무대에 오른다. 그리고 라이브야말로, 가상의 무대가 가장 아슬아슬해지는 순간이다.

공연이 시작되면 사슬이 돌기 시작한다. 무대 뒤 어딘가에서 모션캡처 배우가 춤추고, 그 움직임이 엔진으로 흘러 캐릭터의 몸이 되고, 엔진이 그려 낸 화면이 송출 라인을 타고 스크린과 스트리밍으로 나간다. 동시에 캐릭터는 객석과 채팅창의 반응에 그 자리에서 응답해야 한다. 이 사슬의 어느 한 칸이라도 반 박자 늦으면 — 입 모양과 목소리가 어긋나고, 손짓이 음악을 놓친다. 그 작은 지연(레이턴시) 하나가, 애써 쌓은 몰입을 한 번에 무너뜨린다.

그래서 라이브 현장의 사람들은 공연 내내 '맞춘다'. 각 장비의 시계를 동기화하고, 신호가 도는 길의 길이를 잰다. 누군가는 일부러 음악을 몇 프레임 늦춰 영상과 입을 맞추고, 누군가는 송출 화면과 무대 모니터를 번갈아 보며 어긋남을 잡는다. 버추얼 아이돌의 리허설은 화려한 동작을 다듬는 시간이 아니다. 대부분은 이 보이지 않는 어긋남을 하나씩 지워 나가는, 지루하고 반복적인 작업이다.

그러나 바로 그 위에서 마법 같은 일이 일어난다. 모든 것이 실시간이기에, 정해진 영상이라면 불가능했을 즉흥이 가능해진다. 캐릭터가 객석 특정 구역의 팬에게 손을 흔들고, 그날의 분위기에 맞춰 멘트를 바꾸고, 예정에 없던 앵콜에 응한다. 서브컬처에서 출발해 단독 콘서트를 채운 Plave나 이세계아이돌, 글로벌 팬덤을 모은 Hololive의 라이브가 보여 준 것이 바로 이 감각이다 — 화면 속 존재가 '지금 여기, 우리와 같은 시간에' 살아 있다는 실감. 그 실감은 고된 동기화의 끝에서야 비로소 태어난다.

여기서 갈래가 나뉜다. 모든 버추얼 공연이 실시간인 것은 아니다. 무대를 '미리 짓고 정교하게 재생하는' 길과, '그 자리에서 살아 움직이게 하는' 길이 있다. 알려진 바로는 ABBA Voyage의 아바타 공연은 멤버들의 퍼포먼스 캡처를 오래 다듬어 만든 사전 제작 무대를 정밀하게 재생하는 방식에 가깝다. 반대로 SM의 버추얼 아티스트 나이비스(Naevis)가 팬의 채팅에 그 자리에서 반응하는 일은 실시간 운용에 더 가깝다. 같은 '버추얼 아이돌의 무대'라도, 사전 제작은 완성도를 끝까지 끌어올리는 대신 즉흥을 포기하고, 실시간은 살아 있음을 얻는 대신 매 순간 무너질 위험을 감수한다. 둘은 현장의 노동도, 비용도, 리스크도 전혀 다르다.

버추얼 아이돌의 무대에서 진짜 질문은 '얼마나 진짜 같은가'가 아니라 '지금 이 순간 살아 있는가'다.

기획자는 어디에 서는가

그렇다면 이 현장에서 기획자의 자리는 어디인가. 수트를 입는 것도, 엔진을 모는 것도, 무대를 송출하는 것도 기획자가 아니다. 그럼에도 기획자가 없으면 무대는 자주 길을 잃는다.

기획자가 하는 일은 가능과 불가능의 경계를 아는 것이다. "이 공연을 사전 제작으로 갈까, 실시간으로 갈까"를 며칠의 일정과 한정된 예산, 그리고 팬과의 상호작용이 얼마나 필요한가를 저울에 올려 판단하는 일. 모션캡처가 깔끔하게 잡아낼 동작과 후반에서 손봐야 할 동작을 구분하는 일. 감독의 꿈과 테크니컬 아티스트의 한숨 사이에서, 무엇을 살리고 무엇을 접을지 그 자리에서 조율하는 일. 현장의 언어를 알아듣지 못하는 기획자는 회의실의 그림을 무대로 옮기지 못한다.

버추얼 아이돌이 무대에 서는 일은, 결국 이 수많은 자리의 사람들을 하나의 호흡으로 엮어 낸 누군가가 있었기 때문에 가능하다. 가상의 무대를 짓는다는 것은, 기술을 사는 일이 아니라 사람들을 같은 그림 위에 세우는 일이다.

현장의 언어를 용어가 아니라 감각으로 익히고 싶다면, 그런 자리도 있다. SM UNIVERSE·STUDIO REALIVE·SMHRD 컨소시엄이 운영하는 K-POP 이머시브 콘텐츠 기획자 양성과정은 모션캡처와 게임 엔진, 버추얼 아이돌의 라이브 운영이 어떻게 돌아가는지를 가능과 불가능을 가늠하는 기획자의 눈으로 다루고 실제 산출물로 이어 간다. 더 알고 싶다면 모집 페이지를 살펴보면 된다.

---

공연이 끝난 새벽, 무대의 스크린이 어두워지고 스테이지의 적외선 카메라가 잠든다. 화면 속에 남은 매끈한 한 장면은, 그 모든 반복과 실패와 조율이 마지막에 도달한 자리다. 가상의 무대는 컴퓨터가 아니라 사람이 짓는다 — 그 사실을 아는 것에서, 다음 무대의 설계는 시작된다.

Tags   #버추얼프로덕션   #버추얼아이돌   #모션캡처   #게임엔진   #실시간렌더링   #라이브공연   #이머시브콘텐츠

ⓒ STUDIO REALIVE. 본 글은 에디토리얼 콘텐츠입니다.