이머시브 기획자의 언어 ② — 가상과 실시간

①편이 공간과 몰입을 다뤘다면 — XR, 프레즌스, 공간음향, 프로젝션 매핑처럼 '관객을 어디에 세울 것인가'의 언어였다면 — 이번엔 방향을 무대 뒤로 돌린다. 관객이 보는 그 화면과 그 캐릭터를 무엇으로, 어떻게 만들어 내는가. '가상 제작'과 '실시간'의 언어다.

이 어휘들은 멋 부리기 위한 것이 아니다. 기획자에게 이 단어들은 실현 가능성과 비용을 가늠하는 자(尺)다. "이 장면을 LED 월로 찍을까요, 합성으로 갈까요?"라는 한 문장 안에 며칠의 일정과 수천만 원의 예산이 갈린다. 용어를 모르면 기획자는 꿈만 꾸고, 용어를 알면 그 꿈을 예산표 위에 올려놓을 수 있다. 그래서 이 글은 사전이 아니라, 기획서를 쓰는 사람의 언어를 정리하는 작업이다.

배경을 '합성'하지 않고 '촬영'하는 시대

오랫동안 가상 배경은 후반 작업의 영역이었다. 초록 천(그린스크린) 앞에서 연기하고, 배경은 나중에 컴퓨터로 합성했다. 문제는 배우도, 감독도, 그 자리에서는 최종 그림을 볼 수 없다는 것이다.

버추얼 프로덕션(Virtual Production) 은 이 순서를 뒤집는다. 가상의 배경을 촬영 현장에서 실시간으로 띄워 놓고 찍는 제작 방식이다. 그 중심에 있는 것이 인카메라 VFX(In-Camera VFX) 와 LED 월(LED Wall, 볼륨) 이다. 거대한 곡면 LED 스크린에 가상 배경을 실시간으로 렌더링해 띄우고, 그 앞에서 배우가 연기하면 카메라가 배경과 인물을 한 번에 담는다. 합성이 아니라 촬영이다. 배경의 빛이 배우의 얼굴에 실제로 반사되고, 카메라가 움직이면 배경의 원근도 따라 움직인다.

기획자가 이 단어를 알아야 하는 이유는 분명하다. LED 월은 후반 합성 비용과 로케이션 이동을 줄여 주는 대신, 초기 세트 구축 비용이 크다. "한 장소에서 여러 배경을 빠르게 갈아 끼워야 하는가"라는 질문에 '그렇다'면 강력한 카드이지만, 단 한 컷을 위해서라면 과잉이다. 라스베이거스의 Sphere가 관객을 약 16K급으로 알려진 내벽으로 통째로 감싸 '들어가 있는 세계'를 만든 것도, 결국 이 인카메라적 발상 — 화면을 합성하지 않고 공간 자체를 띄운다 — 의 거대한 확장판이다.

버추얼 프로덕션의 핵심은 화질이 아니라 '순서'다. 나중에 만들 그림을 지금 보면서 찍는다는 것 — 그 한 가지가 현장의 모든 판단을 바꾼다.

사람의 움직임을 데이터로 옮기는 일

가상 캐릭터를 만드는 첫 단추는 '움직임'이다. 그리고 움직임은 대개 진짜 사람에게서 빌려 온다.

모션캡처(Motion Capture) 는 배우의 몸에 마커를 붙이거나 센서로 추적해, 그 동작 데이터를 가상 캐릭터의 골격에 입히는 기술이다. 여기서 한 발 더 들어가면 퍼포먼스 캡처(Performance Capture) — 몸짓뿐 아니라 연기 전체, 즉 호흡과 뉘앙스까지 잡아내는 작업이다. 그리고 표정만 따로 떼어 정밀하게 옮기는 것이 페이셜 캡처(Facial Capture) 다. 가상 캐릭터가 어색한지 살아 있는지는 대개 이 얼굴에서 갈린다.

또 다른 길도 있다. 볼류메트릭 캡처(Volumetric Capture) 는 수십 대의 카메라로 인물을 360도에서 동시에 촬영해, 그 사람 자체를 입체 영상 데이터로 통째로 기록한다. 모션캡처가 '움직임'을 가져온다면, 볼류메트릭은 '존재'를 가져온다. 공연 실황을 통째로 입체 기록해 다른 공간에서 다시 재생하거나, 한 인물의 현재 모습을 그대로 보존해 두는 작업이 이 계열에 속한다. (실존 멤버를 무대에 다시 세운 ABBA Voyage는 흔히 이런 사례와 묶여 거론되지만, 실제로는 멤버들의 퍼포먼스 캡처를 ILM이 정교하게 다듬어 만든 사전 제작 영상에 가깝다 — 볼류메트릭이 아니라 퍼포먼스 캡처의 결과물이다.)

기획 관점에서 이 셋의 차이는 곧 비용과 정밀도의 차이다. 캐릭터가 격렬하게 춤춰야 하는가(모션캡처), 미묘한 감정 연기가 핵심인가(퍼포먼스·페이셜 캡처), 아니면 실존 인물을 그대로 재현해야 하는가(볼류메트릭). 무엇을 택하느냐가 장비, 스튜디오, 후반 작업의 규모를 통째로 결정한다.

게임 엔진이 무대에 올라온 이유

위의 모든 조각 — LED 월의 배경, 모션캡처로 움직이는 캐릭터 — 을 지금 이 순간 그려내는 심장이 있다. 리얼타임 렌더링(Real-time Rendering) 과 이를 구동하는 게임 엔진(언리얼 엔진 등) 이다.

과거 영화의 컴퓨터그래픽은 한 프레임을 그리는 데 몇 시간이 걸렸다. 게임 엔진은 본래 플레이어의 조작에 1초에 수십 번씩 반응해야 하는 물건이라, 화면을 '즉시' 그려낸다. 이 즉시성이 버추얼 프로덕션의 LED 월을, 그리고 실시간으로 반응하는 버추얼 아티스트를 가능하게 했다. 영화 산업의 도구였던 렌더링이, 게임의 문법을 입고 무대 위로 올라온 셈이다.

기획자가 '실시간'이라는 단어를 들을 때 떠올려야 할 것은 속도가 아니라 가능성이다. 즉시 그려진다는 것은, 관객이 개입할 수 있다는 뜻이기 때문이다.

기획서에 "실시간 렌더링"이라고 적는 순간 따라오는 것이 있다. 사전에 완벽하게 다듬은 영상에 비해 즉석에서 그린 그림은 품질을 일부 양보해야 하고, 그만큼 강력한 하드웨어와 이를 다룰 인력이 필요하다. 실시간은 공짜가 아니라 '관객 반응'과 '제작 비용'을 맞바꾸는 선택이다.

캐릭터에도 종류가 있다

대중은 가상 캐릭터를 뭉뚱그려 부르지만, 기획서에서는 구분이 필요하다.

디지털 휴먼 / 버추얼 휴먼 은 사람과 구별하기 어려울 만큼 사실적으로 만든 가상 인물을 가리킨다. 반대편에는 양식화된 아바타(Avatar) 가 있다 — 실존하든 가상이든, 특정 주체를 무대 위에서 대리하는 시각적 분신이다. ABBA Voyage가 실존 멤버를 젊은 시절의 아바타로 세웠다면, SM의 버추얼 아티스트 나이비스(Naevis) 는 aespa의 세계관에서 출발해 독립한, 사람의 얼굴 대신 기획·기술로 빚어 올린 캐릭터에 가깝다. 서브컬처의 Plave, 글로벌의 Hololive 또한 저마다 다른 제작 문법 위에 서 있다 — 누군가는 모션캡처와 게임 엔진으로 매 순간 살아 움직이고, 누군가는 정교한 사전 제작에 기댄다.

기획자에게 이 구분이 중요한 이유는, 캐릭터의 '종류'가 곧 제작 파이프라인 전체를 규정하기 때문이다. 사실적인 디지털 휴먼은 '불쾌한 골짜기'를 넘기 위한 막대한 비용을 요구하고, 양식화된 아바타는 그 부담에서 비교적 자유로운 대신 다른 매력으로 승부해야 한다. 어느 쪽이 우리 IP에 맞는가 — 이것은 기술 결정이기 이전에 기획 결정이다.

그리고, 막이 오른 다음

여기까지가 '만드는' 언어였다면, 마지막은 '운영'의 언어다. 버추얼 아티스트가 진짜로 무대에 서는 순간 — 정해진 영상이 재생되는 게 아니라, 실시간으로 움직이고 팬의 채팅에 그 자리에서 반응하는 순간 — 이 모든 기술은 라이브 운영(실시간 인터랙션·송출) 이라는 무대 위에서 합쳐진다.

여기서는 모션캡처 배우, 게임 엔진 오퍼레이터, 송출 엔지니어가 한 호흡으로 움직여야 한다. 단 한 프레임의 지연(레이턴시)이 몰입을 깨고, 송출 사고 하나가 공연을 멈춘다. SM의 온라인 콘서트 운영이 그러하듯, 잘 만든 콘텐츠도 잘 운영되지 못하면 무대에 닿지 못한다. 기획자가 라이브 운영을 알아야 하는 이유는, 가장 화려한 기획이 가장 먼저 무너지는 곳이 바로 이 실시간의 현장이기 때문이다.

꿈을 예산표 위에 올려놓는 이 감각은, 결국 직접 부딪히며 길러진다. SM UNIVERSE·STUDIO REALIVE·SMHRD 컨소시엄이 운영하는 K-POP 이머시브 콘텐츠 기획자 양성과정에서는 버추얼 프로덕션과 실시간 제작의 어휘를 실현 가능한 기획으로, 그리고 손에 잡히는 산출물로 옮겨 보는 훈련이 이어진다. 과정의 자세한 윤곽은 모집 페이지에서 만나볼 수 있다.

---

용어는 결국 도구일 뿐이다. LED 월도, 게임 엔진도, 볼류메트릭 캡처도, 그 자체가 목적이었던 적은 없다. 이 모든 어휘가 향하는 단 하나의 질문은 변하지 않는다. 관객은 그 세계에 머무르고 싶어지는가. 가상과 실시간의 언어를 익히는 이유는, 그 경험을 더 정확히, 더 현실적으로 설계하기 위해서다.

Tags   #버추얼프로덕션   #LED월   #모션캡처   #게임엔진   #버추얼아티스트   #라이브운영   #이머시브콘텐츠

ⓒ STUDIO REALIVE. 본 글은 에디토리얼 콘텐츠입니다.