방송사가 AI를 쓴다고 하면 보통 챗봇 자막이나 요약 정도를 떠올리기 쉬워. 그런데 NVIDIA가 9월 11~14일 암스테르담에서 열리는 IBC 2026에 맞춰 내놓은 건 훨씬 구체적이야1. 가짜 영상을 걸러내고, 카메라 한 대로 선수 관절 움직임을 추적하고, 방송을 실시간으로 다른 언어로 더빙하는 소프트웨어 묶음 “NVIDIA AI for Media”의 대규모 확장이야.
발표 자체는 회사가 늘 하는 말이지만, 이번엔 손에 잡히는 증거가 딸려 있어. Dalet, TwelveLabs, Wowza, Vizrt, Ross Video, NDI, Machina Sports, AI-Media, CAMB.AI, Chyron, Panjaya — 11개 방송·미디어 기업이 이 기술을 이미 자사 제품에 통합하고 있다고 구체적으로 이름이 나와. 무엇을 어디에 붙였는지 하나씩 보자.
가짜 영상은 몇 퍼센트 확률로 걸러지나
올해 초 SIGGRAPH에서 처음 공개된 NVIDIA Synthetic Video Detector(SVD)는 영상이 진짜인지 AI 생성인지 확률을 평가하는 마이크로서비스야. 출시 이후 정확도가 텍스트-투-비디오 콘텐츠에서 99.3%, 이미지-투-비디오 콘텐츠에서 97.7%까지 올라갔다고 NVIDIA는 밝혔어1.
이 숫자가 실험실 안에만 머물지 않았다는 게 이번 발표의 핵심이야. 뉴스 조직용 소프트웨어를 만드는 Dalet는 SVD를 클라우드 기반 검증 워크플로에 통합해, 편집팀이 영상을 넣으면 점수와 메타데이터를 바로 검토할 수 있게 했어. TwelveLabs는 방송사가 지역별 콘텐츠 규정을 준수하는지 확인하는 새 서비스 “Compliance by TwelveLabs”에 SVD의 프레임 단위 진위 신호를 더했고, 170개국 이상에서 3만 5천 개 넘는 비디오 서비스를 돌리는 Wowza는 자사 스트리밍 인프라를 통해 라이브 영상 피드에서 AI 생성 징후를 실시간으로 뽑아내는 데 SVD를 쓸 예정이야.
카메라 한 대로 선수 움직임을 데이터로 바꾸는 일
두 번째 축은 사람의 움직임이야. NVIDIA 3D Body Pose는 단일 카메라 영상에서 2D·3D 관절 위치와 각도를 추정해서, 마커를 몸에 붙이는 전통적인 모션 캡처 없이도 움직임을 구조화된 데이터로 만들어. 가상 스튜디오 소프트웨어를 만드는 Vizrt는 이 기술로 선수나 출연자의 몸 움직임을 실시간 3D 조명 효과(반사·그림자·환경 렌더링)에 바로 연결하고 있어.
여기에 Video Frame Generation(VFG)이 더해지면 슬로모션이 부드러워져. 생성형 AI로 원본 프레임 사이에 새 프레임을 만들어 넣어 프레임률을 2배·4배로 늘리는 기술인데, 리플레이 전문 브랜드 Ross Video는 이걸 자사 Rio Replay 플랫폼에 붙여 6배 슬로모션 리플레이를 지원하고, 8배 보간을 향한 개발도 진행 중이야. 초고속 카메라를 새로 사지 않아도 더 부드러운 리플레이를 만들 수 있다는 뜻이지. 화질 쪽은 Video Super Resolution이 맡는데, AI로 영상을 업스케일하면서 노이즈·블러·압축 아티팩트를 줄이고 10비트 영상 지원도 새로 추가했어. TrueHDR는 일반 화질 영상을 실시간으로 하이 다이내믹 레인지 영상으로 바꿔서 최대 약 2,000니트까지 밝기를 끌어올려.
방송을 여러 언어로 동시에 내보내는 법
세 번째 축은 언어야. LipSync와 Active Speaker Detection 마이크로서비스가 그 핵심인데, LipSync는 입력 영상의 입 모양을 다른 언어 오디오 트랙에 맞춰 바꾸면서 고개 방향이나 눈 깜빡임 같은 자연스러운 움직임은 그대로 두는 기술이고, 새 버전은 얼굴이 가려졌을 때 처리도 개선했어. NDI는 이 두 기술로 기존 방송 워크플로 안에서 실시간 번역과 립싱크 더빙, 지역별 언어 적응을 지원하기 시작했어 — 같은 영상 스트림에서 여러 언어 버전을 동시에 뽑아낼 수 있다는 뜻이야.
이 언어 기술들은 NVIDIA Holoscan for Media라는 개발자 툴킷 안에 “Content Localization”이라는 이름으로 묶였어. AI-Media, CAMB.AI, Chyron, Panjaya 네 회사가 각각 음성·화면 전달 적응, 다국어 자막·번역 오디오, 그래픽 현지화, 라이브·주문형 콘텐츠의 표현·정체성 보존을 나눠 맡는 방식으로 이 워크플로에 참여하고 있어.
왜 이 기술들이 한 플랫폼에 묶이나
지금까지 나온 제품들은 원래 따로따로 쓰던 도구야. 이걸 묶는 접착제가 Media Exchange Layer(MXL)인데, NVIDIA Holoscan for Media는 소프트웨어 정의 라이브 프로덕션을 위한 오픈 레퍼런스 아키텍처이자 개발자 툴킷이고, MXL은 그 안에서 소프트웨어 기반 미디어 기능들이 분산 환경에서 영상·오디오·데이터를 주고받을 수 있는 개방형 방식을 더해. 방송 인프라가 점점 소프트웨어로 옮겨가는 상황에서 이 통합이 그 전환을 가속한다고 NVIDIA는 설명해.
스포츠 쪽에는 별도로 “Sports Intelligence Playbooks”라는 파인튜닝 프레임워크도 나왔어. 리그나 방송사가 자사 스포츠 영상과 주석 데이터로 NVIDIA의 오픈 모델을 직접 학습시킬 수 있게 하는 건데, 이전에 본 적 없는 영상에 훈련과 비슷한 질문 형식으로 평가했을 때 객관식 정확도는 약 53%에서 94%로, 개방형 평가는 약 5.7%에서 66%로 뛰었다고 NVIDIA는 초기 테스트 결과를 밝혔어2. 스포츠 데이터 전문 업체 Machina Sports가 이 프레임워크를 자사 인프라와 통합하고 있고, Wowza는 Cosmos 3와 Nemotron 모델을 파인튜닝해 라이브 스트림에서 스포츠 특화 장면을 자동으로 감지하는 데 쓰고 있어.
아직 모르는 것
정확도 수치는 전부 NVIDIA가 자체 발표한 것이고, 독립된 제3자 검증은 이 발표문에 나오지 않아. Sports Intelligence Playbooks의 53%→94% 수치도 “훈련과 유사한 질문 형식”으로 평가한 결과라, 실제 방송 현장에서 마주치는 다양한 경기 상황까지 같은 정확도가 나오는지는 다른 문제야. Dalet·TwelveLabs·Wowza 같은 파트너사들이 “통합하고 있다”는 시점이 각각 언제인지, 이미 고객사에 배포된 상태인지 개발 단계인지도 이 발표문만으로는 갈라볼 수 없어. IBC 2026 현장에서 실제 데모를 본 후속 보도가 나오면 이 부분이 채워질 거야.
각주
-
NVIDIA, 「NVIDIA Brings Real-Time AI to Broadcast, Sports and Global Streaming at IBC」(2026-09-10) NVIDIA 블로그 ↩︎ ↩︎2
-
NVIDIA, 「NVIDIA Brings Real-Time AI to Broadcast, Sports and Global Streaming at IBC」(2026-09-10) — Sports Intelligence Playbooks 초기 테스트 결과 NVIDIA 블로그 ↩︎
댓글