60fps는 어디에나 있지만… 온라인만 빼고

가까운 베스트바이(Best Buy) 매장의 비디오 카메라 코너를 둘러보면, 초당 60프레임(fps)으로 녹화하지 않는 HD 캠코더를 찾기가 점점 더 어려워지고 있습니다. 의료 영상 및 산업용 촬영 장비, 고프로(GoPro)와 같은 액션 캠, 아이폰 6나 삼성 갤럭시 노트 4와 같은 모바일 기기를 포함한 다른 영상 촬영 기기들도 마찬가지입니다.

가정이나 사무실에서 동영상을 시청할 때 사용하는 기기들도 60fps를 지원합니다. HDTV, 노트북 및 데스크톱 모니터, 태블릿, 스마트폰 등은 일반적으로 초당 최대 60프레임의 재생 속도를 지원합니다.

비디오 게임, 특히 Xbox One과 플레이스테이션 4용으로 제작된 게임들은 60fps 재생에 최적화되어 개발되는 경우가 점점 더 많아지고 있다.

그리고 최근 몇 년 사이 ESPN, ABC, FOX와 같은 주요 미디어 기업들이 자사 채널을 720p/60(해상도 1280×720, 초당 60프레임)으로 방송하기 시작했습니다.

온라인 동영상을 제외하면, 디지털 동영상 생태계 전체가 초당 60프레임으로 업그레이드된 것처럼 보입니다. 인터넷 동영상이 처음 등장한 시기인 2004년 ‘VloggerCon’과 2005년 유튜브에 첫 동영상이 게시된 이래로, 인터넷과 기업 네트워크를 통해 스트리밍되는 동영상의 프레임 속도는 초당 고작 30프레임으로 제한되어 왔습니다.

이제 온라인 동영상이 뒤처지지 않아야 할 때입니다 

2015년, 지난 10년간 이어져 온 이러한 추세에 변화의 조짐이 보이고 있습니다. 몇 달 전, 유튜브는 60fps 동영상에 대한 제한적인 지원을 발표했습니다(구글 크롬 브라우저에서만 시청 가능). 그리고 지난주, Panopto 자사의 동영상 플랫폼이 모든 웹 브라우저와 모바일 기기에서 60fps를 지원하는 최초의 플랫폼이 되었다고 Panopto . 이 글에서는 60fps가 더 나은 재생 경험을 제공하는 이유, 기업 및 대학에서 60fps 동영상을 활용할 수 있는 사례, 온라인 동영상이 부자연스럽게 30fps로 제한되어 온 배경, 그리고 Panopto 자사 동영상 플랫폼에 60fps를 Panopto 방법을 살펴보겠습니다. 또한 온라인 스트리밍이 얼마나 선명하게 보일 수 있는지 보여드리기 위해 몇 가지 60fps 동영상 샘플도 준비했습니다.

60fps란 무엇이며, 왜 더 나은 경험을 제공하는가?

영상을 보는 것은 배워서 얻은 ‘믿음의 유예’이다.

우리가 동영상을 볼 때, 실제로는 부드러운 움직임을 보고 있는 것이 아닙니다. 우리는 단순히 정지된 이미지들이 빠르게 이어지는 것을 보고 있을 뿐인데, 이것이 우리 뇌를 속여 마치 움직임이 있는 것처럼 느끼게 할 뿐입니다. 그런 의미에서 동영상은 고도로 정교해진 디지털 플립북에 불과합니다.

유튜브의 초기 콘셉트 

플립북을 빠르게 넘길수록 움직임이 더 부드럽게 보입니다. 마찬가지로, 동영상의 프레임 속도(초당 프레임 수, 즉 ‘fps’로 측정됨)가 높을수록 움직임이 더 부드럽게 느껴집니다. 그리고 움직임이 더 부드럽게 느껴질수록 동영상은 더욱 생생해 보입니다.

이는 아마도 영상의 본질적인 목적이라 할 수 있을 것입니다. 즉, 촬영된 현실을 가능한 한 정확하게 재현하는 것이죠. 따라서 영상의 프레임 속도를 높이면, 우리 눈이 현실 세계에서 자연스럽게 인식하는 부드러운 움직임을 더 가깝게 재현하게 되므로 화질이 더 좋아 보이는 것입니다.

하지만 초당 60프레임은 두 가지 이유로 독특한 기준이 됩니다.

첫째, 60fps는 대다수의 사람들이 재생의 부드러움에서 차이를 느낄 수 있는 최고 프레임 속도입니다. 60fps를 넘어서는 프레임 속도에서는 인간의 지각 능력이 한계에 이릅니다. 60fps와 120fps 재생의 차이를 구분할 수 있는 사람은 극히 드물기 때문에, 60fps를 초과하는 프레임 속도는 일반적으로 슬로우 모션으로 감상하기 위한 영상에서만 선호됩니다.

둘째, 설령 대다수의 사람들이 초당 60프레임과 그 이상의 프레임 수를 구분할 수 있다고 해도, 현재로서는 데스크톱, 노트북, 모바일 기기의 화면 사양에 제약을 받고 있습니다. CRT 및 LCD 모니터는 60Hz로 재생됩니다. 즉, 화면의 이미지를 초당 60회 갱신한다는 뜻입니다. 따라서 60fps로 동영상을 스트리밍하면 화면의 최대 재생 주파수와 완벽하게 일치하게 됩니다.

프레임 속도가 높아질수록 영상이 얼마나 더 부드럽고 생생해지는지 보여주는 예시로, 아래 영상은 세 가지 다른 프레임 속도로 촬영되었습니다. 첫 번째 부분은 15fps로, 두 번째 부분은 30fps로, 마지막 부분은 60fps로 촬영되었습니다.

15, 30, 60fps 동영상 스트리밍 예시 

스포츠와 비디오 게임에만 국한되지 않습니다

고프레임률(HFR) 영상은 주로 소비자용 미디어, 특히 비디오 게임과 스포츠 중계에서 널리 활용되는 것으로 잘 알려져 있습니다. 이 두 분야는 모두 움직임이 많고 부드러운 영상 재생의 장점을 극대화하기 때문에 60fps의 혜택을 누리고 있습니다.

하지만 HFR 영상의 이점은 소비자 시장에만 국한되지 않습니다. 높은 프레임 속도는 영상을 더욱 생생하게 보이게 하므로, 기업이나 대학에서 제작하는 거의 모든 유형의 미디어 콘텐츠 품질을 향상시킬 잠재력을 지니고 있습니다.

제조 현장의 공정을 촬영하는 산업용 영상을 생각해 보자. Point Grey와 같은 업체에서 제공하는 산업용 카메라는 수년 전부터 HFR 영상 촬영을 지원해 왔다. 이제 영상 플랫폼에서 HFR을 기본적으로 지원함에 따라, 관리자들은 녹화 영상이나 실시간 스트리밍 영상을 그 어느 때보다 더 세밀하게 확인할 수 있게 될 것이다.

초당 60프레임으로 촬영된 산업용 기계 

의료 영상 분야에서도 초당 60프레임(60fps)의 고속 촬영(HFR)이 유용하게 활용되는데, 이는 생물학적 현상이 1/60초 단위로 발생할 수 있기 때문입니다. 만약 사용 중인 영상 플랫폼이 60fps로 촬영하지 못한다면, 프레임 사이에서 중요한 순간을 놓칠 수 있습니다.

고프레임률(HFR) 동영상 재생 기능을 통해 모든 종류의 애니메이션의 화질이 눈에 띄게 향상됩니다. 의료용 애니메이션을 더욱 정밀하게 확인할 수 있으며, CAD 시뮬레이션 모델의 렌더링도 더욱 사실적으로 구현됩니다. 아래 예시에서 Blausen Medical은 방송급 품질의 의료용 애니메이션에 HFR 동영상이 갖는 잠재력을 보여줍니다.

Blausen Medical에서 제공하는 60fps 의료 애니메이션 

그리고 위에서 소개한 첫 번째 예시에서 볼 수 있듯이, 평범한 ‘토킹 헤드’ 영상조차 초당 60프레임으로 재생하면 화질이 눈에 띄게 개선됩니다. 기조 연설, 경영진 커뮤니케이션, 라이브 스트리밍 행사부터 건축 영상, 대학 강의, 과학 실험실 영상에 이르기까지, 60fps는 기업과 교육 기관에 더 부드럽고 선명한 영상을 제공합니다. 이는 지난 10년 동안 우리가 익숙해져 온 ‘그럭저럭 볼 만한’ 온라인 영상보다 HDTV 방송에 더 가까운 화질을 선사합니다.

하지만 30fps가 “충분히 괜찮다”고 여겨진다면, 기업과 대학에 정말 60fps가 필요할까요?

우리는 이 문제를 다른 관점에서 살펴보았습니다. 우리 기술 스택이 60fps를 지원할 수 있는지, 그리고 이를 구현한다면 고객에게 도움이 될지 여부를 검토했습니다.

사실 오늘날의 영상 촬영, 처리 및 전송 기술은 이미 높은 프레임 속도를 지원할 준비가 되어 있습니다. 또한 60fps로 설정한다고 해서 미디어 저장 및 스트리밍 비용이 증가하지 않기 때문에(영상 파일 크기는 비트레이트와 재생 시간의 곱으로 결정됩니다), 우리는 어떤 기업이나 대학에 속한 누구라도 끊기는 15fps 영상에서 부드럽게 재생되는 60fps 영상으로 화질을 높일 수 있는 선택권을 가져야 한다고 믿습니다.

그런데 왜 온라인 동영상은 오랫동안 30fps로 제한되어 왔을까?

최근 네트워크 대역폭과 CPU 처리 능력이 크게 향상되었음에도 불구하고, 60fps를 달성하는 것은 결코 쉬운 일이 아닙니다.

라이브 또는 주문형 온라인 스트리밍에서 HFR을 지원하려면, 캡처 단계부터 재생 단계에 이르기까지 일련의 적절한 기술이 여전히 필요합니다:

• 우수한 카메라 센서. 영상 캡처 장치는 초당 60프레임으로 영상을 촬영할 수 있는 광량 확보 능력과 타이밍을 갖추고 있어야 합니다. 모든 전문용 비디오 카메라와 대부분의 소비자용 캠코더 및 DSLR 카메라에서는 이것이 가능하지만, 로지텍(Logitech)이나 마이크로소프트(Microsoft)와 같은 업체의 웹캠은 여전히 60fps를 구현하지 못하고 있습니다.
• 카메라와 컴퓨터를 연결하는 고속 전송 경로. HFR(고속 프레임 레이트)을 지원하는 카메라 센서를 갖추고 있더라도, 컴퓨터와의 연결이 병목 현상이 될 수 있습니다. 구체적으로 말해, 카메라는 초당 60프레임의 속도로 컴퓨터에 정보를 전송할 수 있어야 하는데, 이 때문에 USB 2.0은 고프레임 레이트 동영상을 지원하지 않습니다. 전송 속도가 480Mbps인 USB 2.0의 대역폭은 매초 60개의 비압축 비디오 프레임을 컴퓨터로 전송하기에는 충분하지 않습니다. 반면, 최대 5Gbps의 속도를 자랑하는 USB 3.0은 이를 가능하게 합니다.
• 효율적인 메모리 관리 및 압축. 이 프레임들이 컴퓨터에 도달하면 비디오 플랫폼의 인코딩 파이프라인으로 전송되어 메모리에 로드되고, 처리된 후 메모리에서 해제됩니다. 프레임 손실을 방지하려면 메모리 할당, 프레임 압축, 메모리 해제 과정이 매우 효율적이어야 합니다. 또한 적응형 비트레이트 스트리밍을 위해 여러 비트레이트로 인코딩할 계획이라면, 인코딩 파이프라인은 각 비디오 프레임을 한 번이 아니라 세 번 또는 네 번 처리한 후에야 다음 프레임 처리를 진행할 수 있습니다.
• 효율적인 재생. 마지막으로, 네트워크를 통해 전송된 HFR 동영상은 클라이언트 측에서 디코딩되어, 대개 웹 브라우저 화면에 표시되어야 합니다. 초당 60프레임의 속도로 전송되는 경우, 플래시(Flash)든 HTML5든 클라이언트 기술은 네트워크에서 프레임을 가져와 화면이 새로 고쳐지는 속도와 동일한 속도로 화면에 표시할 수 있도록 매우 효율적으로 작동해야 합니다.

간단히 말해, 60fps를 구현하기가 어렵기 때문에 지난 10년 넘게 온라인 스트리밍은 30fps로 제한되어 왔습니다. 이는 하드웨어 제조사에게도, 비디오 소프트웨어 제공업체에게도 어려운 과제입니다. 하지만 네트워크 속도는 점점 빨라지고 프로세서는 점점 더 강력해지고 있으므로, 온라인 비디오의 60fps 표준화는 불가피합니다. 실제로 HFR 온라인 비디오는 이미 2년 전부터 테스트되고 있었는데, 당시 블렌더 재단(Blender Foundation)과 야누스 크리스텐슨(Janus Kristensen)이 60fps 애니메이션의 상징이 된 '빅 벅 버니(Big Buck Bunny)'를 공개했습니다.

‘빅 벅 버니’ – 60fps 온라인 스트리밍으로 무엇을 구현할 수 있는지 보여주는 초기 사례 

Panopto온라인 비디오 플랫폼의 60fps

Panopto to 비디오 플랫폼의 최신 업데이트를 통해 HFR(고속 프레임) 동영상 녹화, 라이브 스트리밍 및 업로드 기능을 지원하게 되었습니다. 즉, Panopto 이제 Windows 데스크톱이나 노트북을 사용하여 캠코더, 문서용 카메라, 의료 영상 장치, 산업용 카메라 또는 고속 프레임 녹화를 지원하는 기타 모든 미디어 캡처 소스에서 초당 최대 60프레임의 동영상을 캡처할 수 있습니다. 또한 이는 iPhone이나 현장에서 전문 비디오 카메라로 촬영한 사전 녹화 영상도 Panopto 비디오 콘텐츠 관리 시스템에 업로드할 수 있으며, 업로드된 영상은 모든 데스크톱이나 노트북에서 60fps로 재생될 수 있도록 인코딩된다는 것을 의미합니다.

또한, 비디오 팟캐스트를 위한 새로운 1080p60 화질 설정을 통해 모바일 기기에서도 60fps로 동영상을 스트리밍할 수 있게 되었습니다.

60fps 동영상을 녹화하고, 실시간 스트리밍하며, Panopto 업로드하세요 

당사의 비디오 플랫폼은 다음 요소들을 결합하여 고프레임률 스트리밍을 구현합니다:

• 프레임 손실을 최소화하면서 다중 비트레이트 60fps를 지원하기 위해 인코딩 스택을 세심하게 튜닝했습니다.
• 상류 장치의 성능에 대한 깊은 이해와 효과적인 조율은, 비디오 카메라 및 기타 미디어 소스가 Panopto PC로 고화질 HFR 영상을 전송하도록 보장하는 데 매우 중요합니다.
• Flash 및 HTML5 기반 동영상 제어 기능을 JavaScript로 감싸는 동영상 플레이어 코드의 최적화.

고객 여러분이 프레젠테이션과 강의를 60fps로 촬영하기 시작하고, 유튜브를 비롯한 다양한 동영상 플랫폼들이 이 새로운 표준을 지원함에 따라, 지식을 공유하고 소통하는 수단으로서 동영상의 활용은 더욱 가속화될 것입니다. 저희는 온라인 동영상의 이러한 진화에 동참하게 되어 매우 기쁘게 생각하며, 여러분이 HFR로 어떤 영상을 담아내실지 기대됩니다.

그동안 Panopto 에서 현재 스트리밍 중인 60fps 동영상 샘플을 몇 개 더 소개합니다.

NASA의 MMS 임무 개요 

우리 팀의 제시 버논이 밴조로 ‘Blackberry Blossom’을 연주하는 법을 보여주고 있습니다 

…그리고 스타워즈 팬 여러분을 위해, ‘깨어난 포스’의 60fps 예고편을 소개합니다.