60fps는 어디서나... 온라인만 빼고

가까운 베스트바이의 비디오 카메라 매장을 둘러보면 초당 60프레임(fps)으로 녹화하지 않는 HD 캠코더를 찾기가 점점 더 어려워질 것입니다. 의료용 이미징 및 산업용 캡처 장치, GoPro와 같은 액션캠, iPhone 6 및 삼성 갤럭시 노트 4와 같은 모바일 장치를 포함한 다른 비디오 녹화 장치도 마찬가지입니다.

가정과 사무실에서 동영상을 시청하는 데 사용하는 디바이스도 60fps를 지원합니다. HDTV, 노트북 및 데스크톱 모니터, 태블릿, 스마트폰은 일반적으로 초당 최대 60프레임의 재생을 지원합니다.

특히 Xbox One과 PlayStation 4용으로 개발된 비디오 게임은 점점 더 60fps 재생을 위해 개발되고 있습니다.

그리고 최근에는 ESPN, ABC, FOX와 같은 주요 미디어 회사들이 720p/60(60fps에서 1280×720 해상도)으로 채널을 방송하기 시작했습니다.

온라인 동영상이라는 한 가지 주목할 만한 장애물이 없었다면 전체 디지털 동영상 생태계가 초당 60프레임으로 업그레이드된 것처럼 보였을 것입니다. 인터넷 동영상의 초창기인 2004년 VloggerCon과 2005년 YouTube에 첫 동영상이 게시된 이후 인터넷과 기업 네트워크를 통해 스트리밍되는 동영상은 초당 30프레임으로 제한되어 있었습니다.

온라인 비디오가 따라잡을 때입니다. 

2015년에는 지난 10년간의 추세가 꺾이고 있습니다. 몇 달 전, YouTube는 60fps 동영상을 제한적으로 지원한다고 발표했습니다(Google의 Chrome 브라우저에서만 볼 수 있음). 그리고 지난주에는 Panopto가 모든 웹 브라우저와 모바일 기기에서 60fps를 지원하는 최초의 동영상 플랫폼이 되었다고 발표했습니다. 이 포스팅에서는 60fps가 더 나은 재생 환경을 제공하는 이유, 기업 및 대학에서 60fps 동영상을 사용하는 몇 가지 사례, 온라인 동영상이 30fps로 부자연스럽게 스로틀되는 이유, Panopto에서 동영상 플랫폼에 60fps를 구현한 방법에 대해 살펴봅니다. 또한 온라인 스트리밍이 얼마나 좋은지 보여줄 수 있는 60fps 동영상 샘플도 몇 개 준비되어 있습니다.

60fps란 무엇이며, 더 나은 경험을 제공하는 이유는 무엇인가요?

동영상 시청은 학습된 불신의 정지입니다.

동영상을 볼 때 우리는 실제로 부드러운 움직임을 보는 것이 아닙니다. 우리는 단지 움직임이 있다고 믿도록 우리의 마음을 속이는 정지 이미지의 빠른 시퀀스를 보고 있을 뿐입니다. 그런 의미에서 동영상은 고도로 정교한 디지털 플립북에 불과합니다.

YouTube의 초기 개념 

플립북을 빠르게 넘길수록 움직임이 더 부드럽게 나타납니다. 마찬가지로 비디오의 프레임 속도(초당 프레임 수 또는 'fps' 단위로 측정)가 높을수록 인식되는 움직임이 더 부드러워집니다. 그리고 인식되는 움직임이 부드러울수록 동영상이 더 생생하게 보입니다.

비디오의 목적은 가능한 한 가장 충실하게 촬영된 현실을 표현하는 것입니다. 따라서 비디오의 프레임 속도를 높이면 실제 세계에서 우리 눈이 자연스럽게 보는 부드러운 움직임에 더 가깝게 표현되기 때문에 화질이 더 좋아 보입니다.

그러나 초당 60프레임은 두 가지 이유에서 독특한 벤치마크입니다.

첫째, 대부분의 사람들이 재생의 부드러움에서 차이를 느낄 수 있는 최고 프레임 속도입니다. 60fps를 초과하는 프레임 속도에서는 사람의 인지 능력이 점점 감소합니다. 60프레임과 120프레임 재생의 차이를 구분할 수 있는 사람은 거의 없기 때문에 일반적으로 60프레임 이상의 프레임 속도는 슬로모션으로 시청하는 동영상에만 적합합니다.

둘째, 대부분의 사람들이 초당 60프레임과 그 이상의 프레임 속도를 구분할 수 있다고 해도 오늘날 데스크톱, 노트북, 모바일 디바이스의 화면은 그 차이를 구분하는 데 한계가 있습니다. CRT 및 LCD 모니터는 60Hz로 새로 고쳐집니다. 즉, 초당 60회 화면 이미지를 업데이트합니다. 따라서 60fps로 동영상을 스트리밍하면 화면의 최대 재생률과 완벽하게 일치하게 됩니다.

프레임 속도가 증가함에 따라 동영상이 어떻게 더 부드럽고 생생해지는지 보여주는 예로, 아래 동영상은 세 가지 프레임 속도로 촬영되었습니다. 첫 번째 부분은 15fps로, 두 번째 부분은 30fps로, 마지막 부분은 60fps로 녹화했습니다.

15, 30, 60fps 동영상 스트리밍 예시 

스포츠와 비디오 게임만 위한 것이 아닙니다.

하이 프레임 레이트(HFR) 동영상은 소비자 대상 미디어, 특히 비디오 게임과 스포츠 방송에 사용되는 것으로 가장 잘 알려져 있습니다. 이 두 장르는 모션이 많고 부드러운 동영상 재생의 이점을 강조하기 때문에 60fps의 이점을 누려왔습니다.

하지만 HFR 비디오는 소비자 부문에만 도움이 되는 것은 아닙니다. 높은 프레임 속도는 동영상을 더욱 생생하게 보이게 하기 때문에 기업 및 대학에서 녹화하는 거의 모든 유형의 미디어 품질을 향상시킬 수 있는 잠재력을 가지고 있습니다.

제조 현장의 공정을 촬영하는 산업용 비디오를 생각해 보십시오. Point Grey에서 제공하는 것과 같은 산업용 카메라는 수년 동안 HFR 비디오 캡처를 지원해 왔습니다. 이제 비디오 플랫폼에서 기본적으로 HFR을 지원하므로 관리자는 녹화 또는 라이브 스트리밍 비디오를 이전보다 훨씬 더 자세히 볼 수 있습니다.

초당 60프레임으로 촬영한 산업 기계 영상 

의료 영상은 1/60초 만에 생물학적 이벤트가 발생할 수 있는 HFR 비디오의 이점도 있습니다. 비디오 플랫폼이 60fps로 캡처하지 않으면 프레임 사이에 중요한 이벤트를 놓칠 수 있습니다.

모든 종류의 애니메이션은 고프레임률 비디오 재생으로 눈에 띄게 개선됩니다. 의료용 애니메이션을 더욱 정밀하게 볼 수 있으며 CAD 시뮬레이션을 통해 모델을 더욱 실감나게 렌더링할 수 있습니다. 아래 예시에서는 방송 품질의 의료용 애니메이션을 위한 HFR 비디오의 잠재력을 보여주는 Blausen Medical의 사례를 살펴봅니다.

블라우센 메디컬에서 제공하는 60fps 의료용 애니메이션 

위의 첫 번째 예에서 볼 수 있듯이, 평범한 '말하는 머리' 동영상도 초당 60프레임에서는 눈에 띄게 좋아 보입니다. 기조연설, 경영진 커뮤니케이션, 라이브 스트리밍 이벤트부터 건축 동영상, 대학 강의, 과학 실험실에 이르기까지 모든 분야에서 60fps는 지난 10년간 우리가 익숙해져 온 "충분히 좋은" 온라인 피드보다 기업 및 학술 기관에 더 부드럽고 선명한 비디오를 제공하여 HDTV 방송과 같은 느낌을 줍니다.

하지만 30fps가 '충분하다'고 인식된다면 기업과 대학에 60fps가 정말 필요할까요?

저희는 이 질문을 다른 각도에서 바라보았습니다: 우리 기술 스택에 60fps를 지원할 수 있는 기능이 있으며, 이를 구현하면 고객에게 도움이 될까요?

사실 오늘날의 동영상 캡처, 처리 및 전송 기술은 높은 프레임 속도를 지원할 준비가 되어 있습니다. 또한 60fps는 미디어 저장 및 스트리밍 비용을 증가시키지 않기 때문에(동영상 파일 크기는 비트레이트와 길이의 산물입니다), 모든 기업이나 대학에서 누구나 끊김이 심한 15fps 동영상에서 버터처럼 부드러운 60fps까지 선택할 수 있어야 한다고 믿습니다.

그렇다면 온라인 동영상은 왜 오랫동안 30fps로 제한되어 왔을까요?

최근 네트워크 대역폭과 CPU 처리 능력의 발전에도 불구하고 60fps를 달성하는 것은 쉬운 일이 아닙니다.

라이브 또는 온디맨드 온라인 스트리밍에 HFR을 지원하려면 캡처 지점에서 시작하여 재생 지점에서 끝나는 일련의 성능이 뛰어난 기술이 필요합니다:

• 좋은 카메라 센서. 동영상 캡처 장치는 초당 60프레임으로 동영상을 샘플링할 수 있는 광 수집 기능과 타이밍을 갖춰야 합니다. 이는 모든 전문가용 비디오 카메라는 물론 대부분의 일반 소비자용 캠코더와 DSLR 카메라에서도 가능하지만, 로지텍 및 Microsoft와 같은 공급업체의 웹캠은 여전히 60fps를 구현하지 못합니다.
• 카메라에서 컴퓨터로의 빠른 파이프. HFR이 가능한 카메라 센서가 있더라도 컴퓨터와의 연결이 병목 현상을 일으킬 수 있습니다. 특히 카메라는 초당 60프레임으로 컴퓨터로 정보를 전달할 수 있어야 하는데, 이 때문에 USB 2.0은 하이 프레임 레이트 비디오를 지원하지 않습니다. 전송 속도가 480Mbps인 USB 2.0 파이프는 초당 60프레임의 비압축 비디오를 컴퓨터에 전송하기에 충분하지 않습니다. 반면, 최대 5Gbps의 속도를 지원하는 USB 3.0은 이를 가능하게 합니다.
• 효율적인 메모리 관리 및 압축. 프레임이 컴퓨터에 도착하면 비디오 플랫폼의 인코딩 파이프라인으로 전송되어 메모리에 로드되고 처리된 다음 메모리에서 플러시됩니다. 메모리 할당, 프레임 압축, 메모리 할당 해제 프로세스는 프레임 누락을 방지하기 위해 매우 효율적이어야 합니다. 또한 적응형 비트레이트 스트리밍을 위해 여러 비트레이트로 인코딩할 계획이라면 비디오의 각 프레임에 대해 인코딩 파이프라인이 한 번이 아니라 서너 번 처리한 후 다음 프레임을 처리해야 합니다.
• 효율적인 재생. 마지막으로, 유선을 통해 스트리밍된 HFR 비디오는 클라이언트에서 압축을 풀고 일반적으로 웹 브라우저에서 화면에 표시해야 합니다. 초당 60프레임의 속도로 유선에서 프레임을 가져와 화면 자체의 새로고침 속도와 동일하게 화면에 표시하려면 클라이언트 기술(플래시든 HTML5든)이 놀라울 정도로 생산적으로 작동해야 합니다.

요컨대, 온라인 스트리밍은 60fps를 달성하기 어렵기 때문에 10년 넘게 30fps로 제한되어 왔습니다. 하드웨어 제조업체도 어렵고 동영상 소프트웨어 제공업체도 어렵습니다. 하지만 네트워크 속도가 점점 빨라지고 프로세서가 더욱 강력해짐에 따라 온라인 비디오의 60fps 표준은 피할 수 없는 대세입니다. 사실 HFR 온라인 동영상은 2년 전, Blender Foundation과 야누스 크리스텐슨이 60fps의 상징적인 애니메이션인 빅벅 버니를 공개했을 때 이미 테스트 중이었습니다.

빅 벅 버니 - 60fps 온라인 스트리밍의 가능성을 보여준 초기 사례 

Panopto의 온라인 비디오 플랫폼에서 60fps 사용

Panopto의 비디오 플랫폼에 최신 업데이트를 통해 HFR 비디오 녹화, 라이브 스트리밍 및 업로드를 지원하도록 구현했습니다. 즉, 이제 Windows 데스크톱 또는 노트북에서 Panopto 고객은 캠코더, 문서용 카메라, 의료용 영상 장치, 산업용 카메라 또는 고프레임률 캡처를 지원하는 기타 미디어 캡처 소스로부터 초당 최대 60프레임으로 동영상을 캡처할 수 있습니다. 또한 iPhone이나 현장의 전문 비디오 카메라로 촬영한 동영상과 같이 미리 녹화된 동영상을 Panopto의 비디오 콘텐츠 관리 시스템에 업로드하면 모든 데스크톱 또는 노트북에서 60fps 재생이 가능하도록 인코딩할 수 있습니다.

또한 동영상 팟캐스트의 새로운 1080p60 화질 설정을 통해 모바일 디바이스에서도 60fps로 동영상을 스트리밍할 수 있습니다.

60fps 동영상을 녹화, 라이브 스트리밍 및 Panopto에 업로드하세요. 

당사의 동영상 플랫폼은 다음과 같은 조합을 통해 높은 프레임률의 스트리밍을 구현합니다:

• 프레임 드롭을 최소화하면서 멀티 비트레이트 60fps를 지원하기 위해 인코딩 스택의 성능을 세심하게 조정했습니다.
• 비디오 카메라 및 기타 미디어 소스가 Panopto 캡처 PC에 고품질 HFR 비디오를 전송하는 데 중요한 업스트림 장치 기능에 대한 깊은 인식과 효과적인 협상이 필요합니다.
• 플래시 및 HTML5 기반 동영상 컨트롤을 자바스크립트로 래핑하는 동영상 플레이어 코드 최적화.

고객들이 프레젠테이션과 강의를 60fps로 촬영하기 시작하고 YouTube 및 기타 동영상 플랫폼이 새로운 벤치마크를 지원함에 따라 지식 공유와 소통을 위한 매체로서 동영상의 사용은 더욱 가속화될 것입니다. 온라인 동영상의 이러한 진화에 동참하게 되어 기쁘게 생각하며, 여러분이 HFR로 무엇을 캡처할지 기대됩니다.

그 동안, 현재 Panopto Cloud에서 스트리밍 중인 60fps 동영상 샘플을 몇 개 더 소개합니다.

NASA의 MMS 임무 개요 

제시 버논이 밴조로 블랙베리 블라썸을 연주하는 방법을 알려드립니다. 

... 그리고 스타워즈 팬 여러분을 위해 "깨어난 포스"의 60프레임 예고편을 소개합니다.