- エンタープライズIT/AV
60fps：オンラインビデオストリーミングの新たなベンチマーク
60fpsはどこでも...オンラインを除く
お近くのベストバイのビデオカメラ売り場を散策してみると、毎秒60フレーム（fps）で記録されていないHDビデオカメラを見つけるのはますます難しくなっている。医療用画像機器や産業用キャプチャ機器、GoProのようなアクションカム、iPhone 6やサムスン・ギャラクシーノート4のようなモバイル機器など、他のビデオ録画機器も同様だ。
私たちが家庭やオフィスでビデオを見るために使っている機器も60fpsをサポートしている。ハイビジョンテレビ、ラップトップやデスクトップのモニター、タブレット、スマートフォンは、一般的に60フレーム/秒までの再生に対応している。
ビデオゲーム、特にXbox OneやPlaystation 4向けに開発されたゲームは、60fps再生に対応したものが増えている。
そして近年、ESPN、ABC、FOXといった大手メディア企業が、720p/60（解像度1280×720、60fps）でチャンネルを放送するようになった。
デジタル・ビデオのエコシステム全体が毎秒60フレームにアップグレードされたように見えるが、オンライン・ビデオだけは例外だ。2004年のVloggerCon、2005年のYouTubeへの最初の動画投稿など、インターネット動画の黎明期から、インターネットや企業ネットワークでストリーミングされる動画は、わずか30フレーム/秒に制限されてきた。
オンライン・ビデオが追いつく時が来た
2015年、この10年にわたる傾向に変化が生じている。数ヶ月前、YouTubeは60fps動画の限定的なサポートを発表した（Google Chromeブラウザでのみ視聴可能）。そして先週、Panopto 自社の動画プラットフォームが、全てのウェブブラウザとモバイルデバイスで60fpsをサポートする初のプラットフォームとなったことをPanopto 本記事では、60fpsが優れた再生体験を提供する理由、企業や大学における60fps動画の活用事例、オンライン動画が人為的に30fpsに制限されてきた背景、Panopto 自社プラットフォームに60fpsPanopto 手法について解説します。さらに、オンラインストリーミングがどれほど高品質に再生できるかを示す60fps動画サンプルも複数ご用意しています。
60fpsとは何か？
ビデオを見ることは、学習された不信の停止である。
私たちがビデオを見るとき、実際には滑らかな動きを見ているわけではない。私たちは、静止画の高速シーケンスを見るだけで、あたかも動きがあるかのように私たちの心を騙しているのだ。その意味で、ビデオは高度に洗練されたデジタル・フリップブックに過ぎない。
YouTubeの初期のコンセプト
フリップブックをめくる速度が速いほど、動きが滑らかに見える。同様に、ビデオのフレームレート（1秒あたりのフレーム数、「fps」で測定）が高いほど、知覚される動きは滑らかになります。そして、知覚される動きが滑らかであればあるほど、ビデオはよりリアルに見える。
それは間違いなくビデオの目的である、記録された現実を可能な限り忠実に表現することだ。そのため、ビデオのフレームレートを上げると、私たちの目が現実世界で自然に見ている滑らかな動きに近くなるため、その品質がより良く見えるのです。
しかし、60フレーム/秒は、2つの理由からユニークなベンチマークである。
まず、ほとんどの人が再生の滑らかさの違いを知覚できる最高のフレームレートである。60fpsを超えるフレームレートでは、人間の知覚は逓減していきます。60fpsと120fpsの再生の違いを見分けられる人はほとんどいないため、60fpsを超えるフレームレートは、一般的にスローモーションで見ることを意図したビデオにのみ望ましい。
第二に、たとえ多くの人が毎秒60フレームとそれ以上のフレームレートの違いを見分けることができたとしても、私たちは今日、デスクトップ、ラップトップ、モバイル機器の画面によって制限されている。CRTやLCDモニターは60Hzでリフレッシュする。つまり、画面上の画像を1秒間に60回更新する。つまり、60fpsでビデオをストリーミングすると、画面の最大リフレッシュ・レートに完全に一致することになります。
フレームレートが上がるにつれて映像がより滑らかでリアルになる例として、下の映像は3つの異なるフレームレートで撮影されている。最初の部分は15fps、2番目の部分は30fps、最後の部分は60fpsで撮影されている。
15、30、60fpsビデオストリーミングの例
スポーツやビデオゲームだけじゃない
ハイフレームレート（HFR）ビデオは、消費者向けメディア、特にビデオゲームやスポーツ中継での使用で最もよく知られている。これらのジャンルはどちらも動きが激しく、スムーズなビデオ再生の利点を強調するため、60fpsの恩恵を受けている。
しかし、HFRビデオが恩恵を受けるのは消費者層だけではない。高フレームレートは動画をよりリアルに見せるため、企業や大学で記録されるほぼすべての種類のメディアの品質を向上させる可能性がある。
製造現場のプロセスをキャプチャする産業用ビデオについて考えてみよう。ポイントグレイが提供するような産業用カメラは、何年も前からHFRビデオのキャプチャをサポートしてきた。現在、ビデオ・プラットフォームでHFRがネイティブにサポートされているため、管理者は録画したビデオやライブ・ストリーミング・ビデオを、これまで不可能だったほど詳細に見ることができる。
毎秒60フレームで撮影された産業機械
医療用画像処理もHFRビデオの恩恵を受け、生物学的事象が1/60秒で発生することがあります。ビデオプラットフォームが60fpsでキャプチャしなければ、重要なイベントがフレーム間で見逃される可能性がある。
ハイフレームレートビデオ再生により、あらゆる種類のアニメーションが目に見えて改善されます。医療用アニメーションはより正確に見ることができ、CADシミュレーションはモデルをよりリアルにレンダリングします。下の例では、Blausen Medicalが、放送品質の医療用アニメーションにおけるHFRビデオの可能性を示しています。
60fpsの医療用アニメーション（Blausen Medical提供
そして、上の最初の例が示すように、ありふれた「トーキングヘッド」ビデオでさえ、60fpsの方が明らかに良く見えます。基調講演、エグゼクティブコミュニケーション、ライブストリーミングイベントから、建築ビデオ、大学の講義、科学研究室まで、あらゆる場合において、60fpsは、企業や学術機関にとって、過去10年間に慣れ親しんだ「十分な」オンラインフィードよりも、HDTV放送のように感じられる、よりスムーズでシャープなビデオを提供します。
しかし、30fpsが "十分 "と認識されているのなら、企業や大学は本当に60fpsが必要なのだろうか？
私たちはこの質問を別の角度から見てみた：我々の技術スタックには60fpsをサポートする能力があるのか。
実際のところ、今日のビデオキャプチャ、処理、配信技術は、高フレームレートに対応しています。また、60fpsはメディアの保存やストリーミングのコストを増加させないため（ビデオファイルのサイズはビットレートと時間の産物である）、どのような企業や大学でも、15fpsのぎこちないビデオから、バターのように滑らかな60fpsまでノブをダイヤルアップするオプションがあるべきだと私たちは信じています。
しかし、なぜオンラインビデオは長い間30fpsに制限されてきたのか？
最近のネットワーク帯域幅やCPUの処理能力の進歩をもってしても、60fpsを達成するのは些細なことではない。
ライブまたはオンデマンドのオンラインストリーミングでHFRをサポートするには、キャプチャの時点から始まり、再生の時点で終わる一連の有能な技術が必要である：
- 優れたカメラセンサー。ビデオキャプチャデバイスには、毎秒60フレームでビデオをサンプリングするための集光能力とタイミングが必要です。これは、プロ用ビデオカメラはもちろん、ほとんどのコンシューマー用ビデオカメラやデジタル一眼レフカメラでも可能ですが、ロジテックやマイクロソフトなどのウェブカメラは、まだ60fpsを実現できていません。
- カメラからコンピュータへの高速パイプ。HFRに対応したカメラセンサーを搭載していても、コンピューターとの接続がボトルネックになることがあります。具体的には、カメラは毎秒60フレームでコンピュータに情報を中継する必要があり、このためUSB 2.0はハイフレームレートビデオをサポートしていません。転送速度480MbpsのUSB 2.0パイプは、毎秒60フレームの非圧縮ビデオをコンピュータに送るには十分なサイズではありません。これに対し、USB 3.0は最大5Gbpsの転送速度を実現します。
- 効率的なメモリ管理と圧縮。これらのフレームがコンピュータに届くと、ビデオプラットフォームのエンコーディングパイプラインに送られ、そこでメモリにロードされ、処理された後、メモリからフラッシュされる。メモリの割り当て、フレームの圧縮、メモリの割り当て解除のプロセスは、フレームの取りこぼしを防ぐために非常に効率的でなければならない。また、アダプティブ・ビットレート・ストリーミングのために複数のビットレートをエンコードすることを計画している場合、ビデオの各フレームに対して、エンコード・パイプラインは、次のフレームを処理するために移動する前に、1回ではなく3、4回処理する必要がある。
- 効率的な再生。最後に、有線でストリーミングされたHFRビデオは、クライアントで解凍され、画面上に表示される必要がある。毎秒60フレームでは、クライアント・テクノロジーは、それがFlashであれHTML5であれ、ワイヤからフレームを取得し、画面自体が更新されるのと同じ速度で画面に表示するために、非常に生産的に動作する必要があります。
要するに、60fpsを実現するのは難しいため、オンラインストリーミングは10年以上にわたって30fpsに制限されてきた。ハードウェア・メーカーにとっても、ビデオ・ソフトウェア・プロバイダーにとっても難しい。しかし、ネットワークのスピードが速くなり、プロセッサーの性能が上がるにつれ、オンラインビデオの60fps標準化は避けられない。実際、HFRオンラインビデオは、Blender FoundationとJanus Kristensenが60fpsアニメーションの象徴となったBig Buck Bunnyをリリースした2年前には、早くもテストされていた。
Big Buck Bunny - 60fpsオンラインストリーミングの可能性を示す初期の例。
Panoptoオンライン動画プラットフォームにおける60fps
Panopto のビデオプラットフォーム最新アップデートにより、高フレームレート（HFR）動画の録画・ライブストリーミング・アップロード機能をサポートしました。これにより、WindowsデスクトップまたはノートPCから、あらゆるカムコーダー、ドキュメントカメラ、医療用画像装置、産業用カメラ、その他高フレームレート撮影に対応するメディアキャプチャソースに対し、最大60フレーム/秒での動画キャプチャPanopto また、iPhoneや現場のプロ用ビデオカメラなどで事前に録画した動画も、Panopto 動画コンテンツ管理システムにアップロード可能です。アップロードされた動画は、あらゆるデスクトップやノートパソコンで60fps再生できるようエンコードされます。
さらに、ビデオポッドキャスト用の新しい1080p60画質設定により、モバイル機器にも60fpsでビデオをストリーミングできるようになった。
録画、ライブ配信、60fpsの動画をPanoptoにアップロード
当社のビデオ・プラットフォームは、以下の組み合わせによって高フレームレートのストリーミングを実現している：
- エンコーディングスタックの入念なパフォーマンスチューニングにより、フレームドロップを最小限に抑えながらマルチビットレート60fpsをサポート。
- 上流デバイスの機能に対する深い理解と効果的な調整は、ビデオカメラやその他のメディアソースが高品質なPanopto に確実に配信するために極めて重要です。
- Flash および HTML5 ベースの動画コントロールを JavaScript でラップする動画プレーヤーのコードの最適化。
当社のお客様がプレゼンテーションや講義を60fpsでキャプチャーし始め、YouTubeや他のビデオプラットフォームが新しいベンチマークへのサポートを展開するにつれて、知識の共有やコミュニケーションのためのメディアとしてのビデオの使用はますます加速するでしょう。私たちは、オンライン・ビデオのこの進化の一翼を担えることをうれしく思っており、皆さんがHFRで何を撮影されるかを楽しみにしています。
その間、現在Panopto からストリーミング配信されている60fps動画のサンプルをいくつかご紹介します。
NASAのMMSミッションの概要
ジェシー・ヴァーノンがバンジョーでブラックベリー・ブロッサムの弾き方を披露する。
...そしてスター・ウォーズファンのために、『フォースの覚醒』の60fps予告編をどうぞ。