60fpsはどこにでもある...オンラインを除いて。

近所のBest Buyのビデオカメラ売り場を歩いていると、60fpsで記録されていないHDカムコーダーを見つけるのは困難になってきています。医療用画像処理機器や産業用キャプチャ機器、GoProなどのアクションカム、iPhone 6やSamsung Galaxy Note 4などのモバイル機器など、その他の動画撮影機器でも同じことが言えます。

私たちが家庭やオフィスで映像を見るときに使う機器も60fpsに対応しています。ハイビジョンテレビ、ノートパソコンやデスクトップパソコンのモニター、タブレット、スマートフォンなどは、一般的に最大60フレーム/秒の再生に対応しています。

Xbox One」や「Playstation 4」をはじめとするビデオゲームは、60fpsでの再生を前提に開発されることが多くなっています。

そして近年、ESPN、ABC、FOXなどの大手メディアが、720p/60(1280×720の解像度で60fps)でチャンネルを放送するようになりました。

デジタルビデオのエコシステム全体が秒間60フレームにアップグレードされたかのように見えますが、1つだけ注目すべき点があります。 2004年のVloggerCon や2005年のYouTube が最初のビデオを投稿した など、インターネットビデオの黎明期から、インターネットや企業のネットワーク上で配信されるビデオは、毎秒30フレームというわずかなフレーム数に制限されていました。

Panopto社の60fpsオンラインストリーミングビデオプラットフォームオンライン・ビデオに追いつく時が来た
 

2015年、その10年来のトレンドに逆行することになりました。数ヶ月前、YouTubeは60fpsビデオの限定的なサポートを発表しました(GoogleのChromeブラウザでのみ表示可能)。そして先週、 Panoptoが発表した 、私たちのビデオプラットフォームは、すべてのウェブブラウザとモバイルデバイスで60fpsをサポートする最初のものとなりました。この記事では、なぜ60fpsがより良い再生体験を提供するのか、ビジネスや大学での60fpsビデオの使用例、オンラインビデオが30fpsで不自然にスロットルされてきた理由、そしてPanoptoがどのようにしてビデオプラットフォームに60fpsを実装したのかを見ていきます。また、60fpsビデオのサンプルもご用意しておりますので、オンラインストリーミングの良さを実感していただけると思います。

60fpsとは何か、何が優れているのか。

ビデオを見ることは、学習した不信感を抱くことです。

私たちがビデオを見るとき、実際には滑らかな動きを見ているわけではありません。動きがあるように見せかけた静止画の連続を見ているだけなのだ。その意味で、ビデオは高度に洗練されたデジタルフリップブックに過ぎません。

ハイフレームレートビデオYouTubeの初期コンセプト
 

フリップブックは、速くめくるほど動きが滑らかに見えます。同様に、動画のフレームレート(fps)が高いほど、動きが滑らかに感じられます。動きが滑らかであればあるほど、よりリアルな映像になります。

それが映像の目的であり、記録された現実をできるだけ忠実に表現することです。つまり、映像のフレームレートを上げれば上げるほど、私たちの目が自然に見ている滑らかな動きに近づけることができ、映像の質が向上するのです。

しかし、60フレーム/秒というのは、2つの理由からユニークなベンチマークです。

まず、再生の滑らかさの違いを多くの人が認識できる最高のフレームレートです。60fpsを超えるフレームレートでは、人間の知覚が限界に達してしまいます。60fpsと120fpsの違いを認識できる人はほとんどいないので、60fpsを超えるフレームレートは、一般的にはスローモーションで見ることを前提とした映像にのみ適しています。

第二に、仮に多くの人が毎秒60フレームとそれ以上のフレームレートの違いを認識できたとしても、現在の私たちはデスクトップやノートパソコン、モバイル機器の画面に制限されています。ブラウン管や液晶モニターは60Hzで更新される。つまり、1秒間に60回、画面の画像を更新する。つまり、60fpsでビデオをストリーミングすると、スクリーンの最大リフレッシュレートと完全に一致することになります。

フレームレートが上がると映像がより滑らかでリアルになる例として、下の動画は3つの異なるフレームレートで撮影されています。最初の部分は15fps、2番目の部分は30fps、最後の部分は60fpsで撮影されています。

15-30-60fpsのサムネイル - Panopto Video Platform15、30、60fpsのビデオストリーミングの例
 

スポーツやビデオゲームだけではありません。

ハイフレームレート(HFR)ビデオは、一般消費者向けのメディア、特にビデオゲームやスポーツ中継などでよく知られています。これらのジャンルは、動きの多い映像であるため、60fpsの恩恵を受けており、スムーズな映像再生のメリットが強調されています。

HFRビデオのメリットは、コンシューマー向けだけではありません。ハイフレームレートは映像をよりリアルに見せることができるため、企業や大学で記録されるほぼすべてのメディアの品質向上につながる可能性があります。

製造現場のプロセスを撮影した産業用ビデオを考えてみましょう。 Point Grey が提供しているような産業用カメラは、何年も前からHFRビデオの撮影に対応しています。今回、映像プラットフォームでHFRがネイティブにサポートされたことで、管理者は録画した映像やライブストリーミングの映像を、これまで以上に詳細に見ることができるようになります。

産業機械 60fps60コマ/秒で撮影された産業機械
 

医療画像もHFRビデオの恩恵を受けており、生物学的事象は60分の1秒で発生します。もし、ビデオプラットフォームが60fpsでキャプチャーできなければ、フレーム間の重要なイベントを見逃すことになります。

ハイフレームレートでの動画再生により、あらゆるアニメーションの見やすさが向上します。医療用のアニメーションはより正確に見ることができ、CADシミュレーションではモデルをよりリアルに表現することができます。下の例では、 Blausen Medical が、放送品質の医療用アニメーションにおけるHFRビデオの可能性を示しています。

Blausen 60fps - Panopto Video Platform60fpsの医療用アニメーションをBlausen Medical社が提供
 

上の最初の例が示すように、ありふれた「話し手」のビデオでも、60フレーム/秒では明らかに見栄えが良くなります。基調講演、幹部のコミュニケーション、ライブストリーミングイベントから、建築物のビデオ、大学の講義、科学研究室まで、60fpsの映像は、企業や学術機関にとって、よりスムーズでシャープな映像を提供し、過去10年間に慣れ親しんだ「十分な」オンラインフィードよりもHDTV放送のように感じられます。

しかし、30fpsで十分だと思われているなら、企業や大学に60fpsは本当に必要なのでしょうか?

私たちはこの問題を別の角度から考えてみました。 当社の技術スタックには60fpsをサポートする能力があるのか、そしてそれを導入した場合、お客様にメリットがあるのか。

実は、現在のビデオキャプチャ、処理、配信技術は、ハイフレームレートに対応しています。また、60fpsはメディアの保存やストリーミングのコストを増加させないため(ビデオファイルのサイズはビットレートと時間の積で決まる)、企業や大学の誰もが、15fpsのぎこちない映像から60fpsの滑らかな映像へとノブを上げるオプションを持つべきだと考えています。

しかし、なぜオンラインビデオはこれまで30fpsに制限されていたのでしょうか?

近年、ネットワークの帯域やCPUの処理能力が向上したとはいえ、60fpsを実現するのは容易ではありません。

ライブやオンデマンドのオンラインストリーミングでHFRをサポートするためには、キャプチャの時点から再生の時点まで、一連の有能な技術が必要です。

  • 良いカメラセンサーです。 ビデオキャプチャデバイスには、毎秒60フレームでビデオをサンプリングできる集光能力とタイミングが必要です。プロ用のビデオカメラはもちろん、民生用のビデオカメラやデジタル一眼レフカメラのほとんどがこれを可能にしていますが、ロジテックやマイクロソフトなどのウェブカメラではまだ60fpsを実現できません。
  • カメラからパソコンへの高速パイプ HFR対応のカメラセンサーを搭載していても、パソコンとの接続がボトルネックになることがあります。具体的には、カメラは1秒間に60フレームでパソコンに情報を伝える必要があり、そのためUSB 2.0はハイフレームレートの映像には対応していません。USB 2.0の転送速度は480Mbpsであり、1秒間に60コマの非圧縮映像をパソコンに送るには、USB 2.0のパイプは十分ではありません。これに対し、最大5Gbpsの転送速度を持つUSB 3.0は、それを可能にします。
  • 効率的なメモリ管理と圧縮。 お客様のコンピュータに届いたフレームは、ビデオプラットフォームのエンコーディングパイプラインに送られ、メモリに読み込まれ、処理された後、メモリから消去されます。フレームが取りこぼされないようにするためには、メモリの確保、フレームの圧縮、メモリの解放のプロセスを非常に効率的に行う必要があります。また、アダプティブ・ビットレート・ストリーミングのために複数のビットレートをエンコードする場合、ビデオの各フレームをエンコードするパイプラインは、次のフレームを処理するまでに、1回だけでなく3〜4回も処理する必要があります。
  • 効率的な再生。 最後に、有線でストリーミングされたHFRビデオは、クライアントでアンパックされ、通常はWebブラウザで画面に表示される必要があります。毎秒60フレームの場合、FlashであれHTML5であれ、クライアントの技術は、画面が更新されるのと同じ速度で、ワイヤからフレームを取り出して画面に表示するために、非常に生産的に働く必要があります。

要するに、60fpsを実現するのは難しいため、オンラインストリーミングは10年以上にわたって30fpsに制限されてきました。ハードウェアメーカーにとっても、ビデオソフトウェアプロバイダーにとっても、60fpsを実現することは難しいのです。しかし、ネットワークの速度が速くなり、プロセッサの性能が向上すれば、オンラインビデオの60fps化は避けられません。実際、2年前には、Blender FoundationとJanus Kristensenが、60fpsアニメーションの代表作となった「Big Buck Bunny」をリリースしたときに、HFRオンラインビデオのテストが行われていました。

ビッグ・バック・バニービッグ・バック・バニー - 60fpsのオンライン・ストリーミングの可能性を示す初期の例
 

Panoptoのオンラインビデオプラットフォームで60fpsを実現

Panopto社の ビデオプラットフォーム の最新のアップデートでは、HFRビデオの録画、ライブストリーミング、アップロードのサポートを実装しました。これにより、Panoptoのお客様は、Windowsのデスクトップやラップトップから、ビデオカメラ、ドキュメントカメラ、医療用画像処理装置、産業用カメラ、その他のハイフレームレートキャプチャをサポートするメディアキャプチャソースから、毎秒最大60フレームのビデオをキャプチャすることができるようになりました。また、iPhoneや現場のプロ用ビデオカメラで撮影したような録画済みのビデオを、Panoptoの ビデオコンテンツ管理システム( )にアップロードして、デスクトップやラップトップで60fpsの再生ができるようにエンコードできるようになりました。

また、ビデオポッドキャストに1080p60の画質設定を追加したことで、モバイル機器でも60fpsでのストリーミングが可能になりました。

60fpsビデオストリーミング - Panopto Video Platform60fpsの動画を録画、ライブストリーミング、Panoptoへのアップロードが可能。
 

私たちのビデオプラットフォームは、以下の組み合わせにより、高フレームレートのストリーミングを実現しています。

  • エンコーディングスタックのパフォーマンスチューニングを入念に行い、フレームドロップを最小限に抑えたマルチビットレート60fpsをサポートしています。
  • ビデオカメラやその他のメディアソースからPanoptoのキャプチャーPCに高品質なHFRビデオを確実に配信するために重要な、アップストリームデバイスの機能についての深い認識と効果的な交渉。
  • FlashやHTML5ベースのビデオコントロールをJavaScriptでラップしたビデオプレーヤーコードの最適化。

当社のお客様がプレゼンテーションや講義を60fpsで撮影するようになり、YouTubeや他のビデオプラットフォームが新しいベンチマークに対応するようになると、知識の共有やコミュニケーションのためのメディアとして、ビデオの使用が加速します。私たちは、オンラインビデオの進化の一翼を担えることを嬉しく思います。また、お客様がHFRで撮影されることを楽しみにしています。

なお、現在Panopto Cloudから配信されている60fpsのサンプル動画をいくつかご紹介します。

NASA MMS 60fps - Panopto Video PlatformNASAのMMSミッションの概要
 

60fpsThumbnail-Jesse - Panopto Video PlatformバンジョーでBlackberry Blossomを演奏するJesse Vernon氏
 

スターウォーズのサムネイル...そして、スターウォーズファンの皆様には、"フォースの覚醒 "の60fpsの予告編をお届けします。
 

 

YouTubeにはない魅力がある

最新のウェビナーでは、なぜPanoptoが動画を安全にホスティングおよびストリーミングするための優れた選択肢なのかをご紹介しています。