60fpsは至る所で見られる……オンラインを除いて

お近くのベストバイのビデオカメラ売り場をぶらりと見て回ると、毎秒60フレーム（fps）で録画できないHDビデオカメラを見つけるのがますます難しくなっていることに気づくでしょう。これは、医療用画像診断装置や産業用撮影装置、GoProのようなアクションカメラ、iPhone 6やSamsung Galaxy Note 4のようなモバイル端末など、他の映像記録機器についても同様です。

家庭やオフィスで動画視聴に使用するデバイスも、60fpsに対応しています。HDTV、ノートパソコンやデスクトップPCのモニター、タブレット、スマートフォンは、一般的に毎秒最大60フレームでの再生に対応しています。

ビデオゲーム、とりわけXbox OneやPlayStation 4向けに開発されたものは、60fpsでの再生を前提に開発されるケースが増えている。

また、近年ではESPN、ABC、FOXといった大手メディア各社が、自社のチャンネルを720p/60（解像度1280×720、60fps）で放送するようになりました。

デジタルビデオのエコシステム全体が60fpsへと移行したかのように見えますが、一つだけ顕著な例外があります。それはオンライン動画です。インターネット動画の黎明期――2004年の「VloggerCon」や、2005年にYouTubeに最初の動画が投稿された頃――以来、インターネットや企業内ネットワークを通じて配信される動画のフレームレートは、わずか30fpsに制限されたままでした。

オンライン動画が追いつく時が来た 

2015年、この10年にわたる傾向に変化の兆しが見えています。数ヶ月前、YouTubeは60fps動画の限定的なサポートを発表しました（GoogleのChromeブラウザでのみ視聴可能）。そして先週、Panopto 、当社の動画プラットフォームがすべてのウェブブラウザおよびモバイルデバイスで60fpsをサポートする初のプラットフォームとなったことをPanopto 。 本記事では、60fpsがなぜより優れた再生体験をもたらすのか、企業や大学における60fps動画の活用事例、オンライン動画が不自然に30fpsに制限されてきた理由、Panopto 自社の動画プラットフォームに60fpsPanopto 方法について解説します。また、オンラインストリーミングがどれほど高品質になるかを実感していただけるよう、60fpsの動画サンプルもいくつかご用意しました。

60fpsとは何か、そしてなぜそれがより良い体験をもたらすのか？

動画を見ることは、現実を一時的に忘れさせることを身につけた行為である。

私たちが動画を見ているとき、実際には滑らかな動きを見ているわけではありません。単に、静止画が高速で連続して表示されることで、脳が動きがあると錯覚しているに過ぎないのです。その意味で、動画とは、高度に洗練されたデジタル版めくり絵に過ぎないのです。

YouTubeの初期のコンセプト 

パラパラ絵本をめくるスピードが速ければ速いほど、動きは滑らかに見えます。同様に、動画のフレームレート（1秒あたりのフレーム数、つまり「fps」）が高ければ高いほど、動きは滑らかに感じられます。そして、動きが滑らかに感じられるほど、動画はよりリアルに見えます。

おそらく、それが動画の本来の目的であると言えるでしょう。つまり、記録された現実を可能な限り忠実に再現することです。したがって、動画のフレームレートを上げれば、現実世界で私たちの目が自然に捉えている滑らかな動きにより近づくため、画質が向上して見えるのです。

しかし、毎秒60フレームという数値は、2つの理由から特筆すべき基準となる。

まず、60fpsは、ほとんどの人が再生の滑らかさの違いを実感できる最高フレームレートです。60fpsを超えるフレームレートになると、人間の知覚における効果は頭打ちになります。60fpsと120fpsの再生の違いを見分けられる人はごくわずかであり、したがって60fpsを超えるフレームレートは、一般的にスローモーションで視聴することを目的とした動画においてのみ望ましいと言えます。

第二に、たとえ大多数の人が毎秒60フレームとそれ以上のフレームレートの違いを認識できたとしても、現在のところ、デスクトップPC、ノートPC、モバイル端末のディスプレイによって制限されています。CRTやLCDモニターのリフレッシュレートは60Hzです。つまり、画面上の画像は1秒間に60回更新されます。したがって、60fpsで動画をストリーミングする場合、ディスプレイの最大リフレッシュレートと完全に一致することになります。

フレームレートが上がるにつれて映像がより滑らかでリアルになる様子を示す例として、以下の動画は3つの異なるフレームレートで撮影されています。最初の部分は15fps、2番目の部分は30fps、最後の部分は60fpsで撮影されています。

15fps、30fps、60fpsの動画ストリーミングの例 

スポーツやビデオゲームだけじゃない

高フレームレート（HFR）映像は、一般消費者向けのメディア、特にビデオゲームやスポーツ中継での利用で最もよく知られています。これらのジャンルはどちらも動きが激しく、滑らかな映像再生の利点が際立つため、60fpsの恩恵を受けています。

しかし、HFR動画の恩恵を受けるのは消費者向け分野だけではありません。高フレームレートにより映像がよりリアルに見えるため、企業や大学向けに記録されるほぼあらゆる種類のメディアの品質向上にもつながる可能性があります。

製造現場の工程を記録する産業用映像を例に挙げましょう。Point Grey社が提供するような産業用カメラは、長年にわたりHFR（高フレームレート）映像の撮影に対応してきました。現在では、映像プラットフォームがHFRをネイティブでサポートするようになったため、管理者は録画映像やライブ配信映像を、これまで以上に詳細に確認できるようになります。

毎秒60フレームで撮影された産業用機械 

医療用画像診断においても、HFR（高フレームレート）動画は有用です。生物学的現象は1/60秒という短い時間で発生することがあるためです。もし動画プラットフォームが60fpsで撮影できない場合、フレーム間の重要な現象を見逃してしまう可能性があります。

高フレームレート（HFR）での動画再生により、あらゆる種類のアニメーションの画質が明らかに向上します。医療用アニメーションはより精密に確認でき、CADシミュレーションではモデルのレンダリングがよりリアルになります。以下の例では、Blausen Medical社が、放送品質の医療用アニメーションにおけるHFR動画の可能性を紹介しています。

Blausen Medicalが提供する60fpsの医療用アニメーション 

そして、上記の最初の例が示すように、ありふれた「トーク動画」でさえ、60fpsで再生するとその画質の良さが際立ちます。基調講演、経営陣によるメッセージ、ライブ配信イベントから、建築紹介動画、大学の講義、科学実験室の映像に至るまで、60fpsは企業や学術機関に対し、過去10年間に慣れ親しんできた「まあまあ」なオンライン配信とは一線を画し、HDTV放送のような滑らかで鮮明な映像を提供します。

しかし、30fpsで「十分」だと感じられるのであれば、企業や大学は本当に60fpsを必要としているのでしょうか？

私たちはこの問題を別の角度から検討しました。すなわち、当社の技術スタックには60fpsに対応する能力があるのか、そしてそれを実装すれば、顧客にとってメリットとなるのか、という点です。

実のところ、今日の映像の撮影、処理、配信技術は、すでに高フレームレートに対応できる水準に達しています。また、60fpsであってもメディアの保存やストリーミングにかかるコストは増えないため（動画ファイルのサイズはビットレートと再生時間の積で決まるため）、あらゆる企業や大学の誰もが、カクつく15fpsの動画から、滑らかな60fpsの動画へと、自由に切り替えられる選択肢を持つべきだと私たちは考えています。

しかし、なぜオンライン動画はこれほど長い間、30fpsに制限されてきたのでしょうか？

ネットワークの帯域幅やCPUの処理能力が近年向上しているとはいえ、60fpsを実現するのは決して簡単なことではない。

ライブまたはオンデマンドのオンラインストリーミングで高フレームレート（HFR）に対応するには、キャプチャから再生に至るまでの全工程において、適切な技術基盤が依然として必要です：

• 優れたカメラセンサー。動画撮影デバイスには、60フレーム/秒で動画をサンプリングするための集光能力とタイミングが必要です。これはすべてのプロ用ビデオカメラや、ほとんどの民生用ビデオカメラ、デジタル一眼レフカメラでは可能ですが、LogitechやMicrosoftなどのメーカーが提供するウェブカメラでは、依然として60fpsを実現できていません。
• カメラからコンピュータへの高速なデータ転送経路。たとえHFR（高フレームレート）対応のカメラセンサーを搭載していても、コンピュータへの接続がボトルネックになることがあります。具体的には、カメラが毎秒60フレームのペースで情報をコンピュータに送信できる必要がありますが、このため、USB 2.0では高フレームレートの動画に対応できません。 転送速度が480MbpsのUSB 2.0では、毎秒60フレームの非圧縮動画をコンピュータに送信するには帯域が不足しています。対照的に、最大5Gbpsの速度を持つUSB 3.0であれば、これが可能になります。
• 効率的なメモリ管理と圧縮。これらのフレームがコンピュータに到達すると、ビデオプラットフォームのエンコードパイプラインに送られ、そこでメモリに読み込まれ、処理された後、メモリから解放されます。 フレームのドロップを防ぐためには、メモリの割り当て、フレームの圧縮、およびメモリの解放というプロセスが極めて効率的である必要があります。また、アダプティブ・ビットレート・ストリーミングのために複数のビットレートでエンコードを行う場合、エンコードパイプラインはビデオの各フレームを1回ではなく、3回または4回処理してから、次のフレームの処理に進む必要があります。
• 効率的な再生。最後に、ネットワーク経由でストリーミング配信されるHFR動画は、クライアント側でデコードされ、通常はWebブラウザ上で画面に表示される必要があります。毎秒60フレームという高速な再生において、FlashであれHTML5であれ、クライアント側の技術は、ネットワークからフレームを取得し、画面のリフレッシュレートと同じ速度で画面に表示できるよう、極めて高い処理能力を発揮する必要があります。

要するに、オンラインストリーミングが10年以上も30fpsに制限されてきたのは、60fpsを実現するのが難しいためです。 ハードウェアメーカーにとっても、動画ソフトウェアプロバイダーにとっても、それは困難な課題です。しかし、ネットワーク速度はますます高速化し、プロセッサの性能も向上し続けているため、オンライン動画における60fpsの標準化は避けられない流れです。実際、HFR（高フレームレート）オンライン動画の試験運用は、早くも2年前から行われていました。当時、Blender FoundationとJanus Kristensenは、今や象徴的な60fpsアニメーションとなった『Big Buck Bunny』を公開したのです。

『ビッグ・バック・バニー』――60fpsのオンラインストリーミングで何が可能かを示した初期の事例 

Panoptoオンライン動画プラットフォームにおける60fps

Panopto のビデオプラットフォームの最新アップデートにより、HFR（高フレームレート）での録画、ライブ配信、およびアップロードのサポートが実装されました。これにより、Panopto 、Windowsデスクトップまたはノートパソコンから、ビデオカメラ、ドキュメントカメラ、医療用画像診断装置、産業用カメラ、その他高フレームレート撮影に対応したあらゆるメディアキャプチャソースを使用して、最大60フレーム/秒のビデオをキャプチャできるようになりました。 また、iPhoneや現場のプロ用ビデオカメラなどで撮影された事前録画動画も、Panopto 動画コンテンツ管理システムにアップロードできるようになり、デスクトップやノートPCで60fps再生できるようエンコードされます。

さらに、ビデオポッドキャスト向けに新たに追加された「1080p60」の画質設定により、モバイル端末に対しても60fpsで動画を配信できるようになりました。

60fpsの動画を録画、ライブ配信、Panoptoにアップロードする 

当社の動画プラットフォームは、以下の要素を組み合わせることで、高フレームレートのストリーミングを実現しています：

• フレーム落ちを最小限に抑えつつ、マルチビットレートの60fpsに対応できるよう、エンコーディングスタックを綿密にチューニングしました。
• 上流デバイスの機能について深く理解し、効果的に調整を行うことは、ビデオカメラやその他のメディアソースから、Panopto 高品質なHFR映像を確実に配信するために不可欠です。
• FlashおよびHTML5ベースの動画コントロールをJavaScriptでラップする、当社の動画プレーヤーコードの最適化。

お客様がプレゼンテーションや講義を60fpsで録画し始め、YouTubeをはじめとする動画プラットフォームがこの新しい基準への対応を拡大するにつれ、知識の共有やコミュニケーションの手段としての動画の活用はさらに加速していくでしょう。私たちは、オンライン動画のこうした進化の一翼を担えることを大変嬉しく思っており、皆様がHFRでどのような映像を撮影されるのか、楽しみにしています。

それまでの間、Panopto から現在ストリーミング配信されている60fpsの動画を、さらにいくつかご紹介します。

NASAのMMSミッションの概要 

当サイトのジェシー・ヴァーノンが、バンジョーで「ブラックベリー・ブロッサム」を演奏する様子をご紹介します 

…そして、『スター・ウォーズ』ファンの皆さんへ、『フォースの覚醒』の60fps版予告編をお届けします。