【VR事例】NFL初の5G VRライブ配信でInsta360 8K Liveソフトウェアを使用

本日より、世界各地の放送局で Insta360 8K Liveソフトウェアが利用できるようになります。

今年のプロボウルで歴史が作られました。プロボウルは毎年開催されているNFLのオールスターゲームです。しかし今年のプロボウルを特別なものにしたのは、記録破りのエンドゾーンランではなく、VRでのフットボール体験でした。

Verizon、Radiant Images、Flight School Studioの3社チームは世界で初めて、NFLの試合を8K 360度でライブ配信することに成功しました。映像はESPNの生放送に組み込まれ、マイアミから200マイル離れたドームで投影されました。この歴史的な放送を実現するため、チームはVerizonの5Gネットワークと2台の360度ライブストリーミングカメラ、Insta360 Pro 2を使用しました。

このワークフローでもう一つ重要な要素は、新たに開発されたInsta360 8K Liveソフトウェアでした。Radiant Images社などのチームによりテストと改良が行われたこのプロ用VRライブストリーミングソフトウェアは現在、世界中の放送局で利用できます。

放送局はInsta360 8K Liveを使用して没入型8K動画をスティッチングして放送したり、高解像度のリフレーム動画を従来のSDI放送にリアルタイムで挿入したりできます。今回のNFLの放送はこのVRライブストリーミングソフトウェアの最初の活用事例の1つであり、COVID-19によってライブイベントを楽しむ新しい方法の必要性が明確になったこの時期に、その画期的な潜在能力を証明することとなりました。

「今回のプロジェクトで本当に嬉しかったのは、未来の技術応用にインスピレーションを与えるだろう、ということです。没入型放送だけでなく、360度映像を撮影し、リアルタイムでリフレーム、そしてそれらを従来のTV放送に組み込む、これは間違いなく圧倒的な力です。」Insta360社の営業および事業開発担当副社長、Michael Shabun氏はこのように述べています。「放送局は、ライブ放送でプロ用360度カメラを使用するゲームチェンジャーに気づきつつあります。」

私たちは、革新者達のチームがどのようにしてこのVRフットボール体験を実現したかについて、Radiant Images社の共同創業者Michael Mansouri氏と膝を交えてお話を伺いました。続きをお読みいただき、彼らのワークフローに必要なものは何だったのか、そしてあなた独自の8K VRライブ配信プロジェクトはどのように実現できるかを見出してください。

1. プロボウルを複数のカメラでVRライブ配信

プロボウルをオーランドから200マイル以上離れたマイアミにあるドームまで5GでVRライブ配信することは、Mansouri 氏にとって新たな挑戦でした。「私たちにとって非常に難易度の高いものでした。これまでに誰も、この規模、解像度、距離で、そして全てを5Gで中継したことはなかったからです。」Mansouri氏はこのように述べています。

チームは360度ライブストリーミングカメラInsta360 Pro 2を2台使用して試合を撮影することにしました。1台はゴールポスト用カメラとして、もう1台はスカイカムにマウントしました。

「私たちは超小型で軽量の360度カメラを必要としていました。高解像度での配信やスムーズな通信が簡単でき、安定して使えるものです。」とMansouri氏は述べています。

Insta360 Pro 2の重量はわずか1.5キロなので、様々な場所に簡単にマウントしてユニークなアングルでユニークな映像が撮影できます。Pro 2とESPNの従来型TVカメラは同じスカイカムに取り付ける必要があったので、この汎用性の高さは重要でした。試合全体を通してInsta360 Pro 2は非常にクリアな8K 360度映像を撮影しました。

2. Insta360 8K Liveによる360度ライブストリーミングカメラ映像のスティッチング

360度映像をライブ放送する上で最大の課題は、複数のレンズで撮影した映像をオリジナル画質のままリアルタイムでスティッチングすることです。

新しいInsta360 8K Liveソフトウェアを使うと、Pro 2の6つのレンズで撮影した6つの動画ストリームをリアルタイムで8K画質でスティッチングできます。ダイナミックスティッチングアルゴリズムはコンテンツをリアルタイムで分析し、スティッチングの品質と配置を最適化して映像をシームレスに結合します。8K LiveソフトウェアはInsta360 Titanで撮影した8つの映像もスティッチングできます。

Insta360 8K Liveは、RTSP / RTMP / RTMPSプロトコルとH.265 HEVCコーデックを使用して、2D HDR VRライブ映像を30fpsで出力します。また、ライブ配信と同時に録画もできるので、映像を後から再生または後処理するためにオリジナル画質のままで保存することができます。

放送局はギガビット転送対応のイーサネットケーブルやルーターを介してInsta360 Pro 2をサーバーPCに接続するだけでこのソフトウェアを使うことができます。プロボウルを放送している間、チームはスカイカムにマウントしたPro 2にギガビットイーサネットケーブルを接続し、さらに光ファイバーに変換して約300メートル離れたリモートサーバーPCに接続しました。このサーバーPCには、最適な画像処理のため2枚のRTX 2080 Tiグラフィックカードも搭載されていました。

Shabun氏は次のように説明しています。このプロジェクトでのInsta360の最大の課題の1つは、信号を伝送してSDIに変換する方法の開発です。これはテレビ局からの要求でした。しかし私たちのエンジニアは、Radiant Images社や放送業界の優れた専門家と協力して、プロボウルに間に合うようにワークフローを開発しました。

Mansouri氏は、この困難なプロジェクトの完成を支援するためにInsta360のエンジニアチームが緊密に協力したことを高く評価しました。Insta360 8K Liveソフトウェア、2枚のBlackmagic 8K Pro DeckLinkカード、そして全体をつなげるソフトウェアを使って、Pro 2の映像信号を放送用の標準SDI出力に変換することに成功したのです。

3. 放送するカメラ映像をスイッチャーコントロールパネルで選択

専門家チームはカメラスイッチャーのコントロールパネルの傍で、2台のInsta360 Pro 2それぞれから送られる2つのスティッチング済みのSDI動画映像を受信するのを待っていました。彼らは両方の映像のアクションをリアルタイムで追跡し、Blackmagic ATEM Constellation 8K Switcher を使用して放送に最適な映像を選択しました。

カメラスイッチャーは、受信したすべての映像を表示し、放送したい映像を適切な送信先に送る、というものです。今回チームがモニターしたのは2台のInsta360 Pro 2からの映像だけでしたが、この段階で360度ビデオと標準ビデオの両方を含むより多くの映像をモニターすることができます。

この段階では360度映像をリフレームするか、あるいはオリジナルの360度映像を放送するかを選択することもできます。ESPNはPro 2からエクイレクタンギュラー形式で投影した映像を放送することにし、マイアミのドームで観戦したファンが経験した制限のない視野を、自宅にいる視聴者も体験できることになりました。

4. Verizon 5Gによるドームへの転送

チームが8K映像をいくつかスティッチングした後の次のステップは、映像をドームに転送するために変換することでした。ソフトウェアまたはハードウェアエンコーダーを使えばSDI映像をH.264またはH.265 (HEVC) VRライブストリーミングプロトコルなどのコーデックに変換できます。

しかし、チームは壁に直面します。チームが使用するエンコーダーは8K映像の出力に対応していなかったのです。

この壁を乗り越えるため、チームは知恵を絞りました。彼らは、ライブビジュアル操作ソフトウェアTouchDesignerを使用して、8K x 4Kの球面を四分円に分割して簡単に送信できるようにしました。8Kの球面を四分円ごとに一つずつエンコードして送信することで、マイアミで元の画質のままでストリームを受信し、ドームへの投影に必要な半球映像を再構築することができました。

この方法を理解するのに少し時間がかかったたとしても、それはあなただけではありません。チームが成し遂げた技術的な偉業は、要するに、標準の放送機器をうまく利用して超高解像度動画を200マイル先まで超高速で送信する、ということでした。

パズルの最後のピースはVerizon 5Gルーターで、これにより従来の帯域幅の制限を克服できました。Mansouri 氏は次のように述べています。「4Gでは帯域幅に制限があり、高解像度の映像を伝送することができません。たとえ伝送しても遅延が生じます。5Gによって遅延ゼロのリアルタイム伝送が可能になるのです。」

5. VRライブ配信をドームに投影

映像をドームまで転送できたので、今度は映像を投影して観客に見せる番です。

映像は投影する前にデコードする必要があります。今回ドームのオンサイトチームはハードウェアデコーダーを使用して、映像を元のSDI形式に変換しました。次に、チームはTouchDesignerを使用して4K x 4Kの半球映像 (ドーム内部に投影できる、8K x 4Kオリジナル映像の球の半分) を再構築し、投影のための位置合わせを慎重に行いました。

Mansouri 氏は次のように説明しています。「ドームに投影すれば済む話ではありません。映像の歪みを補正してドーム内で正確に配置しなければいけません。」

マイアミチームはプロジェクションマッピングを確認してから、6台のプロジェクターを使用して映像をドームに投影しました。必要なプロジェクターの数はドームの大きさによって異なります。

5G伝送のおかげで、競技場からドームまでの遅延はわずか3秒でした。VRフットボール体験により、観客は実際に競技場にいるかのように本当にリアルタイムで試合を見ることができました。

Verizon社のエンジニア、Danny Driggers氏はドーム内で観戦するVRフットボール体験を非常に没入できるものだ、と次のように説明しました。「実際に試合会場にいるかのような感覚になります。試合の様子をすべて感じ取ることができます。まさに未来そのものです。」