• Column

2

【郷事諮問録】ワンス・アポン・ア・タイム・イン・リアルライフ

「時代劇をDX化するための勉強会あるんだけど、くる?」

と、ある日東映株式会社の高橋さんからお声がけいただきました。
なんでしょうかそれは。
時代劇はどうやって撮影されているのか。普段あまり考えた事がないその現場について、深く知れる機会とのこと。それは知りたい。
というわけで喜び勇んで参加してきました。

コロナ時代の時代劇アップデート

今回の勉強会は「時代劇まるっとデジタル大作戦(まるデジ)」さん主催。なんと東映と松竹という競合会社が手を携えて開催している勉強会だそう。

「そもそもずっと、このままではヤバいという意識はありました」

挨拶はそんな言葉で始まりました。
このままの手法で、ずっと時代劇をとり続けていくことが出来るのか──

説明をしてくださった「時代劇まるっとデジタル大作戦」チーム、松竹撮影所の井汲さん
勉強会に集った皆さん。映像関連各界の皆さんが多かった様子
この日の勉強会の会場はけいはんなの超ハイテク施設にて。見渡す限り我々しかいなくて、うっかり人類滅びたかと思った。

確かに京都では、風景が移ろい、撮影に耐えうる景色が年々激減していると感じます。歴史的建造物は老朽化で細切れに建て壊され、「風景」としての連続性を失ってしまっていたり
地元でロケできないとなると、遠征するか、セットを作るか、別録りした役者と背景の画を合成するしかない。
一方で表示端末(テレビなど)側は画質が上がり、小道具大道具や背景にも、より高品質さが求められます。クオリティ維持のための作業量は上昇の一途をたどる割に、制作費は下がる一方。

「そこにきて、コロナです」

空っぽの撮影所でどうすべきか途方にくれたあと、今のタイミングでアップデートを、と動き出したのが今回のきっかけとのことです。

ここが凄い! ヴァーチャルプロダクション

「もともと別録りしてた背景用の画を後で合成すること自体はやってたんですが、今回やろうとしているのはブルーバックスクリーンの代わりに背景に大型液晶モニタを置きそこに別録りの背景を表示し、リアルタイムで合成映像を役者ごと撮ろうという仕組みです」

ほうほう。
こういうことですね。

【左:今まで】背景と人物を別録りし、後から合成 / 【右:今回】巨大モニタに背景を表示し、人物ごと撮影

【左:今まで】背景と人物を鼈録りし、後から合成 / 【右:今回】巨大モニタに背景を表示し、人物ごと撮影

そもそも、今までの「後から合成」ではできなかったものがいくつかあったそうです。

  • 光学反射系のモノ:走行する車のボンネットに映り込む背景画像や、金魚鉢越しの背景など。
  • 細かくて大量にある隙間越しの背景:よしずの隙間や水しぶきの向こうなど

このあたりは静止画の合成でもなじみ深いかも。写真での合成が面倒であるならば、動画ではもっと面倒ということですね、なるほど。

こういうものははなから撮影を諦めて、そういうシーンは出さない、という判断をしていたのだそう。
それが今回のLED WALLだと全部問題なく実現できるとか。すごい。

花火の動画を背景に金魚鉢を置いた場合。
花火に合わせて金魚鉢の映り込みも変化する。これをそのまま撮影すればよい。金魚鉢シーンが撮れるぞ!

どうやって? 【機材とシステム】

巨大LED WALLの衝撃

正面からみたら一枚の巨大モニタ(随心院長屋門表示中)
LED WALLの裏側。実は……
複数枚のパネルをジョイントして一枚のモニタとして制御している。電力はそれ相応に食うらしい

まさに壁というほかない巨大モニタ。実は、複数台のモニタを連結してシステムで一台として描画しています。
本来は10x5mのところを、今回は建物サイズにあわせて7x4mにしたとのこと。そういうことも可能ですね。

欧米では目新しさも減ってきたこの巨大LED WALLを背景に用いた撮影方法。
日本ではまだめずらしく、関西にはまだ固定スタジオがなく、今回は勉強会用に組んだといいます。

カメラシステムについて

今回カメラ担当はお二人。元々映画現場におけるカメラ担当は2ないしは3人で回しているとのこと。
まずカメラ自体はクレーンのようなアームの先端に搭載しておき、役割分担はこんな感じ。

  1. アーム操作者:上下左右手前奥、とアームを動かしカメラの位置を物理的に動かす人
  2. カメラ操作者:レンズを遠隔操作し、ズームやピントを調整する人

※それぞれの担当者の正式名称は不明。大きな現場にはプラス一名、1のアームを台車ごと移動するひともつくらしい。

空間上でカメラがどこにあるのか」は、床に施されたモーションキャプチャのマーカーが位置を読みシステムに飛ばし、
ピントの位置やズームの命令」は2の手元の機材で操作した内容をシステムに飛ばし、
両者の情報に応じた背景の画像がリアルタイムに生成され、表示される仕組みという

背景の看板にピントを合わせる、とカメラ側でピント操作したら、その内容で背景が描画される。おお、背景にピントがあっている。
煽りのアングルで、とカメラの位置を動かすと自動的に感知して背景のアングルも煽りのカットに。

モーションシステム用のマーカーは地面の位置がどこか」を設定するためにも重要とのこと。

「地面の位置を最初に綺麗に設定しておかないと背景の生成がおかしなことになってしまうので」
なるほど。確かに生身の役者が演技しながら舞台の手前から奥に移動する際に背景の生成情報がおかしくなると、「役者が地面に沈んでいく」というような現象もおこりそう。

このクレーンのようなアームの先端にレンズがついている。これ自体での操作は上下左右奥手前の位置取りだけ
左に見えている小さなモニタの下にある機材にある絞りを回転させて遠隔でアームの先にあるカメラのズームやピントを調整。その情報がシステムに伝えられ、LED WALLに表示される内容がリアルタイムで変わる
モーションシステム用のマーカーが足下に貼られている。床の位置とカメラの位置をこれによって把握できる

なにを(背景に)表示するのか【コンテンツ】

今回、勉強会で提供された背景の映像は5点。

うち2点は3D素材で、残りは実写動画だった。
それぞれに利点と弱点がある。

3Dデータを組み合わせた背景

3DはCGアニメやゲームなどでおなじみ。
ゼロから作ることもあるが、今回はあらかじめ、京都市内や映画村の建物をスキャンして整備した「実写」由来の3Dデータを用いていた。

3D データを用いるメリットは

  • 個々に作ったデータを配置配列など自由自在
  • 天候や時間も自由(雨や雷もOK)
  • 撮影のアングルを自由に変更可能(見下ろし、煽りなど)

というところ。

反対に今悩ましいところは

  • 格子などのモアレやちらつき
  • 3Dスキャンするときの被写体の様子に取り込んだデータが左右される

でしょうか。
モアレはどこまで細密にレンダリングするかによって低減可能だそうですが、そうなると今度は描画のためのマシンスペックなどの問題が出てきます。
ちなみに今回見せてもらったシステムを動かしている端末は二台、ノートと自作PCで「多少スペックはいいけど、ふつうのゲーミングPC」とのこと。OSはwindowsでした。

今回の勉強会にデータを出力してる端末は二台。手前の自作系デスクトップと奥にあるゲーミングPCとのこと
画面の切り替えの際などはLED WALLにwindowsのデスクトップが表示され、そのサイズ感に声があがる

また、スキャン時の天候条件のまま撮影されてしまうという所も気になります。くもりの日待ちが発生する事案です。
「反射物のスキャンも苦手で、瓦は実際何枚か自作して張り込んでます」とのこと。

随心院は1mmの点群データを撮影。
僕ら(勉強会のメンバー)は映画屋さんの集まりなので、最終的に映画で使えないクオリティだと意味がないので。なので相当綺麗に撮ってます
また3Dスキャナを用いての現場撮影以外にもフォトグラメトリ(大量の写真データから3Dデータを合成する手法)も用いているとのこと。

オブジェクトの作り込みに関してはゲーム業界などとおそらく同じような話だろうと思っていたら、今回用いられていたのはUNREAL ENGINEだそうで、なるほどと。
※ Unreal Engineは、Epic Gamesより開発された有名ゲームエンジン。他にはUNITY(ユニティ・テクノロジー社)なども有名。

「随心院の前の灯籠はアセット(3Dデータ素材)を利用してます」
今、世界中で様々なアセットが3Dデータ化されてアップされ、それをとり放題とのこと。利用には費用がかかるとのことだけれど(そりゃあそうだ)、今回私がこのレポートを書くのにいらすとやさんのイラストを利用させていただいたように、3Dデータ界にも巨大素材の海があるらしい。

随心院昼の風景。3Dデータなので昼夜の変更なども簡単。
セットの実際の灯籠に火をいれてみる
実際の灯籠に火をいれたものとアセットを同時に撮影した場合。色温度、明度ともにかなり差が出る

実写静止画/動画を背景にする

実写の動画を背景にした場合はどうなるか。

3Dモデリングデータの背景と違い、天気や日照条件、ピント条件などを変えることは出来ないけれど、モアレはないし自然に撮影した動画がそのまま生きる場合は使い勝手もよさそう(静止画背景の時よりテスト映像が自然に見える)

ただ背景映像がくっきりしていればいるほど、手前の人物が目立たないので、スモークをたいた方が自然に見えたのは興味深かった。

手前にも奥にもピントがあっているので画面がのっぺり
人物とLED-WALLの間にスモークをたくと途端に遠近感が

町中走行中の車の中のシーンなど撮るときも便利そう(あちこち映り込みが発生するので)

町中を走行中の動画の手前で自転車をこぐと
いい感じに走行中動画に

まとめ

いや、非常に面白い勉強会でした。
なるほど、これをうまく使いこなせばものすごく広いお江戸の町並みの背景をリアルタイム撮影出来たり、実際存在しない未来やファンタジーの世界の映像も撮りやすそう。
スタジオの設備投資費が高すぎるのでまだ認知をあげて需要を喚起し、仲間を募集しているとのことでしたが。

ノートルダムの聖堂が災禍に崩れたあと、ゲーム用に完璧に撮っていた3Dデータが復旧に非常に役立ったという話は有名です。
今のうちにちゃんとデータ撮っとかなきゃ! 災害の多さは日本は随一ですしね!
京都には歴史的建物などを3Dスキャンして回っている団体がいくつもあるけれど、それらの人たちとコンテンツを共有できたりしないのだろうか。
用途が違うとなかなか使い勝手がわるかったりする、という話だけれど。

帰り道、バスを待っている他の人たちは全員さっきまで勉強会に参加していた方達だったようですが、みんなああでもないこうでもないと使い方を考えていたようでした。

関西一円のクリエイティブ業界の人たちが一同に介していたようなこの会に参加させていただけて光栄でした。
そうか、時代劇ってそうやって撮ってるんだなあ。めちゃくちゃおもしろかった。

「映像の撮影現場ってそんな感じなのか…」と少しでも知っていただき、そのシステム使いたい、と思う方々の参戦を促せることが出来れば幸いです。

株式会社ロフトワーク / MTRL プロデューサー
田根 佐和子

大手PC周辺機器メーカーで営業部門、広告部門を担当した後、2006年、ロフトワークに入社。クリエイターとのチームメイキングに定評があり、ソーシャルゲームなどのコンテンツ・ディレクション分野で活躍。2011年に京都オフィスの立ち上げメンバーとして京都移籍。現在は素材の新たな可能性を探る事業「MTRL」のプロデューサーとして、企業や職人、研究者を繋ぐ活動をしている。特技は”興味の湧かないものはない”こと。職人/技術者/研究者への人一倍のリスペクトと個人的な好奇心から、プライベートでも日本中を駆け巡って会いに行ってしまう。趣味はスキーとダイビングという、ロフトワークでは数少ないアウトドア派。

https://loftwork.com/jp/people/sawako_tane