Making of “路地裏拡張”

FRENZ2022

I only used simple and crude Japanese, recommend using your browser’s translation function.

映像本編より

FRENZ2022という多種多様な作家が集まる映像系イベントにて、新作「路地裏拡張」を上映させていただきました（1日目 夜の部）。音楽はEIJEYさんです。本編は以下からどうぞ。

普通の感想はこちらの記事に書きました。ここでは主に技術的な解説を雑に残しておこうと思います。ほんとに雑です。

Concept of Video

現実と仮想の境界が曖昧となり何が本物か分からなくなる散歩映像です。制作開始時に書いたメモは以下。

• （都内）某所の路地裏を歩いている
• 表通り（世の中の表層的な部分）とはまったく異なる雰囲気
• 歩いているうちに現実との境目が分からなくなる
• 時間の進み方もおかしくなる
• あなたの見ているものは本物ですか？

また、モチベーションや制約的な点として以下がありました。

• ここ1年ぐらいで触れた技術を可能な範囲で入れたかった
• いわゆるAIに独自に用意した画像データを学習させるつもりだったので、締切日時を踏まえると映像全体のベースとなる素材を新しく撮影する時間がなかった
• 手書きイラストを実写の世界に入れたかった

2つ目に関しては、普段から実写素材を撮り溜めているのでその中から良さげなやつをチョイスしました。3つ目は、あまりにも時間が足りなくて過去に作成した素材に加筆修正する形でなんとか盛り込みました。イラスト難しすぎる。

メインとなるエフェクトごとに映像のパートを分けたのでそちらをベースに本記事では補足していきます。各パートの素材を作って最終的な編集作業はDaVinci Resolveで行いました。

Live-action Material Shooting

スタビライザーを使用（重たいリュックも背負っていたので疲れた）

• 都内某所で路地裏を歩く素材を撮影
• 不審者だと周囲の人に思われていた可能性が高い
• 合わせてiPhoneのLiDARによる3Dスキャンを行なった（後ほど解説）

Object Detection Part

この制作の少し前にYOLACT++がColabで動かなくなった

• YOLACTをGoogle Colaboratoryで使用
• SCORE値を変えて程よいディテクション数になるよう調整した
• ラベル色の変更などソースコードには改変を加えている
• コンピュータビジョンでとらえられるものorられないものみたいな表現に落とし込みたかった（結果よく分からなくなった）

Displace Dffect Part

左下がDisplace Image

• TouchDesignerのDisplace TOPを使用
• パラメーターをキーフレームにて制御
• 個人的に好きなSlit Scanも試したが良い感じにならなかった

Frame Interpolation Part

• FILM: Frame Interpolation for Large MotionをColabにて使用
• あえて入力動画のフレーム数を間引いてフレーム補間すると面白い感じになることがある
• Colab Proのメモリでどれぐらいの画像枚数を1度に処理できるか検証するのが地味に大変だった
• 意図的に加工した画像を混ぜたりした

GAN Part

• ProjectedGANをColabにて使用
• 素材動画から画像を一部書き出して学習データとした
• 学習期間は1週間弱ぐらい
• パラメーター調整しやすいようにコードには改変を加えてある

Colab上の簡易UI

3D (Point Cloud) Part

• 3D Scanner Appで路地裏をLiDARスキャンした
• TouchDesigner上でPoint Cloudとして表示
• キーフレームにてアニメーション制御
• PCスペック的に書き出し作業が辛かった
• 最初はもっと広範囲をスキャンしていたが保存に失敗していたらしく泣いた

30分以上かけたのに……

point cloud images for training

output by gan

• さらに路地裏PointCloudを複数アングルで画像書き出し&GANに学習させた（1週間弱）
• 3Dモデルを画像として学習させるのはこれで試して面白いなと思っていた
• PointCloudパートから更にGANパートに移行させるつもりだったが、GANの出力だと点群描画の良さを活かしきれていないなと思いエフェクトの1つとして重ねることでごまかした

東京風紀委員会がいるはずだが荒いパーティクルの一部となった

Last Part

segmentation by rvm

• YOLACTだと人のマスクが微妙だったのでRVMを使用した
• エフェクトはTouchDesignerを使用
• 人以外のマスクも少し抜けてしまったが良さげだったので残した
• イラストがほんとに大変（FireAlpacaを使用した）
• 手書きアニメーションに挑戦したかったがあまりにも無理だった
• イラストはノンバイナリー設定なのだがイベント登壇時は空気を読んで「女の子っぽいもの」と言った

They are non-binary, non-human, and seem to be in a different dimension than us.

Conclusion / 最後に

1つの映像に色々と好きなものを詰め込めて良かったです（まとまりは無くなったかもしれません）。映像や開発、執筆のお仕事も募集してます。あと楽曲制作の方の知り合いを増やしたいです（MV作りたい）。

FOLLOW THE DARKSIDE

以下はリファレンス（インスピレーション）の一覧です。ありがとうございました。

• livetune adding 中島 愛「Transfer」Music Video
• TVアニメ『ジョジョの奇妙な冒険 ダイヤモンドは砕けない』のバイツァ・ダスト版OP
• flap+frogさん旧HPのヘッダー画像