5つのAIサービスを使ってRunwayで「accelerando.AI」のショートムービーを制作！
Sep 20, 2023
こんにちは。
CGチームの田波です。
ショートムービー制作は、かつては高価な機材と専門的なスキルが必要だった分野です。しかし、AIサービスの進化によって、私でも手軽に映像作品を作れるようになりました。映像編集を行ったのは学生の時以来です。今回は、私がショートムービーを作成する際に活用した5つのAIサービスとプロセスについてご紹介します。
イベントのショートムービーを作成したときのブログは以下にございますので、こちらも参考にしてください。
3時間で作るイベントプロモーション動）画：動画生成AIのRunway Gen-2を利用して画像から動画を生成
今回、制作した動画はこちらになります。ショートムービーのコンセプトは「accelerando.Ai」のブランドコンセプトから抜粋しつつ、自分で考えています。
今回の「accelerando.Ai」ショートムービーのコンセプトは「はじまり」
未来的、進化、洗練、革新的な素材、そんなファッションブランドのはじまりを意識しました。
今回使ったAIサービス
1. 楽曲提案 AIエージェント → Maison AI - ChatGPT
2. 楽曲生成AI → Soundraw
3. 画像生成AI → Midjourney
4. 画像生成AI（生成塗りつぶし機能を使用） → Photoshop（Beta）※
5. 動画生成AI → Runway Gen-2 今回は画像→動画生成ツール
6. 動画編集 → Runway
※ブログの記載後に通常のPhotoshopに生成塗りつぶし機能が追加されました。商用利用可能となります。試されたい方はそちらをご利用ください。
tuika Photosh生成塗りつぶし機能op
1. 楽曲提案 AIエージェント → Maison AI - ChatGPT
私は楽曲が先に決まっていたほうが動画編集を行いやすいので、まず楽曲を作りました。その時に MaisonAI でサウンドクリエーターのAIエージェントを作り、Soundrawで楽曲制作の時に選ぶ項目を提案してもらいました。
Soundrawではジャンルやムードを選ぶだけで楽曲が生成されるのですが、私は音楽にそこまで詳しくないのでどのジャンルがいいか迷うことがありました。
「進化、速度感のある、ミステリアス、かっこいい、わくわくしたファッションブランドの30秒の動画の楽曲」を提案してもらいました。
するとこのように提案してくれました。
MaisonAIでは、Soundrawで選ぶ項目を全てAIエージェントに覚えてもらって、その中から提案してくれるAIエージェントにしています。
2. 楽曲生成AI → Soundraw
AIエージェントに提案してもらったジャンルを選択し、上から順に聞いてみました。気に入った楽曲のボリュームなどを調整して、ダウンロードしました。無料アカウントではダウンロードはできませんが、楽曲生成を試すことはできます。私は個人的にこちらのSoundraw公式YOUTUBEの使チュートリアルが分かりやすかったので、気になる方は確認してみてくださいね。
3. 画像生成AI → Midjourney
Midjourneyで、「accelerando.Ai」のイメージに近い画像を16：9の比率で生成しました。すでにRunway Gen2で生成したときに相性のいい画像もある程度分かってきていたので、相性がいい構図で画像を生成しました。Runway Gen2のところで説明します。--ar 16:9 が Midjourneyで画像生成する時のアスペクト比のパラメーターになります。
Midjourneyについては、OpenFashionのブログでもたくさん取り上げていますので、ご確認ください。今回は動画についての記事のため省略させていただきます。
4. 画像生成AI（生成塗りつぶし機能を使用） → Photoshop（Beta）
※ブログの記載後に通常のPhotoshopに生成塗りつぶし機能が追加されました。試されたい方はそちらをご利用ください。
16:9のアスペクト比 で生成していなかったけど、気に入っていた画像は、Photoshop（Beta）で生成塗りつぶしを行い、16：9にしました。
キャンバスを「1920：1080」で用意し、両脇の空欄を選択範囲で囲ってプロンプトなしで生成塗りつぶしを行います。
この方法でいくつかの画像を16：9にしてからRunwayにもっていきました。
5. 動画生成AI → Runway Gen-2
Runwayにはプロンプト（テキスト）から動画生成が行える Gen-1と 画像＋プロンプトで動画生成が行えるGen-2があるのですが、今回はGen-2を利用しています。
基本的には16：9の画像を用意して、 Runway Gen-2でプロンプト入力なしで動画生成をしています。動画生成をした結果をみて良かったものをショートムービーの候補にするという工程になります。
Runway Gen2では1枚の画像から一度に4秒の動画が生成されますが、最近これを4回繰り返して合計16秒までの動画が生成できるようになりました。
また、MotionSliderという機能が追加され、左下のMotionというところで動きの強度を調整できるようになりました。値を高くすると動きが大きくなるので、今回は値を３～４にして動きを小さくしていました。まだ検証はできていないのですが、ゆっくりのほうが崩れるのが減りそうだなと感じたからです。
公式のRunway academyやInstagramにチュートリアルがあるのでご確認ください。
※ブログ記載後に「Custom camera control」機能が追加され、カメラの動きを水平、垂直、ズームイン、ズームアウト、回転などできるようになりました。どんどん新しい機能が追加されるので、またこちらの機能を使って試してみたいと思います。
私が個人的に数十枚の画像からを動画生成してみて、相性がいい（人間からみて違和感が少ない）と感じた元画像の種類を以下にまとめてみました。これからRunway Gen2で画像から動画を生成する方は参考にしてみてください。
| 画像の種類 | 相性 |
| 抽象的なアート画像 | ◎ |
| 風景画像 | ◎ |
| 人物（アップ、鮮明なほうがより良い） | ◎ |
| 人物（上半身） | 〇 |
| 人物（全身） | △ |
抽象的なアート画像
これは、完成したショートムービーにも採用しています。この画像からは特に違和感なく動画に生成されました。
風景画像
こちらもあまり違和感なく動画生成されました。 
人物（アップ）
完成したショートムービーの最後にあるような鮮明なアップの人物画像は比較的、違和感なく動画に生成されました。（正面〇 後ろ姿〇 横〇 どの角度でも違和感は少なかったです）
人物（上半身）
これは正直やってみないと分からないです。60％くらい違和感なく生成される感覚です。正面のほうが違和感は少ない傾向にありましたが、今回斜め横向きの画像から生成したところ、イメージがかなり変わってしまったのでこれはショートムービーには入れませんでした。
2枚目の画像は違和感があまりなかったので、ショートムービーに採用しています。
人物（全身）
ＡＩで人物の前と後ろの区別ができていないのかな？と思う事が多かったです。人。前向きだったものが顏だけ回って後ろ向きになったり、人からみたら正常ではない動きの動画も生成されました。
下記の画像も動画生成したところ、随分イメージがかわってしまったのでショートムービーにはいれませんでした。 
その他 やってみないと分からないアイテム
ショートムービーにある白いショートブーツの画像は人からみて違和感なく動画生成されたのですが、その前に試していたロングブーツは左右のブーツが1つに結合されてしまい、予想しなかった動きになりました。AIがどのように判断するのか、やってみないと分からない事もあります。 
今回こちらの6つの画像から生成した動画も載せましたので参考にしてください。
6.編集について
今回はそのままRunwayにある動画編集機能を利用しました。動画を音楽に合わせやすい、「AI BeatSnapping」というものを試したかったからです。
編集は基本的に自分で行いましたが、Runwayには「AI Magic Tools」というものがあり、「GreenScreen」「Inpainting」「MotionTracking」ができるようです。
コツとしては、「途中で違和感が出てきてしまったAI動画も速度を遅くして、違和感がある部分をカットして使う」ことでしょうか。
また、初めて編集する場合は、「Clipchamp」のほうが編集しやすいかもしれません。簡単に追加できるモーションやエフェクトやテンプレートがたくさん入っていました。
まとめ
- AIサービス を利用すれば一人で数時間でショートムービーが作成できる
- 動画生成には相性のいい画像がある
- 画像、動画生成は生成結果をみてから編集の組み立てになる
- モーショングラフィック動画はかなり使える
- 機能追加のスピードが速い、今後に期待！
感想
最後までお読みいただきありがとうございます。
久しぶりに動画編集の行いましたが楽しかったです。
学生当時は3つのチームに分かれて放課後に少しずつ時間をかけて動画を制作しました。
- 撮影チーム （Adobe Premiereで編集）
- モーショングラフィックチーム（Adobe AfterEffectsで編集）
- 楽曲制作チーム（忘れました）
それを一人で数時間で完成できるなんて驚きました。
特に抽象画像からの動画はモーショングラフィックとして利用しやすいのではないでしょうか。それと音楽制作についても、知識が必要な分野になると思いますが、イメージだけでそれらしい音楽にすることができました。
これだけAIサービスや技術が進化してきて、一人で行えることも増えてきましたが、やはり「これいいな」と思える感性があると、それらのサービスをより活用できるのではないでしょうか。
私はショートムービーを作ってみて、不思議と「もっと映画をみよう、もっと音楽を聴こう、もっと雑誌を読もう」という気持ちになりました。
AIサービスを5つも使うの？と思う方もいらっしゃるかもしれませんが、無料で試せるサービスがほとんどです。ぜひ試してみてください。