【AI生成画像から3DCGをつくる】CLO × BlenderでAIがデザインした服をモデリング
Apr 05, 2023
はじめに
今回初めての取り組みとして、AIが生成した画像から3DCGは作れるのか？
またその中でどのような課題があるのかを見つけるためのR&Dを行いました。
AI生成画像を忠実に再現するためにはどんな技法を使えば良いのか、当初全く分かりませんでしたが、多くの試行錯誤を経てなんとか形になったのでみなさんにご紹介できればと思います。
また、今回のR&Dはこのブログを書いている私、武藤が主に担当しました。私は数年間パタンナーの仕事をしており、３年前くらいからCGソフトを使い始め、最近Blenderの理解度が上がってきたところです。
制作フロー
今回の制作で使用したソフトとフローを紹介します。
CAD：絵型作成、型紙作成
元々パタンナーの仕事をしていた経緯があったので、今回型紙を作成する際はCADを利用しました。また、絵型も同じくCADで書きました。
大きく変更する必要がなくなってきたらCLOの中でも型紙を調整しています。
CLO：アバターの修正と、型紙を元に服のモデリング
当初は外部のソフトで作成したアバターを持ち込む予定でしたが、最終的にはCLOのモデルのまま制作することになり、途中でアバターのサイズ修正を行ったものを使用しました。
CADで作成した型紙を組み立てて、着せ付けをしながら物性や型紙の修正を行っています。
ちなみに、今回、コートの左見頃にあるディティールは、CLOの縫い合わせによる生地の影響を利用して作成しています。縫い合わせたパーツは非表示にしておくことでAI生成画像に近い表現が出来たかなと思います。
CLO→Blender
データはOBJで書き出しを行っています。
OmnisではCLOでエクスポートする際にメッシュの形状を四角形にし、縫い合わせ箇所に内部線を入れています。
メッシュの形状を四角形にすることで、Blender内で形状を変更する際に作業しやすくなります。
また、内部線を入れることで縫い合わせ箇所に発生しやすいギザギザを抑えてくれるのでエクスポート前に必ず行っています。
Blender：シーン作成、マテリアル、ライティング、レンダリング、一部モデリング
服のモデリング以降、すべてBlender内で作業をしました。
背景はまずAI生成画像のモデルの部分Photoshopで消した画像を作成し、背景のオブジェクトに適応させています。
ライティングは仮のマテリアルを適応させた後、シーンの設定と一緒にある程度決めていたのですが、実際にマテリアルをはめてみるとなかなかAI生成画像にあるような鋭い反射が再現できなかったので、最終的にはマテリアルとライトは同時に調整を行うことになりました。
最終的にライトは計11個設置し、反射やコントラストを調整をしています。
光が反射している箇所や、エッジ部分を際立たせる際には[Geometry]ノードのPointinessを使用して表現しています。
また、コートの見頃にある凹凸はBlenderのスカルプト機能を使用して再現しています。当初仕上がりは自然なシワが良いかなと思いCloth Brushを使う予定でしたが、コントロールが難しかったので最終的にはAI生成画像をテクスチャーとして使用しスカルプトを行いました。
苦戦したものの、この手法を用いたことでAI生成画像の印象に一段と近くなったので良かったかなと思います。
Photoshop：一部マテリアル作成、ログ
画像を編集する場合はすべてPhotoshopを利用しました。
その他、レンダリング結果のログを残して結果を比較する際にもPhotoshopを利用しました。
課題
「AI生成画像をどう理解するか」
今回は既に画像生成されたものからどのように作成するかを考えるところからのスタートでした。
AIで生成された画像は独特な歪みやシワなどがあるため、そのまま3DCGに変換することは不可能で、AI生成画像から雰囲気やデザインを参考にしながら、より現実的な3DCGを作成するための工夫が必要でした。
そのためにはまずAI生成画像そのものを深く理解する為にリサーチする必要がありました。かなり非効率だなと感じつつも振りかえっても一番大切なプロセスだったと実感しています。
当初考えていた仕様や構造だと「何か違うな」と違和感がでてきて、その度にリサーチをして型紙に反映させての繰り返しでした。
実際に手を動かしてみないとわからない部分も多いですが、絵型を書くタイミングでしっかりリサーチは行うべきだったなと思います。
まとめ
AI生成画像から3DCGを作成する方法を紹介しました。
再現可能なのか、もしくはここからインスピレーションを得て別の形にするのが良いのか、今回はそこからのスタートでしたが作業の過程の中で「もっとこうしたらよさそう」とアイディアがでてきて、その積み重ねで今回のモデルが完成しました。
今後のAIの発展にも注視しつつ、より高度な3DCG制作を目指していきたいと思います！
最後まで読んで頂きありがとうございます。
