【2D to 3D】CSMを使ってコーディネートアイテムを作ってみる
Aug 23, 2023
前回、Image to 3Dの各サービスを試して比較をしたブログで紹介をしたCSM(Common Sense Machines)。
こちらのサービスを利用して、靴やバックなどのアイテムを生成し、コーディネートをしてみました☺
先にお伝えすると、、作業はシンプルなんですが結構難しかったです！
手順
- Midjourneyで画像を生成
- CSMでモデルを生成
- Blenderで配置
※今回ウエアはMarvelous Designerで作成したものを使用しています
Midjourneyで画像を生成
靴の画像を生成するときには"side view"のプロンプトを入れて生成しました。
また、実験的にフォトリアルな画像ではなくCGっぽ物の方がうまく生成されるかも？と思い"3dmodel"または"3dcg"を入れてみました。
2足並んであるものは、左右非対称かつどうしてもくっついて生成されてしまうので片足の画像を利用するのが良さそうでした。
a sneaker from side view, 3dmodel, in the style of lo-fi aesthetics,Y2K,minimalistic,grunge fashion --v 5
バックの画像を生成するときは"front view"のプロンプトを入れて生成しています。
a bag from front view, 3dmodel, in the style of lo-fi aesthetics,Y2K,minimalistic,grunge fashion,voluminous forms --v 5
※画像によっては生成できないことがあるので、画像はいくつか用意しておくのがおすすめです。
CSMでモデルを生成
余談ですが….前回から新しい生成方法が追加されていました☺
以前はDiscordからのアップロードのみでしたが、ログインすると自分のページからアップロードでき、モデルもその中で管理できるので非常に便利になりました！
今回靴、バックともに生成されたモデルの破綻が結構多く、かなり苦戦しました。
靴に関しては前回スムーズに生成出来ていたのですが、今回は数枚画像をinputさせて1枚のみ使えそうなモデルができた感じです。
バックは持ち手がなくなってしまうことが多く、奇跡的に1モデルだけ持ち手ありが生成できました。
Blenderで配置
アバターに、靴とバックを配置していきます。
今回作業の都合で頂点結合は行いましたが、とくにメッシュを触ることなくスケールと配置だけを行いました。
マテリアルは、もともとコントラストが強いので少し調整しています。ノードはこのように設定しました。
結果
実際レンダリングしてみたものがこちらです。
当初は何体かコーディネートを作りたかったのですが、靴・バック共に約10枚ほど生成してみましたが、実際使用できそうなものは1モデルづつだけでした。
実際コーディネートアイテムとして使用するのであれば、やはりバリエーションがある方が望ましいですが.....今回のコーディネートはこちらのみとなってしまいました。
またマテリアルに関しては、両モデル共に調整は行ったもののinput画像の印象とは大分違っています。
まとめ
CSMで作ったモデルを使ってコーディネートを組めるかどうか、試してみました。
今回破綻が少ないモデルの生成にとても苦戦しました。
この点に関しては、前回靴の比較でCSMの精度が高かったのがやってみようと思ったきっかけだったので、以外な結果でした。
ただ今回レンダリングまで行ってみて、配置と簡単なマテリアル調整だけ行えばOKであれば割と簡単に扱えそうだなという期待も少し感じました。
今後の課題としては、以下の点になるのかなと思います。
- どんなinput画像だとうまく生成できる確率が上がるのか
- CSMの得意不得意は？
また、input画像と生成モデルでは色味もかなり変わってしまったり、素材感も再現が難しいので、そのあたりの調整をうまくできる方法も模索できると良いのかなと思います。
最後に
今回いくつか生成したモデルを紹介します。
①持ち手が消えてしまったものの例
②input画像に両足が入っていると、くっついて生成されてしまう例
③キーホルダーみたいなものも作れないかなと思い試したものがこちら。
キャラクター部分は割と綺麗に生成されました。
④CSMでキャラクターを生成しているのを見かけたので、人間ではどうかなと試してみたのがこちら。
（顔はどうしても怖いので写らないようにしています）
アウトラインはかなり再現されていました。
