【2D to 3D】Shap-E, Alpha3D, CSMでAI生成画像から3Dモデルを作成
Jul 14, 2023
Image to 3Dの各サービスを試して比較
気になっていたサービスから、最近知った新しいサービスなどを一気に試してみました ☺
せっかくなので同じ画像を使用して、各サービスの生成結果を比較してみましょう。
こちらが今回input画像として使用した画像で、Midjourneyで生成しています。
プロンプトはこちら：sneaker from side view --v 5
検証用の画像を用意する際、Midjourneyはとても便利です！
まずは各サービスの紹介と生成までの流れを紹介します。
Shap-E
Chat-GPTでご存知の方も多いOpenAiが開発されたサービスです。
Tex to 3DとImage to 3Dの２種類があり、今回はImage to 3Dで生成しました。
生成までの時間は15秒～長くても40秒くらいで生成されるので、結構あっという間です。
生成時にいくつかオプションを変更できます。
いろいろ触ってみると、特にシード値（”Seed”）によってかなり生成にばらつきがでることがわかりました。
最初思ったものが生成されない場合でも、Randomize seedのチェックをONにしたまま生成を繰り返すと近いものがでてくると思います。
今回の検証時も、実際30回くらいは生成しています☺
今回検証用に作成したモデルの設定値はこちらになります。
| Seed | 368591701 |
| Guidance scale | 3 |
| Number of inference steps | 64 |
Alpha3D
今回image to 3Dを調べていた時にたまたま見つけたサービスです。
こちらではAI LabとDesigner Studioの２つのサービスがあるようで、今回はAI Labを使用しています。
ここのサービスの面白いところは、スニーカーに特化しているところです。
使い方は画像をアップロードするだけですが、シューズの向きは真横から撮ったものに限定されるようなので、ここだけ注意が必要です。
My Projectのページがあり、そこから生成したものが一覧で見れるのでとても使いやすいです。
生成までの時間はだいたい2～3時間ほどでした。
CSM
いまちょっと話題になっているCSM(Common Sense Machines)。
こちらのサービスの特徴はDiscordを利用して生成するところです。
※詳しい生成方法については公式が提供している動画があるので、こちらをご覧下さい。
Discordで生成を行うと、まず三面図のような画像が生成されます。
その下にあるGet 3Dをクリックすると生成がスタートします。
生成されたものは、Showcaseのリンク先から確認できます。
しばらくすると自分が生成されたものが出てきます。
今回は1.5時間くらい生成までにかかりました。
また、１回目の生成がちょっと微妙かも？と思ったので試しに２回生成してみました。
１回目より２回目の方が、比較材料としては良さそうだったので、以下ではこちらのモデルを使用しようと思います！
比較
それでは生成したものを比較してみましょう。
並べてみると全然違って面白いです。
Shap-E
アウトラインは何となく靴っぽいです。
また、Shap-Eだけ足を入れるところが空いていて靴っぽさを感じました。
ただディティールの表現は難しいようです。
こちらはテクスチャーなどはついておらず、頂点カラーが初めから設定されていました。
Alpha3D
こちらはスニーカーに特化しているサービスだったので、期待大でしたが...
ソールの部分がアッパー部分と素材感が分かれている点は靴らしさを感じました。
ただ、紐などはテクスチャーで表現されているだけなのでディティールの立体感はないです。なのでテクスチャーが無いと、ほぼ木型に近い状態です。
また真後ろから見るとテクスチャーの再現も完全にされていないのがわかります。
ちなみに、こちらがテクスチャー画像です。
CSM
ディティールの表現は一番でている気がしました。
テクスチャーなしでもやや認識できる程度に再現されているように見えます。
input画像のビューだけでなく、全体的な角度からみたときのバランスが良いなと思いました。
こちらがテクスチャー画像です。
比較まとめと気づいた事
各サービスごとのモデルの形式、ポリゴン数、テクスチャーの有無については以下の通りです。
※Shap-Eは今回両足で生成されましたが、他との比較をわかりやすくするために片方削除しています。
| Shap-E | Alpha3D | CSM | |
|---|---|---|---|
| 形式 | glb | glb | glb |
| ポリゴン数 | 69,512 | 11,708 | 30,334 |
| テクスチャー | なし | あり | あり |
| 生成時間 | 15～40秒 | 2～3時間 | 1.5時間 |
今回Shap-Eでは30回程度、CSMで2回生成したように生成する度に結果が異なるので、何度か生成を繰り返してみるもの大事かなと思いました。
最後に
同じinput画像から、各サービスでどんな生成結果がでるのか試してみました。
まだまだディティールまでは難しそうですが、１枚の画像から短時間でここまで生成できるのは凄い技術だなーと驚きました。
また、今回使用したサービスは無料で体験できるので、ちょっと試してみよう！と思ったらすぐにできるのもありがたいです☺
引き続き面白そうなimage to 3Dのサービスがあれば試してみたいと思います！
（※サービスによっては無料で試せる上限があったり、変更が発生する場合もあるので利用前にご確認下さい）