３Dモデル生成AIでは、画像生成AIに出力された任意の衣装の画像から、３Ｄモデルを起こすことができる。これにより、3Dアバターの衣服制作を省力化できる。
一年前よりも画像/３Dモデル生成AIの能力が向上したため、衣装のテクスチャは美しくなり、生成されたメッシュやテクスチャの補正にかかる時間は減った。
画像生成AIで、衣装の画像を生成する
美しい衣服の絵を描く絵心は持ち合わせていないので、画像生成AIに生成していただく。衣装の画像はプロンプトの理解力が高い Gemini (Imagen 4) を利用する。
その後の画像の補正は Windows 11 ペイント、Gimp2 を利用する。
モデルの補正は Blender4 を利用する。
最初にGeminiで衣裳の画像を生成
- 画像生成のためのプロンプトを生成AIに生成させる
画像を生成しないでください。
Stable Diffusion 向けの詳細な英語のプロンプトを生成してください。16世紀のポルトガル王女が着ていたドレスの左右対称な正面図。ポーズはT Pose
- 背景は邪魔だし見づらいので、グリーンバック（やブルーバック）で出力させる
プロンプトに no shadow, flat light green background のような感じで書き足す
- 袖が前身頃に重なって出力されると補正が面倒なため、プロンプトには、左右対称の正面、Tポーズ、影なし、背景は単一色という指定を含めること
このプロンプトで画像を生成
16th-century Portuguese princess's dress, full symmetrical front view, T-pose, no shadow, flat light green background. The dress is highly detailed and opulent, made from rich fabrics like velvet and silk, featuring elaborate embroidery with gold thread, pearls, and precious stones. Jewel-toned colors (e.g., deep crimson, royal blue, emerald green) dominate the design. It has wide, full sleeves with visible slashes revealing contrasting lining, a structured, pointed bodice, and a wide, bell-shaped farthingale skirt. Intricate lacework adorns the cuffs and neckline, which includes a prominent ruff collar. The style reflects the high fashion of the Renaissance era, emphasizing historical accuracy. Bright, even studio lighting ensures all details are clearly visible. Photorealistic, high detail, sharp focus, fashion photography style, professional product shot, white background, no visible person.
生成には、プロンプト解釈力の高い画像生成AIを利用すること。
Gemini (Imagen4)、Copilot（DALL-E 3)が望ましく、Stable Diffusion は難しい。
Windows ペイントで背景を除去
Windows ペイントで背景を削除：https://youtube.com/shorts/w8Ujav1lAQA
床に投影された影は削除
床に投影された影のある辺りをGIMP2で削除して背景と同様、透明にする。
３Dモデル生成AIで、衣装の３Dモデルを生成する
MeshyAI、Tripo3D などが利用できる。
どちらも１枚の参照画像からの３Ｄモデル生成は無償版でも行える。
品質は互角なので両方で生成して、早く生成されたほうを使えばよい。
３Dモデル生成の性能については、いろいろ試したところ、部屋の内装など情景の生成では悲惨な結果に終わったが、衣服（衣裳）に関しては半年前から結果は良好だったので、割合よく学習されているものと想像している。
３Dメッシュを生成する
Meshyではメッシュについても、４つの候補を提示してくれる。
衣服の場合には、首・腕・裾などの開口部が開いているメッシュが望ましい。
本例のような袖・裾が長いドレスだと、うまく開口しないことがほとんどだが、4つの候補の中で一番マシだと思われるものを選ぶとよい。
テクスチャを適用する
メッシュにテクスチャを適用して、出来たモデルをダウンロードする。
なおこの時点では、メッシュの下側には、脚絆？と下着？も生成されている。
ある意味正しいが、３Dモデルの衣装としては、見えない部分やスキンウェイトを狂わせるメッシュは不要なので次の工程で削除する。
同様に襟ぐりのあたりは、ギザギザしている。
衣服メッシュを補正する
Blender でテクスチャ付きモデルを読み込み、補正を行う。
Blender で下側からモデルを見ると、身が詰まっている。
今回の場合は円形に穴を開けたいので、円形に選択 Circle Select を使った。
バシっと面を削除したら中はがらんどうになっていた。たいへん好都合である。
同様に、両袖にも穴をあける。
少し黄土色っぽい色をしている部分は、穴ではなく面となっていたので、穴が開くように適当に面を選択して削除した。
襟ぐり廻り（首回り）も灰色の面で塞がれていた。
穴が開くように適当に面を選択して削除した。
喉元のヒラヒラは見苦しいので削除した。
あんまり綺麗でもないが、工数をかけたら生成AIでの手抜きの意味がないので、これ以上はやらない。
衣服をリアルアバターに着せる
フィッティングは困難
衣服（衣裳）の３Dモデルを３D人物モデル（アバター）に着せるためには、着せたい人物モデルの素体と、衣服を適合させることが必要となる。
- 背丈
- 体形
- ポーズ
ところがアバターにも衣服にも、精確なサイズやポーズの業界標準というものがなく、それぞれを別々に作成した場合には、絶対に一発では適合しない。
正面から見た場合のポーズについては、Tポーズ、Aポーズという標準はあるが、角度が精確に同じわけではない。
リアルアバターはまだマシ
リアル系アバターは、解剖学的に正しいサイズや関節の回転状態が事実上の標準となっており、それに近いように素体のモデルが設計されているので、生成AIで生成されたリアルな衣服の画像や３Dモデルとは合わせやすい。
トゥーン系アバターは、素体のモデルがまちまちなため、合わせにくい。
横からみると、背筋・首筋の伸び方がアバターごとに違っていたりする。
フィッティングには別のツールを使う
アバターの所有者にとっては、アバターが主であって衣服は従なので、衣服のほうを何とかアバターに合わせる必要があるが、リアルの衣服と違って、伸びも縮みもしないので、素体メッシュが衣服メッシュからはみ出したり、逆に埋まったりする。
かといって、衣服の３Dモデルをアバターに合わせて修正すると全く何の省力化にならないので、アバターに合わせた衣服のフィッティング（サイズやスキンウェイトの割り当て）を行うことに関しては、別のツールを使う必要がある。
専用ツールでのフィッティング
無料の３Dアバター生成ツールでは、当該ツールに適合した仕様で作られていない衣服を着せることは難しい。
Character Creator（有償）では、他所からもってきた、あるいは生成AIで適当に作ったメッシュを補正して、兎に角アバターに当てはめてしまう機能があるので、これで補正を行った。
素体のポーズを衣服のポーズに合わせる
衣服の拡大縮小を行って、素体とフィットしそうな大きさにした後、素体のポーズを調整して、衣服のポーズに合わせる。
だいたいでよい。
素体のスキンウェイトを衣服に転送
読み込んだ３Dモデルに素体のスキンウェイトを転送して衣服とする。
どうせ見えない部分の素体メッシュを非表示にする
衣服で隠れてしまった素体メッシュを非表示にしていまうことで、アニメーションさせたときに、素体が衣服からなるべくはみ出ないようにする。
テストを行う
全身運動アニメーションでテストする。
極端な動作では、衣服に素体が埋まる現象は残るが、実用レベルにはなっている。
