画像生成AIを併用して、3Dアバターの衣服制作を省力化した。
メッシュの寸法・形状を微調整する手間は省けなかったが、画像生成AIに出力された任意の衣装の画像から３Ｄモデルを起こすことはできるようになった。
- youtube.com
- 画像生成AIで、衣装の画像を生成する
- 素体メッシュを改変して、衣服メッシュを作成する
- 表と裏の画像をテクスチャブラシにして、衣服（素体）メッシュに転写
- 中途半端に出来上がったテクスチャを画像生成AIで補正
youtube.com
画像生成AIで、衣装の画像を生成する
美しい衣服の絵を描く絵心は持ち合わせていないので、画像生成AIに生成していただく。衣装の画像はプロンプトの理解力が高い DALL-E 3 を利用する。その後の様々な画像の補正はローカルにインストールした Fooocus を利用する。
- 背景は邪魔だし見づらいので、グリーンバック（やブルーバック）で出力させる
- 袖が前身頃に重なって出力された場合には、画像編集ソフトで袖の部分を回転させて、重なりがなくなるように編集する
- 画像の一部分の回転によって隙間が出来るので、画像編集ソフトで大体の部分を緑（や青）で埋め直した後、画像生成AIのインペイントで細かい所を補正して埋める
- 丈や幅が足りない場合には、画像生成AIのアウトペイントで引き伸ばす
- 衣服の表側の画像を材料にして、裏側の画像を生成する
- 画像生成AIが出力する画像は左右対称ではないので、裏側の画像は、画像編集ソフトで左右反転させる
Adobe 税を払いたくないので、画像編集ソフトは GIMP2、3Dモデリングツールは Blender4 を利用している。
たぶん、これらから画像生成AIを呼び出すプラグインがどこかにあると思うが、課金とか回数制限とかあるだろうから使っていない。
素体メッシュを改変して、衣服メッシュを作成する
標準素材がパブリックドメイン (CC0) だと宣言されている MakeHuman の素体メッシュを材料にして、衣服メッシュを作成する。
メッシュの編集やリトポロジーは、工数がかかるのでやり過ぎないようにする
- 下着やTシャツのように身体に密着していて、デザインも複雑ではない衣服の場合には、素体メッシュの不要な部分を削除する程度で済ます
- 外套やローブなど緩い着こなしの服の場合には、衣服の画像が余らないようにメッシュの輪郭（端っこ）を合わせる程度で済ます
表と裏の画像をテクスチャブラシにして、衣服（素体）メッシュに転写
衣服の画像を、版画のように衣服メッシュ（大幅に手を抜く場合には、素体メッシュ直）に転写する。
- 細かいズレは画像生成AIで後で補正できるので、だいたい合っていればよい
- 表を転写したら、モデルを前後反転させ、裏を転写する
- 表を塗るときは表側のメッシュだけ選択、裏を塗るときは裏側のメッシュだけ選択したほうがよい（裏映りする）
- 表と裏の張り合わせ位置（体側付近）の転写はうまくいかないので諦める
中途半端に出来上がったテクスチャを画像生成AIで補正
表と裏の張り合わせ位置（体側付近）の転写はうまくいかず、グリーンバックやブルーバックが残ってしまう。
転写によって作成されたテクスチャを画像生成AIに投入して、画像生成AIのインペイントで補正するとよい。それでも、どうしての気に入らないところだけ、画像編集ソフトでさらに直す。
シェーディングを飛ばしているので、参照画像に元からついていた陰影がそのまま転写されているが、それらしい衣服にはなった。
