今回の検討には手ごたえを感じる！
ですね！ まだまだですけど、コレいけるんじゃね？感はありますよね！
そこでどうだろう？ キャラクターをもっと検証しやすい人物に変えてみては？ 具体的に言うと体にフィットした服を着ているクールニンジャ的な……
悔しいことに一理あるけど、却下です！
要約
PixAI.artのLoRA学習における背景の検証をおこないます。これまではDream by WOMBOにお願いした背景でしたが、今回は単色無地背景とPixAI.artで生成した普通背景で挑戦。これらの背景を用いることで希望の光が見えてきました。
はじめに
せっかくPixAI.artがLoRA学習を実装してくれたのですから、使わない手はないです。新しいキャラが出てきた時とか、手直ししたいときに便利。ということでLoRA検証をひっそりと進めています。
Paperspaceで3DキャラのLoRAを作った時には、繰り返し数とかエポック数とかいろいろパラメータがありました。けどPixAI.artには変数があまりないです。いじれるのは元画像の背景、画素数、枚数、あとはモデルくらい？ ……思ったよりいろいろありますね。
ということで今回は背景に関する検証です。などと、軽い気持ちで始めたんですけど、方向性的にはイイ感じで、期待しています！
↓PixAI.artでのLoRA作成についてはこちらをどうぞ。
↓すでに一度ハイパーチェンジで惨敗しています。これもそのうちリベンジしたいです。
LoRA自作に光が見えた！
前準備
いつも通りVRoid Studioの3Dキャラクターを使います。単色無地背景はPaperspaceと同様に全身をおさめた引き画像が6枚、上半身画像が24枚の計30枚とします。普通の背景あり画像で全身を映そうとすると浮遊状態になるので、上半身画像のみ30枚。
単色無地背景の方は良いとしても、普通背景は準備しなければなりません。これまではDream by WOMBOのモデル「Fantasy」でお願いしていました。これがまた味のあるAIイラストを生成してくれるので、気に入って使わせていただいていました。
しかしPixAI.artでLoRA学習するとなると、背景も背景もPixAI製のほうが相性良いんじゃね？ って考えですよ。モデルは「Moonbeam」でプロンプトは以下のサイトを参考にさせていただきました。ありがとうございます！ ちょくちょくお世話になってます！
「forest」やら「school」やら「mountain」やらで計30個のAIイラストを生成してもらいました。さすがにキレイな画像が出てきましたよ！
得られた画像でそれぞれLoRA学習。モデルは「Anything V5」、LoRAタイプは「アニメキャラ」。今回はトリガーワードもしっかり考えて「black short hair, green eyes, white robe, school emblem patch on the chest, bow tie」としました。
……なんか以前よりやたら早い？ 放置したのですが、30分かからなかったイメージです。サーバーの性能を良くしてくれたのか、それとも最初の混乱が収まっただけか。どちらにしろ使う側としてはありがたい限りです。
プロンプトのみで生成
作成してもらったLoRAを用いてAIイラストを描いてもらいます。まずはプロンプトのみで生成。トリガーワードだけで他は何も入れず比重は「1.0」、モデル「Moonbeam」でお願いします！
ｷﾀﾜｧ･゜･:.｡..｡.:･゜(n‘∀‘)ηﾟ･:.｡. .｡.:･゜･
ついに来ました！ 色々ツッコミどころはあるけどほぼ完ぺきなミノ子です。Paperspaceであんなに苦労したリボンと校章ワッペンがスゴイ！ 絶対無理だと思ったのに校章のヘビが再現されている！
よくよく見ると、リボンのサイズとか、校章ワッペンのサイズとか、単色背景が昭和のヤンキー漫画風だとか、イマイチな点も多いです。しかし、それらを差し置いても再現性の高さは驚愕です。方向性は間違っていない感じ！
ということでお次は背景を付けてみたら？ ってところですよね。特に単色背景が気になります。単色背景しか出せないのか、指定すれば背景ありも行けるのか？ あとついでにもうちょっと笑ってほしいです。
プロンプトの最後に「smile, in forest」と付けて、他はさっきと同様の条件で生成してもらいます。
単色背景には限界がありました……。いちおう灰色だけでなく、色を様々かえて学習用画像を準備したんですけどね。どうやら色とかそういう問題ではなく、背景を指定するのが難しいっぽい。普通背景の方はきちんと森になってくれました。
見た感じ単色背景のほうが再現性が高いです。なのでこっちを利用して背景を合成するのもありかも。でもせっかくなら背景を様々指定したいですよね。ってことで普通背景のほうが良さそうな感じです。
いずれにせよ、わりとはっきりした光明が見えた検証結果です！
ポーズを指定して生成
もちろん再現性は高いに越したことないんですけど、挿絵にするにはポーズ指定をお願いしたいところです。ということで、「DW Pose」（比重1.0）でのポーズ再現を目指しました。まずは以前の検証でも用いた髪かきあげポーズ、他はさっきと同一条件。
……まあ、全部NG判定ですね。お絵描き修正しようという気もイマイチおこりません。今使っているPaperspace製LoRAだとわりといけたんですけどね。まだまだ調整が必要みたいです。
ひょっとしてこのポーズ難しい？ ってことで、もうちょっと大人しい別ポーズ、テーブルに肘ついてドリンク飲んでるポーズも試してみました。単色背景は嫌な予感しかしないので、普通背景でのみ。条件は基本同じですけどプロンプトは「forest」⇒「bar」です。
お！？ さっきよりはマシですかね。これなら、まあお絵描きで何とかできるかな？ って検討の余地があります。
たしかに、まだまだな部分が多いです。しかし、今回の検証でかなり手ごたえがつかめた感じです。あとは元画像の画素数を変えてみたり、モデルを変えてみたり、手探りで試して検証を進めたい。精進します！
まとめ
PixAI.artのLoRA学習における背景の検証をおこないました。これまではDream by WOMBOにお願いした背景でしたが、今回は単色背景無とPixAI.artで生成した背景で挑戦。これらの背景を用いることで希望の光が見えてきました。
↓高解像度な3DキャラのLoRA化に挑戦。ムズいっぽいです。
↓そうこうしているあいだに解像度関係の新機能追加があったっぽいです。
↓上手くいけば挿絵作りもはかどりますよ！
↓PaperspaceでのLoRA検証はこちら。パラメータ調整がメインとなってます。
