……惨敗だな
惨敗ですね
グーグル先生にグロ画像認定されて怒られるんじゃね？ ってレベルの失敗だ。これならまだもとのミノ子のほうがかわいい
怒る気にもならないほどの負け犬気分です
要約
PixAI.artに追加された新機能、LoRA学習で3DキャラのLoRA化を目指します。前回の失敗に引き続き、今回はハイパーチェンジ画像を元に学習。結果は……、前回のほうがまだマシでした。
はじめに
LoRA学習機能を使えば、同じキャラクターを安定して生成してもらえます。前回の記事ではPixAI.artでLoRA学習をおこない、AIイラストを元画像として成功、VRoid Studioの3Dキャラだと失敗、って感じでした。
キャラクターに求める再現性が髪色、髪型、目の色、服の雰囲気、くらいならAIイラストを元にしても全く問題ないです。でも当サイトのように同じ服でいてほしい、変な校章ワッペンまで再現したいとなるとキツイ。やっぱり3Dキャラを元にしたくなってきます。
べつに3Dキャラ最強！ ってわけではなく、これは趣味の問題、住みわけの問題だと思っています。リッチーとか、ミノタウロスとか、3Dで再現しにくいキャラのLoRAなんて絶対AIイラストのほうが向いてるでしょうし。
あんまり大変そうだったら挫折するとして、3DキャラのLoRA化に挑戦します！ ……今回は惨敗しましたけど。ダメな失敗例としてご参考にしていただければ幸いです！
↓PixAI.artでのLoRA学習については以下をご参照ください。
↓その他、様々な使い方はこちら。どんどん追加されてかなりの多機能ですよ。
……惨敗
ハイパーチェンジ画像で学習
AIイラストだと上手く学習できるけど、3Dキャラはイマイチ、それが前回の結果です。ならば3DキャラをAIイラストに寄せれば良くね？ って発想です。寄せるのは得意ですよ。当サイトにはハイパーチェンジの知見があります！
3Dキャラを元にしてPaperspaceで学習したLoRAファイルが、当サイトにはあります。これを用いたLoRA生成AIイラストの最終的な雰囲気アップとして、画像の一部を再描画しています。ややこしい部分は残しますから再現性もある程度確保できる、ってわけです。
つまり今現在は、3Dキャラ撮影⇒LoRA学習⇒LoRA生成⇒ハイパーチェンジ、って流れ。これを、3Dキャラ撮影⇒ハイパーチェンジ⇒LoRA学習⇒LoRA生成、とすれば、3Dキャラの特徴を抑えてAIイラストに寄せた元画像でLoRA学習できる、……はずです。
まあやっぱりAIイラストそのものみたいにはならないのですが、それでも3Dっぽさをある程度低減できればひょっとして……、みたいな？ ともかくやってみます！
使用したのはミノ子LoRAの元画像30枚。VRoid Studioでキャラ作成し、色違い無地背景で撮影した全身像6枚と、Dream by WOMBOの背景で撮影した背景あり上半身像24枚で、ポーズも背景画像も様々なものです。サイズはすべて512×512pixelで統一しました。
これをPixAI.artでハイパーチェンジ！ モデルは「Anything V5」、Strength「0.35」で、崩れやすいリボンと校章ワッペン以外をInpainting機能マスク編集でもって再描画してもらいました。プロンプトは「black short hair, green eye」＋作風プロンプトです。
……どうですかね？ ある程度3Dキャラっぽさが消えてAIイラストに寄せられたような、焼け石に水なような……。ちなみに全身像は顔が小さすぎて、目の色とか変わっちゃいました。このあたりも不安要素……。ともかくこれで準備完了！
ベースモデル「Anything V5」、LoRA名「minokoschoolAIv1」、LoRAタイプ「アニメキャラ」、トリガーワード「minokoschool, black short hair, green eye」です。トリガーワードはおススメに従い、髪色・髪型・目の色を入れてます！
……惨敗
しばらく待ってLoRA学習完了。成果や如何に！
もちろんモデルは「Anything V5」でStrength「1.0」、プロンプト①がトリガーワードのみで、②がトリガーワード+「girl 1, solo」です。
……うーん、なんか違う。顔はイイ感じなんですけど崩れ気味だし、体も怪しい。プロンプト②画像例1はサービス精神出し過ぎ。ただし、髪色・髪型・目の色は安定しています。このあたりはおススメに従った成果です。
ニムロデLoRAなんかはわりとこんな感じで崩れ気味ですけど、「boy 1, solo」でだいたい安定します。いっぽう今回学習したLoRAはプロンプト②でも崩壊気味なので、ちょっと症状が違います。
こうなったら次の作戦ですよ。ズバリ「Openpose Full」の使用。体の線を指定することで生成の方向性が明確になり、イイ感じのAIイラストに仕上がることが多々あります。……これまたニムロデでよくあることですが、優等生イリスもその傾向があります。
前回使用したミノ子葉っぱ仮面の元画像を再利用します。モデル「Anything V5」、Strength「1.0」は不変で、方法①は「Openpose Full」（比重1.0）、方法②はプラス「ご参考までに」（比重0.7）のダブル掛けです。どちらもプロンプトはトリガーワードのみ。
……おおぅ、これはやっちまいましたね。完全な作画崩壊。載せようかどうかさんざん悩んだレベルですけど、失敗例ということで。参考画像はPaperspace版ミノ子LoRA使用、モデル「Moonbeam」でStrength「1.0」、トリガーワードのみです。
これ以上悪あがきしても傷を広げるだけだと判断。今回は大人しく撤退することとします。「Anything V5」での検証はクレジット的にも厳しいので。
PixAI.artのLoRA学習が3Dキャラは難しいんですかね？ などと思いつつも、これができればかなり大きく夢が広がるので、もうちょっと検証したいと思います。これはかなり腰を落ち着けて取り組む必要があるっぽいです。
まとめ
PixAI.artに追加された新機能、LoRA学習で3DキャラのLoRA化を目指しました。前回の失敗に引き続き、今回はハイパーチェンジ画像を元に学習。結果は……、前回のほうがまだマシでした。
↓背景検証で再現性大幅アップを確認！
↓Paperspace版LoRAを用いた実践は順調です。……AIコラ多めですけど。
↓PixAI活用まとめはこちら。この記事もカテゴリ的にここですかね。
↓こちらはPaperspace版LoRA学習についての記事です。
