なんかさっき、突然サスケ君が襲いかかってきたよ
え！？ ついに奇襲作戦に出ましたか！
武者修行なんでしょ？ 失礼のないよう、全力で戦ったよ。完膚なきまでに叩きのめしてあげた！
真面目な人はこれだから恐ろしい……
要約
武者修行第八弾はイリス、ファンタジー世界のお馴染み種族であるエルフです。これまでで最大級の崩壊が発生しましたが、なんとかプロンプトで修正して、結局かなり満足のいく出来となりました。また、VRoid Studio合成画像からのハイパーチェンジにも挑戦します。
はじめに
イリスは金髪ロングヘアーにとんがった耳のエルフ。服装はVRoid Studioのファンタジー的ドレスで、これまたエルフっぽいものです。細かい衣装ですが、校章ワッペンのようなクセの強い要素なし。こりゃあ楽勝だろうとタカをくくっていました。
ところがLoRA画像生成一発目で、厳しい戦いを確信させる画像崩壊が発生。「一括（x４）」生成で、2枚は不合格レベル、2枚は放送禁止レベル（手の先が足とかそんなの）でした。これまで最凶のニムロデに匹敵する恐ろしいキャラです。
↓八回もこんなことやってるんですよ？ そりゃあ色々ありました。
↓八月になったことですし、そろそろPaperspace再開を検討中です。
厳しい戦い
プロンプトで崩壊阻止！
今回もPaperspaseを使って学習画像枚数30、繰り返し数10、エポック数は24です。学習画像はVRoid Studioキャラクターを単色背景やらDream by WOMBO背景やらで撮影しました。詳しい条件は以下をご参照ください。
PixAI.artへのLoRA投稿の方法は以下に詳しく書いてあります。
投稿したLoRAを用いてモデル「Moonbeam」で「一括（x4）」生成です。プロンプトは前回同様①トリガーワードのみ、②トリガーワード＋「girl 1, solo」、③トリガーワード＋「portrait」を試します。比重の値は今回も「1.0」固定。
プロンプト①はこれでもマシなものを選びました。ヒドイのは完全な崩壊が起きていて、錬金術失敗で出てきたクリーチャーみたいになってました。②でちょっとマシになりましたが、長髪ではないし、耳が不思議です。③はイイ感じですけど、やっぱり耳が違う。
ここでついついエポック数変化を試したくなりましたが、上手くいった例がほぼないので、このままプロンプトに頼ります。あんまりいろいろ追加すると、LoRAの特徴が薄まったり、引っ張られたりするので、段階的に確認する作戦です。
プロンプト④トリガーワード＋「blonde long hair, blue eye」、⑤トリガーワード＋「elf girl, blonde long hair, blue eye」、⑥トリガーワード＋「elf girl, smile, blonde long hair, blue eye」です。
どれもなかなか良いのではないでしょうか。プロンプト④の耳はまだちょっと怪しげですが、「elf girl」を追加するとそれっぽい耳が出てきます。⑤も捨てがたいのですが、⑥の笑顔がイイ感じです。
あんまりプロンプトを追加すると、LoRAの意味がなくなるのでは……、なんて心配していますけど、少なくとも服装の雰囲気は悪くないですよね。LoRA単体での再現を目指すのではなく、プロンプト併用が王道なのではないかと思う今日この頃です。
そしてハイパーチェンジへ……
プロンプト⑥の画像を用いてハイパーチェンジ！ ハイパーチェンジとは当サイトで勝手におこなっている画質向上手法でして、再現の難しい部分以外を、作風プロンプト付き別モデルで書き換えてもらう技です。詳しくは以下をご参照ください。
いつもだったら校章ワッペンとか、リボンとかを残してマスク編集ですけど、今回はそういうの特になしです。使用モデルはいつもの「Anything V5」で、プロンプトは「elf girl, smile, blonde long hair, blue eye」＋作風プロンプト、画像全体をInpainting機能で再描画です。
いつものStrength「0.40」でも良いのですけど、今回はちょっと冒険しました。あんまりStrengthを高くすると、本来無地の服がレースひらひらになったり、過剰に頬を赤らめたりするので、いつもは抑え気味ですけど、今回はもともとひらひらドレスですし。
ということでStrength「0.45」でも全く問題なし。さすがに「0.50」までいくとちょっとやり過ぎ感があります。これまでのハイパーチェンジのなかでもかなりレベルの高いものができた？ なんて満足してます。
最初は画像崩壊してどうなることかと思いましたけど、フタを開けてみれば中々のハイクオリティー。プロンプトに頼る方向で、このまま検討を続けてみようかと思います。
素朴な疑問
ここで素朴な疑問が出てきました。最近Inpainting機能に頼りまくってますけど、VRoid StudioとAIイラストの合成画像をハイパーチェンジしたらどうなるの？
似たような検討はPixAI.artで遊び始めた当初からしていました。たとえば下の記事ではStrengthではなく、Sampling Stepsで調整するという荒業を試しています。もちろん途中で無理を悟り挫折。
以下ではStrengthを振っています。やっぱり「0.3」⇒「0.5」で大きく変わっている印象があります。でもこの時って背景無し画像なので、そのまま挿絵に使えないか？ って検討ではないのですよ。
3D vs AI？ なんてのも試しました。この時の元気玉ポーズのイメージで、「3D合成画像からAIイラストへの変換はムズイ」と思ってましたけど、これってStrengthが曖昧な頃の画像なんですよね。
ということで、3D合成画像からAIイラストへの変換で、Strengthを細かく振って調整したことはないみたいです。だったら思い立ったが吉日。ちょっと試してみますか。
使う画像は今回のモデルであるイリスのお気に入り画像です。VRoid StudioキャラクターをDream by WOMBOで生成してもらった背景イラストに合成し、Opencanvasで画像加工したものです。
これらをベースにして、Inpainting機能で全体を再描画。Strengthはこれまで良さげだった「0.4」を中心に前後を振って確認します。
まずは大人しいのから。イリスが敵の説得を試み、自分の主張を力説するシーンです。画像加工的には背景とキャラクターの明暗を合わせただけという単純なもの。左が元画像、右がハイパーチェンジStrength「0.4」です。
お次は回復魔法を使うイリス。ラノベの挿絵に使ったバージョンではなく、当サイトの画像加工解説記事で作った方です。画像効果は超バリバリ。左が元画像、右がハイパーチェンジStrength「0.35」です。
ラスト、冷たい湖で水垢離する狂気のイリスです。さきほどよりは大人しめですけど、雪が降っていますし、微妙に水面下が見えているので画像加工はわりと複雑。左が元画像、右がハイパーチェンジStrength「0.40」です。これだけ背景はPixAI.artで生成してます。
……昔試したときより全然良いことがわかりました。Strengthを適切に設定することで、再現性を保ちつつ3Dキャラクターっぽさを低減できます。再現が難しい部分があれば、マスク編集を使えばいいわけですし。
でもこれらはもともとお気に入り画像ですからね。AIイラストで再描画しなくても、特に問題ないものです。再描画してほしい残念画像をInpainting機能で修正できるのか？ そこがポイントな気がしてきました。
なにしろ3Dキャラクターを出力して、合成して、画像加工に凝れば凝るほど時間がかかります。これらを如何に簡単に、短時間で作成するかが重要であり、そのためにLoRAを用いたAIイラストに期待しているわけです。
まとめ
武者修行第八弾はイリス、ファンタジー世界のお馴染み種族であるエルフです。これまでで最大級の崩壊が発生しましたが、なんとかプロンプトで修正して、結局かなり満足のいく出来となりました。また、VRoid Studio合成画像からのハイパーチェンジにも挑戦しました。
VRoid Studioの3DキャラクターとAIイラストの合成画像から、ハイパーチェンジを使って良さげな画像を生成することは可能っぽいです。でも良い元画像を作るには時間も手間もかかるので、そのあたりの削減のためにもLoRAを用いたAIイラストを検討したいです。
↓PixAI全体の解説記事はこちら。
↓元画像に用いた陰に関する画像加工については以下をご参照ください。
↓色々光らせたいときに参考にしてみてください。
↓武者修行スタシス編ではシーン再現に挑戦！
↓イリスとは反対にトリガーワードのみが有効なキャラもいるっぽいです。
