PixAIの新要素で遊びたいし、LoRAでも遊びたいし。困ったなー
……なんかわざとらしくないですか？
そうだー。PixAIの新要素を使って、LoRAで遊べばいいんだー
下手くそすぎる……
要約
PixAI.artの元画像お絵描き機能を使って、お気に入りの元画像のキャラクターを、自作LoRAのキャラクターに置き換える方法に挑戦します。半分達成したと思ってますけど、まだまだ道は険しい。もちろん、このままでもなかなか使えそうな予感です。
はじめに
サスケの棒読みはあまりにも下手くそですが、事実だと思います。どうせLoRAで遊ぶなら、新しく追加された要素で遊べば一石二鳥。ということで、今回はInpaintingで遊びます。
ベース画像を用いたAIイラスト生成は昔からありましたし、お絵描きもできました。Inpaintingは単純なお絵描きではなく、マスクをかけた部分だけが再生成される、って機能みたいです。追加されたのは4月なかば？。
……まあ、今回は結局普通のお絵描き再生成なんですけどね。いつの日かリベンジしたいです。
＊再検証の結果、Inpainting機能のマスク編集は「Strength」が重要なことがわかりました。詳しくは以下をご参照ください（23/06/13追記）。
↓PixAI.artまとめです。近々発表されるらしいサブスクが気になります。
↓ミノ子LoRAの記事です。今回もこれの流れで遊びますよ。
inpaintingで再生成
まずは新しい自作LoRAの確認
前回までの検証で自作ラノベのキャラクターであるミノ子のLoRA学習ファイルが完成しました。画像数30、繰り返し数10、エポック数24です。
なんですけど致命的な問題があって、背景画像に枠があったので生成したAIイラストに枠が入ることがある、……あまりにもマヌケなミスでした。気を取り直して新しくしたので、その検証からです。
前回と同じようにPaperspaceのStable DiffusionでLoRA学習ファイルを作成して、PixAI.artに投稿。モデルは「Moonbeam」で、比重「1.0」、プロンプトはLoRA+「1giril, smile」で画像を出力してもらいました。
あれ？ 髪切った？ お母さんにむりやり髪の毛を短くされた中学生みたいじゃね？ 前回と学習した画像が微妙に違うので、ちょっとした差が影響しているのかも。知らんけど。
それにしても黒髪ショートカット、白いローブ、赤いリボン、変な校章ワッペンのパーフェクトミノ子です。新しく作ったLoRAもこれまでどおり大成功、と言って良いのではないでしょうか。
では、inpaintingとLoRAを使って面白おかしく画像を修正できるのか？ 検証したいと思います。前回のアイキャッチで使った「魔法を使ってるっぽい女の子」を元画像にして、プロンプトはLoRAだけでAIイラスト生成。
左側の元画像から、右側のミノ子LoRA画像を生成できました。ダメもとでやったわりには、中々良さげ？
お腹とか腰回りとか、破綻しているところは多いですけど、元画像＋LoRAだけでここまでできました。っていうか逆にこれだけで完璧だったら、今回の記事成り立たないし、望むところです！
inpaintingで修正
inpaintingとは何か？ 全てPixAI.artの公式ツイッターに書いてあります。だいぶ前に見かけたときから、気になってはいたのですよ。LoRAを導入したらぜひ使ってみたいなー、なんて感じで。
素晴らしい。素晴らしいじゃないですか！ 具体的には画像生成画面の、元画像の横にある「描く」から編集ウィンドウに進みます。
左画像が編集ウィンドウです。赤枠内が「編集」であることを確認し、「ペン」マークにして画像にマスクをかけていきます。やり直しもあるし、マスクサイズも選べます。右画像は編集機能の説明です。編集ウィンドウ一番右の「？」マークオンマウスで出てきます。
ここで再描画してほしいのはミノ子のお腹と腰回り、あと左手もアレなのでマスクします。これで「done」ボタンを押し、ふたたびプロンプトにLoRAだけを入れてAIイラスト生成。待ってて！ パーフェクトミノ子！
……あれ？ 上手くいってませんよ？ 生成された画像が、元画像と同様に破綻しています（左画像）。
ひょっとしてLoRAと一緒だから？ と思ってLoRAを外して「girl1, smile」だけにしてみましたけど結果は変わらず（右画像）。じゃあ一度元画像をダウンロードして、透過pngを元画像にしてみたら？ ってのもやってみたけどダメ。
どうやら何かのやり方だか設定だかを間違ったようで、マスクが設定されていないっぽいです。後日しっかり調べてリベンジしたいです！
inpainting? って言うか普通のお絵描き
早々にあきらめて昔ながらのお絵描き作戦に変更しました。
さきほどの編集ウィンドウで、「編集」を外した状態にします（左画像）。それぞれ色を選んで、大雑把にお絵かきして「done」。この状態でLoRA生成すると上手くいきました（右画像）！ ……うーん、なんかちょっと悔しいけど良しとするか。
ここまで来ればこっちのものです、あとはこれをベース画像にして、LoRAを外して自然にしたり（左画像）、ふたたびLoRAをつけて再現性上げたり（真ん中画像）、なんとなくモデルを変えてみたり（右画像、Moonbeam⇒Anything V5）で修正を繰り返します。
満足いくまで遊んだらそれで終了。最初の見るからに魔法的な青い光はなくなってしまいましたが、なんとなく水系とか氷系とかの魔法を使っているように見える？ 見えていただきたいです！
ということでinpaintingはちょっと残念でしたけど、お絵描きを使って、お気に入りの元画像の雰囲気に自作LoRAキャラクターを近づけられることがわかりました。なかなか使い勝手が良いと思いません？ 元画像のキャラだけオリジナルキャラに変更できるんですよ？
近いうちにinpaintingiの使い方を覚えて、より元画像の雰囲気を残したまま、自作LoRAのオリキャラで再現できるようにしたいと思います！
まとめ
PixAI.artの元画像お絵描き機能を使って、お気に入りの元画像のキャラクターを、自作LoRAのキャラクターに置き換える方法に挑戦しました。半分達成したと思ってますけど、まだまだ道は険しい。もちろん、このままでもなかなか使えそうな予感です。
inpainting機能あるいは、そのほかPixAI.artに追加された新機能を使って、あるいはAIイラストのスキルを上げればなんとかなる？ より元画像の雰囲気に近い状態での、オリジナルキャラ置き換えを模索していきたいと思います。
↓PixAI.artに興味が出てきた方はこちら。
↓LoRA学習に興味が出てきた方はこちら。
↓PixAI.artへのLoRA投稿に興味津々なかたはこちら。
↓「ご参考までに」機能での入れ替えにも挑戦していますよ。
↓アニメっぽいイラストに「Moonbeam」は不向き？ 検証中ですよ。
