PixAI神LoRA学習編

358ai_image_pixai_mylora_00eyecatch AI画像生成
広告
サスケ
サスケ

ついにこの日が来た! PixAI神がLoRA学習を始めた!

ミノ子
ミノ子

やりましたね! これでPixAIに死角なし!

サスケ
サスケ

うおおおおおおおー! もってくれよ! オレのクレジット!

ミノ子
ミノ子

変な検証ばっかりするからですよ

Kindle本に挑戦中です(以下商品リンク)
その肉体の性能だということを忘れるな
他にも何冊かあります
無料体験でも読めます。ご興味あれば是非!
「Kindle Unlimited」メンバー紹介プログラム

要約

PixAI.artの新機能LoRA学習で楽しく遊びます。まずはPixAI.artで生成したAIイラストキャラでLoRA学習。お次はVRoid Studioキャラを用いたLoRA学習に挑戦。今回は一勝一敗の引き分けですけど、そのうちリベンジしたいです

はじめに

AIイラストをラノベ挿絵に応用したい。そのためにLoRA学習して、同じキャラクターを安定して生成してもらいたい。常々そう考えていた当サイトが、PaperspaceでオリキャラLoRA学習を始めたのが今年五月。わずか三か月後、PixAI.artにLoRA学習機能実装です。

学習画像の準備とLoRA学習にかなりのコストがかかりますけど、問題ありません! 私のクレジットは五十三万です! ということで溜めに溜めたクレジットを使うのはいつ? 今でしょ!

もちろん学習画像には注意しましょう。たいていの人は、自分が苦労して描いたイラストを勝手にAIイラストの学習に使われたら嫌なものですし、場合によっては法的な問題になってしまうかもしれません。ご利用は計画的に!

*PixAI.artではモデル選択の項目に権限が記載されるようになりました。それによると一部のモデルは商業利用NG、さらにはクレジット明記が必要になります。(2023年11月29日追記)

↓さすがPixAI.art! 私たちが出来ないことを出来るようにしてくれる!

↓早速PixAI.artを始めたいあなたは以下をご参照ください!

LoRA学習で新しい世界に突入!

基本的な遊び方

LoRA学習の遊び方を紹介! ……する必要は実のところあんまりなくて、以下で詳しく解説されてます。ライチちゃんさんのツイッター(今風に言うとポスト)に記載されている動画です。英語の音声はお手上げですけど、雰囲気はわかる気がします(at least 10とか)。

・最低十枚、最大百枚の画像をもとにしてLoRA学習

・25,000クレジット必要(8月26日まで初回ゼロ)

だいたいこんな感じ? 詳しくは後述します。もう遊びたくてしょうがないので、さっそく先に進みます!

実際に触ってみましたよ

まずはPixAI.artのサイトへGo!

PixAI - Anime AI Art Generator for Free
Unlock creativity with PixAI's AI art generator. Generate high-quality anime AI art effortlessly. Explore AI tools, char...
358ai_image_pixai_mylora_01top
PisAI神LoRA学習編 – トップ画面

8月26日現在のPixAI.artトップ画面は上のような感じです。右上の「モデル学習する」あるいは左下「LoRA学習」を選択。

358ai_image_pixai_mylora_02lora_up
PixAI神LoRA学習編 – LoRA学習画面(上の方)

LoRA学習画面(上の方)はこんな感じです。メール認証にご興味ある方は以下に詳しく書いてあります。

ベースモデルは「Moonbeam」、「Anything V5」、「Diamond」、「Neverland」、「Whimsical」、「Hassaku」、「RealisticvisionV51」から選択できます。各モデルについては以下をご参照ください。……と思ったら「RealisticvisionV51」は新規追加っぽい。

イメージと近いモデルを使用するって感じですかね。「RealisticvisionV51」は試したことないですけど、リアル系ならこれ一択でしょう。迷ったら「Anything V5」にすれば良いってライチちゃんが言ってるので、その通りだと思います!

お次は「Step 1:基本設定」です。

「LoRA名」はそのものズバリLoRAの名前です。なんでも良いんだと思いますけど、わかりやすいのにしておいた方が良さげ。私の場合は「minokoschool」とか「irishell」とかキャラ名と特徴、みたいな感じにしています。

「LoRAタイプ」は「アニメキャラ」、「リアルキャラ」、「アートスタイル」、「風景」から選べます。風景が欲しいのに油断するとかわいい女の子が出てきがちなAIイラストにおいて、「風景」しばりは地味にありがたいかも。

358ai_image_pixai_mylora_03lora_down
PixAI神LoRA学習編 – LoRA学習画面(下の方)

「トリガーワード」は「キャラクターの基本的な特徴を入れるように」とあります。前述の動画ではキャラクター名以外に、髪の毛の色、瞳の色、髪型をカンマ区切りで入れてます。Stable Diffusionとちょっと違う? ……今回の検証ではガン無視してしまいました。

その他「1024px以上の場合より良い結果が得られます」、「1つの被写体、またはキャラクターだけ」などの注意事項が並んでいます。……1024pxはコストがヤバいです。今回は512pxで勘弁してください。

基本設定が終わったら「Step 2: 学習用の参考画像を選ぶ」へと進みます。

画像はこれまで生成した履歴から選んでも、アップロードしてもどちらでもOK。十枚~百枚の範囲です。少ないより多いほうが良さそうですけど、そのあたりの検証はクレジット的に無理がある気がしするので、手を出しません!

全ての準備が整ったら「学習開始」ボタンを押します。クレジットは一回25,000。二日半我慢すればLoRA学習ができる計算です。このコストが高いか低いか? 個人的には格安な気がします(もともと無料ですけど)。

Paperspaceでは一回の画像生成で約10秒、LoRA学習で早くて90分=5400秒かかりました。時間だけでいえば、LoRA学習は540倍のコストがかかってもおかしくないと思います。なのに画像生成の25倍に満たないコストで学習可能。桁違いのおトクさです。

学習開始ボタンのクリックが受け付けられたら、「LoRA学習開始」の案内が出て(左画像)、プロフィール画面の作品タブ、モデル/LoRAs(ローラ)の項目に「LoRA学習待ち」が追加されます(真ん中画像)。

学習が終わるとシステムから通知が来て(ベルマークに赤で数字がつく)、終了を知らせてくれる親切設計です(右画像)。

正直とんでもなく時間がかかると思って、ログアウトして他のことをしてました。4時間後に見てみたら、2時間前に終わりました、って言われたので、大体2時間±1時間かかったっぽい。2回目はもうちょっとちゃんと見てて、大体1時間半で終わりました。

面倒な設定が一切ないのが、とっつきやすくてありがたいです。繰り返し数とかエポック数とか関係なし。イイ感じで選んでくれている……、んだと思います。となると、後はやっぱりAIイラストとしての出来栄え、当サイトが気にする再現性が気になります。

爆誕AIミノ子LoRA!

まずはAIイラストキャラで挑戦! モデルは「Anything V5」、「smile, black short hair, white robe」+作風プロンプトで、学習画像となるAIミノ子を量産しました。作風プロンプトとは当サイトでよく使っているプロンプト。詳しくは以下をご参照ください。

ちなみに以下のような感じです。以前生成したものの流用含めて30枚準備しました。……20,000クレジット近く使用。死ぬかと思いました。

お次はLoRA学習です。ベースモデルは「Anything V5」、LoRA名とトリガーワード「aiminoko」、LoRAタイプ「アニメキャラ」としました。実はこれ二回目なので、25,000クレジット使ってLoRA学習! ここが踏ん張りどころだ! 

出来上がったLoRAで比重「1.0」、モデル「Anything V5」、トリガーワードのみで生成プリーズ!

大成功です! トリガーワードのみでしっかり画像を生成してもらえました。もちろん作画崩壊もありませんよ。瞳の色とか指定すれば、もっと安定したのかもしれません。いずれにせよ、これで似たようなキャラをいくらでも量産可能です!

……とはいえ、これではコストメリットが悪すぎます。普通に1,800クレジットで「一括(×4)」生成したら、ハズレが多かった場合でも、1枚はそれっぽいのがあるはず。それなのに学習画像生成+LoRA学習で45,000クレジット使うのは割りに合いません。

じゃあLoRAの魅力は何か? といえば、やっぱり固定キャラでプラスアルファの指定が出来ることですよね。全部プロンプトでやると引っ張られる部分も、LoRAならブレにくい。たとえばポーズなんかがそうです。

ということで以前使った葉っぱ仮面の元画像で、LoRA比重「1.0」トリガーワードのみで、方法①「Openpose Full」生成、②「Openpose Full」+「ご参考までに」(比重0.7)生成です

これまたイイ感じのイラストを生成してもらえました。もちろん作画崩壊とは無縁です。方法①でも良いんですけど、②のほうがより元画像に近いです。反面、②は華やかさが落ちています。この辺りは比重でコントロールするべきなのかなぁ、と思っています。

当たり前の話かもしれませんけど、AIイラストキャラを用いたLoRA学習であれば、かなりいい感じにキャラを再現してくれそうです。

……問題は次ですよね。

PixAI版ミノ子LoRA、……惨敗

AIイラストで服装まで再現してもらうのは至難の業です。特に私が書いているラノベのような、特徴的な校章ワッペン付きの制服を着ていたりすると絶望的です。

ということで当サイトでは、VRoid Studioキャラを使ったLoRA学習を、Paperspaceでおこないました。これと同じようなLoRAのPixAI版を作りたい。AIイラストキャラで上手くいったので、お次はこれにチャレンジです。

ベースモデル「Anything V5」、LoRA名とトリガーワード、「minokoschoolpixai」、LoRAタイプ「アニメキャラ」、学習画像はPaperspaceと同様、VRoid StudioキャラをDream by WOMBO背景で撮影した30枚を使って、学習開始!

出来上がったLoRAを使って比重「1.0」、モデルは「Anything V5」と「Moonbeam」で、プロンプトは①トリガーワードのみ、②トリガーワード+「girl 1, solo」、③トリガーワード+「girl 1, solo, black short hair」で、いざ勝負!

……惨敗です。プロンプト①は全滅。崩壊が激しく載せられるレベルのものは出来ませんでした。②と③でかろうじて、って感じですけど、どうやらVRoid Studioキャラの学習は無理があったっぽいです。

けど実は、ポーズを付けるとなかなかイケたりする? などと甘い夢を見てみました。さきほど使った葉っぱ仮面ミノ子の再現に挑戦。ご参考までにPaperspace版ミノ子LoRAの画像も並べて載せますね。

「Openpose Full」で読み込んだ元画像のポーズを、Paperspace版ミノ子LoRAでは再現できてますけど(トリガーワードのみ)、PixAI版LoRAでは上手くいきませんでした(トリガーワードのみだと崩壊したので、+「girl 1, solo」)。

やっぱり難しいみたいですけど、考えてみたら、PaperspaceでLoRA学習はじめたばかりの頃も、すごいのができてたような記憶があります。そこから検証して、改良して、やっと今の状態まで来られたわけですよ。

PixAI.artのLoRA学習でも、学習画像を1024pxにしたり、背景を変えたりしたらもうちょっと何とかなるんですかね? そのうちリベンジするとして、今回はこのあたりが引き際っぽいです。

まとめ

PixAI.artの新機能LoRA学習で楽しく遊びました。まずはPixAI.artで生成したAIイラストキャラでLoRA学習し成功。お次はVRoid Studioキャラを用いたLoRA学習に挑戦し惨敗。今回は一勝一敗の引き分けですけど、そのうちリベンジたいです!

↓最近はAIイラストの実践応用に興味津々。

↓アイキャッチは完全勝利ですけど、記事の中身は作画崩壊多めです!

↓リベンジ完了と言っていいですかね? いいえ! まだまだ改良の余地あり!

↓すでにラノベ挿絵応用は進んでいます! 目指せ! ランニングチェンジ!

↓Paperspaceには今後もお世話になりそうな予感です。

↓3DキャラとAIイラストキャラの相互乗り入れはまだ先の話なんですかね?

↓ハイパーチェンジ画像での学習は惨敗でした……。

↓LoRA受け入れ態勢は十分です。バッチリポーズを再現できます!

↓LoRA検証にはクレジットが必要です。しかし! 会員になれば怖くない!