ズバリ！ 3DとAIは対立関係にあると見せかけ、結局共闘すると見た
少年漫画のコラボでよくあるやつですよね。途中で共通の悪者があらわれて、なんやかんやで協力するってパターン
ということでどっちもかじっておいたほうが、後々便利な気がする
目指せ！ いいとこどりですね
要約
このページではPixAI.artのControlNetやLoRAで遊んでみた結果をもとに、現状のAI画像生成がどのような用途に使えそうなのかを考察します。
さらに3DキャラクターとAI生成キャラクターを比較し、ラノベの挿絵作成にたいする向き不向きを表であらわして検証します。
結論は、現状ラノベ挿絵の作成には3Dキャラクターのほうが向いている、というものです。しかしAI画像生成はご存じのとおり進化のスピードがやたら速いので、今後もしっかりチェックを続けていきたいと考えています。
はじめに
PixAI.artのControlNetやLoRAで色々遊んでみた結果、現状のAI画像生成でどんなことができるのか（一般的な知識の人間が、あまりお金をかけずに）ある程度分かってきました。
では、これらを使って当サイトが目指すラノベの挿絵作成ができるのでしょうか？ それとも従来通り、3Dキャラにお願いしたほうが良いのでしょうか？ これを考えるには、まず何が必要なのかを明らかにしなければなりません。というあたりからアレコレ考えてみます。
具体的に言うと以下のような順序ですよ。
①AI生成キャラの再現性と用途
②現状AI生成はどんな感じか
③3DキャラとAIキャラの比較
この記事の前提となるのは以下のページです。
↓ControlNetの基本的な遊び方と「Strength」について
↓特にCanny（線画抽出）について
↓追加されたMethodを色々試した結果
↓追加学習LoRAについて
↓3DキャラとAIキャラどちらが好きかの投票結果
それぞれ参考にしていただければ、さらに楽しめるかと思います。
3DキャラとAI生成キャラの比較
①AI生成キャラの再現性と用途
このサイトの目的はラノベの挿絵作成です。色々と試してAI生成キャラで最も苦労したことは同じキャラクターを生成できないこと、再現性の低さです。
この点について、生成されたキャラクターの再現性がどの程度であれば、どのような用途に使うことができるのか、考えてみました。だいたい以下のような関係にあるかと思います。
| 再現性 | 備考 | 用途イメージ |
| Ⅰ. 何もかも違う | 同一キャラを生成できない | 見栄えのいいイラスト |
| Ⅱ. 髪の色、髪型は同じ | 別の日の同一キャラ | 挿絵の少ないラノベ |
| Ⅲ. 服がだいたい同じ | 同じ日の同一キャラ（読者甘い） | 非商業用ラノベ挿絵 |
| Ⅳ. 服が同じ | 同じ日の同一キャラ（読者キツイ） | 商業用ラノベ挿絵、マンガ |
Ⅰ. 何もかも違う
生成したキャラクターが何もかも違えば、当然同一キャラとは認識されません。この状態の用途としては見栄えのいいイラストくらいでしょうか。
登場人物紹介しか絵がないよ、というのであれば、ラノベにも使えるかもしれません。あとは表紙オンリーとか？ そんな感じの単発イラストであれば、何しろ魅力的ですので十分活躍できます。
Ⅱ. 髪の色、髪型は同じ
このくらいの再現性があれば、同一キャラと言い張ることが可能になります。乱暴？ しかしプロの漫画家でも顔の区別が怪しかったりします。鳥山明だって自虐ネタにしてましたし。別の日の同一キャラですよ、といえば誤魔化せるんじゃないでしょうか。
あまり挿絵が多くないラノベでしたら、わりといけるんじゃないかなと思ってます。もちろん見栄えのいいイラストとしても十分使えます。○○ちゃんのオフショットです、的な感じで逆に面白がってもらえそうです。
Ⅲ. 服がだいたい同じ
このレベルの再現性になると、読者があまり気にしなければラノベの挿絵として十分使えます。戦闘中に服のディテールが多少変わったところで、気にしない人は気にしない。たぶんアマチュア的には問題ないじゃないでしょうか。
じゃあプロが書いた本、商業誌で挿絵がそんなふうだったら？ やっぱりちょとツッコみたくなると思います。同じ理由でマンガでもちょっとキツイんじゃないかなぁと思ってます。ということで読者が甘い、非商業誌なら使えそうです。
Ⅳ. 服が同じ
実際に現在売られているラノベの挿絵や、マンガなんかはこれです。ここまでの再現性があれば最高です。挿絵であれば直後の場面、マンガであれば次のコマで服が変わらなければ、違和感のない表現ができます。
逆に言えば、厳密にこれって絶対必要か？ という問題もあります。顔の区別が十分できていれば、服が全く変わっても同じキャラと認識されます。……でもまあ、それはまた別の話。当サイトでも目指すレベルはここです。
②現状AI生成はどんな感じか
おそらく現状は普通にやって「Ⅰ. 何もかも違う」と「Ⅱ. 髪の色、髪型は同じ」の間ではないでしょうか。
特に何も考えずに「black short hair」とか「red long hair」とかやると、だいたい同じような髪のキャラが出てきます。
たまに髪型が少し変わりますけど、もう少ししっかりプロンプトを書けばマシになりそう。なのでちょっとⅡよりでしょうか。あんまり特徴的な髪型だと再現性は低くなりそうです。大きなアホ毛がトレードマークとか、外ハネ・内ハネにこだわるとか。そういうのは難しい予感です。
追加学習のLoRAを使うと「Ⅲ. 服がだいたい同じ」まで行けるかと思います。
特徴的な髪型もしっかり再現してくれそう。オリジナルキャラを追加学習してもらうのはまだ高嶺の花ですけど、いちおう光は見えているわけです。
そんな感じで、現状のAI画像生成技術はラノベの挿絵にある程度使えそうなレベルにあるかと思います。実際使われている方も多いですし。
ただしやっぱり特徴的なオリジナルキャラを、同じ服装で再現するのは難しい。なのでAIが生成しやすい一般的なキャラが選ばれていて、微妙に毎回服が違うよ、ってことが多いんじゃないでしょうか。
③3DキャラとAIキャラの比較
以上の再現性に関する考察を元に、3DキャラとAIキャラの比較をおこないました。
比較には両者の中間として、当サイトでたまにやっている3DとAIの中間も加えます。3Dキャラを元画像にしてControlNetのCanny（線画抽出）やらHED（輪郭抽出）やらでAI画像生成してもらう方法です。
項目としては再現性の他、キャラクターの魅力、任意のポーズを取ってもらえるか、があるかと思います。すべて主観であり、とりあえず現状で一般人が使えるレベルの技術を想定しています。
| 3Dキャラクター | 中間 | AI生成キャラクター | |
| 再現性 | ◎ | 〇 | △ |
| 魅力 | 〇 | △ | ◎ |
| ポーズ | ◎ | △ | ✕ |
まず再現性は3Dキャラが最強。
何しろ同じデータなんですから、違って見えたら錯覚ってレベルです。次点は中間。頑張れば同じキャラが生成されます。AIキャラはLoRAが使えれば〇になりますが、オリジナルキャラの追加学習がハードル高いので△です。
お次の魅力は個人的にAIキャラが僅差で一位。
3Dキャラも好きなんですけど、若干AIに軍配が上がります。中間はちょっとイマイチになりがちな傾向があります。魅力の点ではAIに手を加えてもらわず、3Dそのままのほうがずっと良いと思ってます。
最後の項目、ポーズはやっぱり3Dがトップ。
3Dキャラならどんなポーズでもとってもらえますし、表情も簡単に変えられます。中間も似たような感じですが、パンチがラリアットになったりします。AIキャラは棒人形を使えればもっと良さそうですが、斜め上解釈が待ってる気がします。
じゃあ当サイトではどうするのか？
表を見れば明らかですね。このまま3Dキャラクターのお世話になり続けます。三項目中二項目が◎、残る魅力も〇ですから明白な結果です。注力すべき点としては3Dキャラクターの魅力を今以上に引き出し、〇を◎にすることです。今後はこれを考えたいと思っています。
しかし、AI生成キャラを諦めるのももったいない。何しろ勢いのある分野ですから、「Ⅳ. 服が同じ」状態に思ったよりも早く到達するかもしれない。
こんな感じで、色々考えましたけど結局方針はこれまでと変わりません。3Dキャラクターを使いつつ、AI画像生成の進化をチェックする。あとは出たとこ勝負です。
個人的には両者はこのあと無駄に争わず共闘する気がします。
3Dキャラクターの生成に画像やらプロンプトやらが使えたら面白そうです。著作権的にアレな気もしますが、敵役やら村人やらを簡単に出力できたら、今よりもっと用途が広がる気がします。VRoid Hubがあるわけですからやってできないことなさそう。
AI画像生成は積極的に3Dキャラクターの技術を取り入れる予感。LoRAで画像を何枚も読みこませるよりなら、3Dキャラのvrmデータを読み込ませた方がずっと効率が良い。すでに最新技術は3Dとがっちり融合しているのかもしれませんし。
ということ当サイトは3Dキャラクターのお絵かき技術を磨きながら、新しい技術が下々まで降りてくるのをじっくり待つことにします。
まとめ
このページではPixAI.artのControlNetやLoRAで遊んでみた結果をもとに、現状のAI画像生成がどのような用途に使えそうなのかを考察しました。
さらに3DキャラクターとAI生成キャラクターを比較し、ラノベの挿絵作成にたいする向き不向きを表であらわして検証しました。
結論は、現状ラノベ挿絵の作成には3Dキャラクターのほうが向いている、というものです。しかしAI画像生成はご存じのとおり進化のスピードがやたら速いので、今後もしっかりチェックを続けていきたいと考えています。
↓当サイトのPixAIまとめページはこちらですよ。
↓進化のスピードは速い。ということでいつの日にか庶民も自作LoRAで遊びたいです。
↓とんでもなく速い流れに取り残されてないようにしたい今日この頃です。
