ComfyUIとローカルLLMでプロンプト作り~規制あり・なし比較~

ComfyUI×ローカルLLMでプロンプト作り、規制あり・なし6モデル比較の文字と、LLMなしとLLMありのタグで描いた金髪の女騎士の絵2枚 AI

今さらな内容かもしれないが、今回はローカルLLMに画像生成のプロンプトを書かせてみた、という記事。書かせたプロンプトを使って ComfyUI で実際に画像を生成し、LLM を使った場合と使わなかった場合(タグを直接書いた場合)でどんな差が出るのかを試してみた。あわせて、LLM の規制あり・なし(abliterated)で差が出るのかも比べている。

ComfyUI・Ollama・各モデルのインストールは割愛。ComfyUI 自体はWindows版 ComfyUI のインストール、ワークフローの基本はワークフローの初歩に書いている。

- PR -

先に結論

細かい話は後に回して、今回見えたことを先に書いておく。

  • 主な要素(人物・服・持ち物・場所)は、どの LLM でもだいたい絵に出る
  • ずれるのは、LLM がタグを書き落としたときと、頼んでいないタグを足したとき。絵のモデルは書いてあるとおりに描くので、タグのずれがそのまま絵のずれになる
  • 規制あり・なしで、翻訳の上手さに大きな差は見えなかった。ただし Qwen3 14B の規制なし版だけは、壊れたタグが目立った
  • ガチャの要素が強いので、ここで出た差も、回し直せば消えるかもしれない
  • LLM を挟むと、1 枚あたり 8〜13 秒くらい増える(RTX 5070 の場合)

今回の比べ方

規制なし版は、規制ありのモデルでは断られるような内容を書かせたいときに使うもの。ただ、規制を外す加工でそもそもの賢さが落ちていたら意味がない。ということで、まずは一般的な題材で、規制あり・なしの「日本語の指示をタグに訳す力」を比べてみる。

比べ方はこう。先に LLM なしで、絵のモデルがちゃんと描けるタグを作る。それを基準にして、同じ中身を日本語にしたものを LLM に渡し、出てきた絵が基準からどれだけずれるかを見る。

  • LLM なし:タグを直接書いて絵を作る。要素が全部絵に出るまでタグを直し、絵の seed を変えても出ることを確かめた
  • LLM あり:そのタグの中身を日本語の指示にして LLM に渡し、LLM が書いたタグで絵を作る

例えば女騎士の LLM なし版は、絵の seed を 3 つ変えてもこう描ける。

LLMなしのタグで、絵のseedを変えて描いた女騎士3枚。どれも金髪で片膝をつき、剣を立てている

題は 5 つ(女騎士・魔法使い・パイロット・浴衣の女性・電車の青年)。LLM は 3 組 6 つで、同じ元のモデルから、元のもの(規制あり)と規制なし版を 1 組ずつ選んだ。どれも 12 GB の GPU に載る大きさ。

組規制あり規制なし(abliterated)
Gemma 4 12BGemma 4 12BGemma 4 12B 規制なし
Qwen3.5 9BQwen3.5 9BQwen3.5 9B 規制なし
Qwen3 14BQwen3 14BQwen3 14B 規制なし

絵のほうは、モデル・設定・seed をすべて同じにした。違うのはプロンプトだけ。LLM は seed を 3 つ(1001〜1003)変えて、3 回ずつ回した。

※規制なし(abliterated)は、LLM が「答えられません」と断る仕組みを取り除いた版、らしい。詳しくは最後の補足に。

試した環境とかかった時間・メモリ

この PC での値なので、目安として。

項目内容
GPUGeForce RTX 5070(VRAM 12 GB)
主メモリ64 GB
ComfyUI0.45.3
LLM を動かすノードcomfyui-ollama 2.1.0(stavsap)+ Ollama
絵のモデルNova Anime XL IL v16.0(Illustrious 系の SDXL)
絵の大きさ832×1216 で描いて、拡大と描き足しで 1400×2048

1 枚を作るのにかかった時間(今回の 5 題 × 3 回の平均)と、メモリの使用量はこんな感じ。

LLM1 枚の時間(平均)VRAM 使用量(最大)主メモリ増加量(最大)
なし(タグを直接)37.9 秒——
Gemma 4 12B50.5 秒11.5 GB+6.8 GB
Gemma 4 12B 規制なし48.9 秒11.5 GB+8.7 GB
Qwen3.5 9B46.7 秒11.5 GB+5.6 GB
Qwen3.5 9B 規制なし45.6 秒11.5 GB+4.2 GB
Qwen3 14B50.3 秒11.5 GB+10.2 GB
Qwen3 14B 規制なし50.6 秒11.5 GB+9.8 GB

LLM を挟むと、1 枚あたり 8〜13 秒くらい増える。VRAM は 12 GB のほぼ上限まで使っていて、足りない分は主メモリに逃げている(主メモリが少ない PC だと厳しいかも…)。

※メモリの値は、同じワークフローで別の指示を回したときに測ったもの。指示が変わっても、LLM と絵のモデルの大きさは同じなので、ほぼ変わらないはず。

LLM を使った画像生成の流れ

ざっくりとこんな流れ。日本語の指示を LLM が英語のタグに直し、固定の画風のタグを前にくっつけて、あとはいつもどおり SDXL で描く。

日本語の指示をLLMが英語のタグに直し、画風のタグを足してSDXLで絵を描く流れの図

LLM と絵のモデルは同じ GPU を取り合うので、LLM は使い終わったらすぐ VRAM から外すようにしている(後の keep_alive)。

ComfyUI のワークフローにすると、こうなる。全体は大きいので、LLM の部分だけ載せる。

ComfyUIのOllama Connectivity・Ollama Options・Ollama Generateと、Concatenate Text・Preview as Textをつないだ画面

左上の Ollama Connectivity、左下の Ollama Options、真ん中の Ollama Generate の 3 つが LLM の部分。Ollama Generate の答え(result)を Concatenate Text で画風のタグとつなぎ、右の CLIP Text Encode から先は、ふつうの SDXL のワークフロー。Preview as Text は LLM が何を書いたか見るためのもので、なくても動くが、あったほうが絶対いい(理由は後で)。

各ノードの設定

LLM の部分・タグのつなぎ方・絵の部分の順に、設定した値と気をつけるところをまとめる。

LLM のノード

LLM の部分は、上の画面の 3 つのノードでできている。接続先とモデルを決める Ollama Connectivity、細かいオプションの Ollama Options、実際に指示を渡す Ollama Generate。設定した値はこのとおり。Ollama Options は、使う項目だけ enable_* を true にする。

ComfyUIのOllama ConnectivityとOllama Optionsの設定。keep_aliveは0、num_ctxは4096、temperatureは0.30、seedは1001、num_predictは300
ノード項目設定メモ
Ollama Connectivityurlhttp://127.0.0.1:11434Ollama の既定
model使う LLM の名前ollama list に出る名前
keep_alive0(単位 minutes)使い終わったら LLM を VRAM から外す。単位に seconds はない
Ollama Optionsnum_ctx4096既定のままだと Qwen3 14B が VRAM からはみ出して遅くなった
temperature0.3低めのほうが答えが安定する
seed1001 など変えると答えが変わる
num_predict300長すぎる答えを切る
Ollama Generatesystem役割の指示(下)
prompt日本語の指示Qwen3 は最後に /no_think を付ける
thinkオフ考える段階は要らない
keep_contextオフ前の答えを引きずらないように
formattext

Ollama Generate の system には、LLM の役割を書く。入れた指示はこれ。

You convert a Japanese image request into a prompt for an anime-style SDXL model (Illustrious). Output ONLY one line of comma-separated Danbooru-style tags in English, starting with: masterpiece, best quality, very aesthetic, absurdres. Include character count (e.g. 1girl, solo), appearance, clothing, pose, camera angle, background, lighting. No sentences, no explanations, no quotes.

上の欄に system(この指示)、下の欄に prompt(日本語の指示)を入れる。

ComfyUIのOllama Generateに、英語の役割の指示と日本語の指示を入れ、thinkとkeep_contextをfalse、formatをtextにしたところ

タグのつなぎ方

Concatenate Text(標準のノード)の string_a に画風のタグ、string_b に LLM の答えをつなぐ。delimiter は「, 」。画風まで LLM に任せると毎回バラバラになるので、固定した。比べるときの条件もそろう。

watercolor (medium), traditional media, paper texture, pale colors, soft edges, white highlights, highly detailed, intricate details, detailed background, detailed clothes, detailed eyes, detailed hair

画面ではこうなる。Concatenate Text の出力を CLIP Text Encode につなぎ、LLM の答えは Preview as Text にも分けて流している。

画風のタグを入れたConcatenate TextをCLIP Text Encodeにつなぎ、Preview as TextでLLMの答えを見るノード

絵のノード

絵の側は、ふつうの SDXL のワークフローに、拡大して描き足す部分を付けたもの。画面は negative だけ載せて、ほかは設定だけ書いておく。

項目設定
チェックポイントnovaAnimeXL_ilV160
大きさ832×1216
サンプラーeuler_ancestral・normal、28 steps、cfg 5.5
negativelowres, worst quality, bad anatomy, bad hands, text, watermark など(いつものもの)+避けたいもの(後述)
拡大して描き足す2x-AnimeSharpV4_RCAN で拡大 → 1248×1824 に縮める → dpmpp_2m・24 steps・denoise 0.4 → もう一度 2 倍 → 1400×2048 に縮める

denoise は上げすぎると構図が変わる。拡大のやり方はアップスケールのやり方とおすすめモデル比較に詳しく書いた。

negative に入れたのは、全部でこれ。最初の方はいつものもので、nsfw から後ろが避けたいもの(後述)。

negativeのCLIP Text Encodeに、lowresやnsfw、see-throughなど避けたいタグを入れたところ

生成した絵の比較

ここからが本題。題ごとに、LLM なし版のタグ、LLM に渡した日本語の指示、絵を並べる。絵の左の列が LLM なし、右の 6 列が各 LLM で、上から LLM の seed 1001・1002・1003。クリックすると大きくなる。

女騎士

使ったプロンプトは 3 つ。①LLM なしで直接書いたタグ、②その中身を日本語にして LLM に渡したもの、③LLM がそれを訳したタグ。

① LLM なしのプロンプト(タグを直接)

masterpiece, best quality, very aesthetic, absurdres, 1girl, solo, female knight, young, blonde hair, blue eyes, clenched teeth, silver armor, plate armor, shiny armor, on one knee, holding sword, planted sword, leaning on sword, sunrise, dawn, backlighting, sunlight, light rays, from below, dutch angle, full body

② LLM に渡した日本語のプロンプト

場面は朝焼けの早朝。金髪で青い目をした若い女騎士が歯を食いしばった表情で片膝を地面についている。大きな剣を杖代わりに立ち上がろうとしている。朝日は騎士の後ろから差し、その光で鎧が輝いている。カメラはやや傾きを持たせ、低い位置から見上げる感じで。騎士の全身が入る構図。

③ LLM が訳したプロンプト(1 回目、seed 1001。長いので畳んである。押すと開く)
※Qwen3 14B の頭にある </think> は、表示の崩れではなく、LLM が実際に出したゴミ。そのまま絵のモデルに渡ると悪さをすることがある(パイロットの背中の「THINK」)ので、使うなら消す仕組みがあったほうがいい。

Gemma 4 12B
masterpiece, best quality, very aesthetic, absurdres, 1girl, solo, young woman, knight, blonde hair, blue eyes, grimace, gritting teeth, kneeling, one knee on ground, struggling to stand, holding large sword, sword as cane, heavy armor, shining armor, lens flare, sunrise, dawn, backlight, silhouette, glowing edges, low angle, dutch angle, looking up, full body, cinematic lighting, dramatic shadows, battlefield background, morning mist

Gemma 4 12B 規制なし
masterpiece, best quality, very aesthetic, absurdres, 1girl, solo, young woman, knight, blonde hair, blue eyes, determined expression, gritting teeth, kneeling, one knee on ground, leaning on sword, large sword, heavy armor, shining armor, glowing, sunrise, early morning, backlight, golden hour, low angle, dutch angle, full body, outdoor, battlefield, cinematic lighting

Qwen3.5 9B
masterpiece, best quality, very aesthetic, absurdres, 1girl, solo, blonde hair, blue eyes, young female knight, gritting teeth, kneeling on one knee, holding large sword as staff, standing up, sunrise, morning, sun behind, backlight, shining armor, dynamic pose, low angle, tilted camera, full body, detailed armor, fantasy art

Qwen3.5 9B 規制なし
masterpiece, best quality, very aesthetic, absurdres, 1girl, solo, blonde hair, blue eyes, young, armored, knight, gritting teeth, one knee on ground, large sword, staff, standing up, backlit, morning sun, glowing armor, tilted camera, low angle, full body, dawn, early morning

Qwen3 14B
</think>
masterpiece, best quality, very aesthetic, absurdres, 1girl, solo, young, knight, blonde hair, blue eyes, armor, sword, standing, knee on ground, sunrise, morning, light from behind, glowing armor, low angle, slightly tilted camera, dramatic lighting, fantasy, medieval, detailed clothing, determined expression, holding sword as cane, full body shot

Qwen3 14B 規制なし
</think>
masterpiece, best quality, very aesthetic, absurdres, 1girl, solo, young woman, knight, golden hair, blue eyes, determined expression, kneeling, sword, standing up, morning light, armor, shiny, slightly tilted camera angle, low perspective, full body, sunrise background, dramatic lighting

女騎士の絵。左の列がLLMなしのタグ、右の6列がLLMのタグで、LLMのseedを変えて3回ずつ描いたもの

基準に近いのは Qwen3.5 9B(規制あり・なしとも)。Gemma 4 12B は 3 回とも空を見上げた(指示にない looking up を毎回足していた)。Gemma 4 12B 規制なしは、両膝をついたり、後ろに騎士の一団や花畑を足したりした。Qwen3 14B は 3 回とも石垣に座っている。standing と knee on ground を一緒に書いていて、立っているのか膝をついているのか、絵のモデルが迷ったらしい。Qwen3 14B 規制なしは膝はつくものの、歯を食いしばる表情が出なかった。

魔法使い

使ったプロンプトは 3 つ。①LLM なしで直接書いたタグ、②その中身を日本語にして LLM に渡したもの、③LLM がそれを訳したタグ。

① LLM なしのプロンプト(タグを直接)

masterpiece, best quality, very aesthetic, absurdres, 1boy, solo, old man, wizard, long white beard, dark blue robe, outstretched arms, casting spell, standing on magic circle, glowing magic circle, blue magic circle on floor, lit from below, floating books, open book, flying pages, library, bookshelf, round room, from above, high angle, full body

② LLM に渡した日本語のプロンプト

場面は丸い形の図書室で、周りは本棚に囲まれている。白く長いひげの年老いた魔法使いが、紺色のローブを着て、両腕を広げて呪文を唱えている。床には青く光る魔法陣があり、魔法使いはその上に立っている。魔法陣の光が下から魔法使いを照らしている。周りには開いた本が浮かび、ページが舞っている。カメラは高い位置から見下ろす感じで。魔法使いの全身が入る構図。

③ LLM が訳したプロンプト(1 回目、seed 1001。長いので畳んである。押すと開く)

Gemma 4 12B
masterpiece, best quality, very aesthetic, absurdres, 1old man, solo, wizard, long white beard, elderly, navy blue robe, casting spell, arms wide open, standing, circular library, bookshelves, magic circle, glowing blue magic circle, glowing light from below, floating books, flying pages, high angle, looking down, full body, cinematic lighting, magical atmosphere

Gemma 4 12B 規制なし
masterpiece, best quality, very aesthetic, absurdres, 1old man, solo, wizard, long white beard, white hair, navy blue robe, wide arms, casting spell, standing, circular library, surrounded by bookshelves, glowing blue magic circle, magic circle on floor, glowing light, bottom lighting, floating books, flying pages, high angle, bird's-eye view, full body, magical atmosphere

Qwen3.5 9B
masterpiece, best quality, very aesthetic, absurdres, 1old man, solo, long white beard, old wizard, blue robe, arms spread, casting spell, glowing blue magic circle, standing on magic circle, light from below, floating open books, flying pages, high angle shot, full body, round library, bookshelves surrounding, magical atmosphere

Qwen3.5 9B 規制なし
masterpiece, best quality, very aesthetic, absurdres, 1girl, solo, old wizard, long white beard, cyan robe, arms spread, casting spell, glowing blue magic circle, standing on floor, underglow, floating books, fluttering pages, high angle shot, full body, round library, bookshelves surrounding, magical atmosphere, ethereal lighting

Qwen3 14B
</think>
masterpiece, best quality, very aesthetic, absurdres, 1man, old man, long white beard, blue robe, arms spread, casting spell, floating books, glowing blue magic circle, floor, lighting from below, library, circular room, bookshelves, high angle, full body, magical atmosphere, anime style, detailed clothing, dynamic pose, fantasy, magical aura, 1man, solo

Qwen3 14B 規制なし
</think>
masterpiece, best quality, very aesthetic, absurdres, 1girl, solo, old man, white long beard, purple robe, arms wide, casting spell, circular library, surrounded by bookshelves, glowing blue magic circle on floor, lighting from below, floating open books, pages flying, high angle, full body, magical atmosphere

魔法使いの絵。左の列がLLMなしのタグ、右の6列がLLMのタグで、LLMのseedを変えて3回ずつ描いたもの

見下ろしの角度は、Gemma 4 12B 規制なしが LLM なし版に近い。ほかはどれも high angle を書いているのに、正面寄りの回が多い。それより目立ったのが人物で、Qwen3.5 9B は規制あり・なしとも、年老いた男の魔法使いに 1girl を付ける回があり、若い女の子のような顔になった。Qwen3 14B 規制なしは 3 回とも 1girl と old man を一緒に書き、ローブも指示の紺色でなく紫(purple robe)にしていた。

パイロット

使ったプロンプトは 3 つ。①LLM なしで直接書いたタグ、②その中身を日本語にして LLM に渡したもの、③LLM がそれを訳したタグ。

① LLM なしのプロンプト(タグを直接)

masterpiece, best quality, very aesthetic, absurdres, 1girl, solo, adult, pilot, orange flight suit, orange jumpsuit, short hair, black hair, holding helmet, helmet under arm, from behind, looking back, looking at viewer, smile, hangar, fighter jet, sunset, rim light, backlighting, depth of field, blurry background, upper body

② LLM に渡した日本語のプロンプト

場面は夕方の格納庫で、後ろには戦闘機がある。オレンジ色のフライトスーツを着た大人の女性パイロット。黒髪のショートヘアで、ヘルメットをわきに抱えている。後ろ姿から、こちらに振り返って笑っている。夕日が後ろから差して、体のふちが光っている。背景はぼかす。上半身が入る構図。

③ LLM が訳したプロンプト(1 回目、seed 1001。長いので畳んである。押すと開く)

Gemma 4 12B
masterpiece, best quality, very aesthetic, absurdres, 1woman, solo, adult, pilot, black hair, short hair, orange flight suit, holding helmet, looking back, smiling, looking at viewer, hangar, fighter jet, sunset, backlight, rim lighting, depth of field, bokeh, upper body, cinematic lighting

Gemma 4 12B 規制なし
masterpiece, best quality, very aesthetic, absurdres, 1woman, solo, adult, pilot, short hair, black hair, smiling, looking at viewer, holding helmet, orange flight suit, hangar, fighter jet, background blur, bokeh, sunset, backlight, rim lighting, golden hour, upper body, from behind, side view

Qwen3.5 9B
masterpiece, best quality, very aesthetic, absurdres, 1girl, solo, adult, pilot, black hair, short hair, orange flight suit, holding helmet, back view, looking back, smiling, sunset, backlight, rim light, bokeh background, upper body shot, hangar, fighter jet

Qwen3.5 9B 規制なし
masterpiece, best quality, very aesthetic, absurdres, 1girl, solo, adult, orange flight suit, black short hair, helmet held in hand, looking back, smiling, sunset, backlit, rim light, bokeh, upper body, hangar, fighter jet, evening, anime style

Qwen3 14B
</think>
masterpiece, best quality, very aesthetic, absurdres, 1girl, solo, adult, female, pilot, flight_suit, orange, short_hair, black_hair, helmet, back_view, smiling, sunset, lighting_back, blurred_background, upper_body, aircraft, hangar, evening, dynamic_pose, cinematic

Qwen3 14B 規制なし
</think>
masterpiece, best quality, very aesthetic, absurdres, 1girl, solo, adult woman, pilot, orange flight suit, short black hair, helmet, back view, looking back smiling, sunset lighting, blurred background, upper body shot, evening, hangar, fighter jet, side angle, soft light, warm colors

パイロットの絵。左の列がLLMなしのタグ、右の6列がLLMのタグで、LLMのseedを変えて3回ずつ描いたもの

オレンジのスーツ・振り返り・ヘルメットは、ほとんどの絵で出た。違ったのは Qwen3 14B(規制あり)の 1 回目で、スーツが紺色になった。Qwen 系はヘルメットを抱えずにかぶっている回もある。ちなみに Qwen3 14B 規制なしの 3 回目は、背中に「THINK」と書いてある。タグの頭に残った </think> を、絵のモデルが文字として拾ったっぽい。いや、そこ拾うのかよ。

浴衣の女性

使ったプロンプトは 3 つ。①LLM なしで直接書いたタグ、②その中身を日本語にして LLM に渡したもの、③LLM がそれを訳したタグ。

① LLM なしのプロンプト(タグを直接)

masterpiece, best quality, very aesthetic, absurdres, 1girl, solo, adult, dark blue yukata, navy blue yukata, white floral print, morning glory print, obi, hair bun, kanzashi, hair flower, holding uchiwa, looking back, smile, summer festival, night, paper lantern, food stall, goldfish scooping, warm lighting, bokeh, cowboy shot

② LLM に渡した日本語のプロンプト

場面は夏祭りの夜。提灯が並び、屋台や金魚すくいがある。紺色の生地に白い朝顔の柄の浴衣を着て、帯を締めた大人の女性。髪はおだんごにまとめて、花のかんざしを挿している。うちわを持って、振り返って笑っている。暖かい光で、背景はぼかす。太ももから上が入る構図。

③ LLM が訳したプロンプト(1 回目、seed 1001。長いので畳んである。押すと開く)

Gemma 4 12B
masterpiece, best quality, very aesthetic, absurdres, 1woman, solo, adult, mature female, smiling, looking back, holding uchiwa, japanese festival, summer festival, night, yukata, navy blue yukata, white morning glory pattern, obi, hair bun, hair ornament, flower hairpin, medium shot, from thighs up, bokeh, warm lighting, lanterns, food stalls, goldfish scooping, depth of field

Gemma 4 12B 規制なし
masterpiece, best quality, very aesthetic, absurdres, 1woman, solo, adult, beautiful face, smiling, looking at viewer, hair bun, hair ornament, flower hairpin, navy blue yukata, white morning glory pattern, obi, holding uchiwa, summer festival, night, lanterns, food stalls, goldfish scooping, bokeh, warm lighting, soft lighting, from thighs up, medium shot

Qwen3.5 9B
masterpiece, best quality, very aesthetic, absurdres, 1girl, solo, summer festival night, night, lanterns, food stalls, goldfish scooping, yukata, navy blue yukata, white morning glory pattern, obi, adult woman, hair bun, hair ornament with flower, holding fan, looking back, smiling, warm lighting, bokeh background, thigh up composition

Qwen3.5 9B 規制なし
masterpiece, best quality, very aesthetic, absurdres, 1girl, solo, summer, night, yukata, navy blue yukata, white morning glory pattern, obi, topknot, hair ornament, flower hairpin, holding fan, looking back, smiling, warm lighting, bokeh, festival, lanterns, food stall, fishbowl, thigh up, Illustrious

Qwen3 14B
</think>
masterpiece, best quality, very aesthetic, absurdres, 1girl, solo, adult woman, summer festival, night, lanterns, food stalls, goldfish scooping, indigo kimono, white morning glory pattern, obi, bun hair, floral hairpin, fan, turning back, smiling, warm lighting, blurred background, thigh up, dynamic pose, Japanese traditional clothing, cultural festival, soft focus, cinematic lighting, vibrant colors, detailed textures, anime style, illustrious, 1girl, solo, adult woman, summer festival, night, lanterns, food stalls, goldfish scooping, indigo kimono, white morning glory pattern, obi, bun hair, floral hairpin, fan, turning back, smiling, warm lighting, blurred background, thigh up, dynamic pose, Japanese traditional clothing, cultural festival, soft focus, cinematic lighting, vibrant colors, detailed textures, anime style, illustrious

Qwen3 14B 規制なし
</think>
masterpiece, best quality, very aesthetic, absurdres, 1girl, solo, adult woman, indigo kimono, white morning glory pattern, obi, bun hair, floral hairpin, fan, turning back, smiling, warm lighting, blurred background, thigh up, summer festival night, lanterns, food stalls, goldfish scooping, dynamic pose, shallow depth of field, traditional japanese style

浴衣の女性の絵。左の列がLLMなしのタグ、右の6列がLLMのタグで、LLMのseedを変えて3回ずつ描いたもの

いちばん差が出たのがこれ。LLM なし版は紺色の浴衣なのに、LLM 版は 18 枚とも白地に青い朝顔になった。ところが LLM のタグを見ると、ほとんどが navy blue yukata, white morning glory pattern とちゃんと書いてある(Qwen3 14B は indigo kimono)。LLM なし版は dark blue yukata, navy blue yukata, white floral print と紺を 2 回書いていて、どうも white morning glory pattern の white に浴衣全体が引っ張られたらしい。訳としては合っているのに、絵では違う結果になる例。

電車の青年

使ったプロンプトは 3 つ。①LLM なしで直接書いたタグ、②その中身を日本語にして LLM に渡したもの、③LLM がそれを訳したタグ。

① LLM なしのプロンプト(タグを直接)

masterpiece, best quality, very aesthetic, absurdres, 1boy, solo, young man, grey hoodie, headphones, sitting, chin rest, looking out window, train interior, by window, blue sky, cumulonimbus cloud, green rice field, summer, day, sunlight through window, from side, profile, upper body

② LLM に渡した日本語のプロンプト

場面は夏の昼、電車の中。窓ぎわに座った若い男性が、グレーのパーカーを着てヘッドホンをしている。頬杖をついて、窓の外を見ている。窓の外には青空と入道雲、緑の田んぼ。窓から日差しが入っている。カメラは真横から、横顔が見える上半身の構図。

③ LLM が訳したプロンプト(1 回目、seed 1001。長いので畳んである。押すと開く)

Gemma 4 12B
masterpiece, best quality, very aesthetic, absurdres, 1boy, solo, male focus, young man, grey hoodie, headphones, sitting, window seat, leaning on hand, looking out window, profile, side view, upper body, train interior, summer, daytime, sunlight, lens flare, blue sky, cumulonimbus clouds, green rice fields, rural landscape, outside view, cinematic lighting

Gemma 4 12B 規制なし
masterpiece, best quality, very aesthetic, absurdres, 1boy, solo, young man, grey hoodie, headphones, resting chin on hand, looking out window, side view, profile, upper body, sitting, inside train, summer, daytime, bright sunlight, window, blue sky, cumulus clouds, green rice fields, scenic view, cinematic lighting

Qwen3.5 9B
masterpiece, best quality, very aesthetic, absurdres, 1boy, solo, summer, daytime, train interior, sitting by window, young man, gray hoodie, headphones, resting cheek on hand, looking out window, blue sky, cumulus clouds, green rice fields, sunlight streaming through window, side view, profile, upper body, anime style

Qwen3.5 9B 規制なし
masterpiece, best quality, very aesthetic, absurdres, 1male, solo, summer, daytime, train interior, sitting by window, young man, grey hoodie, headphones, resting chin on hand, gazing out window, blue sky, cumulus clouds, green rice fields, sunlight streaming in, side profile, upper body, medium shot

Qwen3 14B
</think>
masterpiece, best quality, very aesthetic, absurdres, 1male, solo, young man, gray hoodie, sitting by window, earphones, resting chin on hand, looking out window, summer day, inside train, blue sky, cumulus clouds, green rice fields, sunlight through window, side view, upper body, realistic lighting, soft shadows, anime style

Qwen3 14B 規制なし
</think>
masterpiece, best quality, very aesthetic, absurdres, 1boy, solo, young man, gray hoodie, sitting by window, headphonest, cheek on hand, looking outside, summer day, train inside, blue sky, inrō clouds, green rice fields, sunlight through window, side view, upper body, camera angle, soft lighting, realistic background

電車の青年の絵。左の列がLLMなしのタグ、右の6列がLLMのタグで、LLMのseedを変えて3回ずつ描いたもの

パーカー・頬杖・窓の外の田んぼは、どれも出た。ずれたのは Qwen3 14B の 2 つで、規制ありは 3 回ともヘッドホンでなくイヤホン(earphones)を書いた。規制なしは headphonest・headphoned と壊れたタグを書いて、ヘッドホン自体が消え、なぜかカメラを持っている回もある。

5 つを通して見ると、主な要素はどの LLM でもだいたい拾える。ずれた所は、ほとんどが「タグの書き落とし」か「頼んでいないタグの足し」で説明がつく。ただ、どれも 3 回ずつしか回していないので、もっと回せば出たり消えたりするかもしれない。

- PR -

LLM が書いたタグとモデルの癖

絵の差がどこから来たのか、上の③の訳を見比べると、モデルごとの癖が見えてくる。

ぱっと見どれもそれっぽいが、よく見ると癖がある。

  • Gemma 4 は、指示にない言葉を足しがち。looking up・lens flare・cinematic lighting・battlefield background など。足した分だけ、絵が基準から離れる
  • Qwen3.5 9B は、指示どおりに短くまとめる。ただ、人物の書き方が雑で、老人に 1girl を付けることがある
  • Qwen3 14B は think をオフにしても考える段階が出るので、prompt の最後に /no_think を付ける。それでも頭に </think> が残る(上のとおり、背中の文字になったこともある)
  • Qwen3 14B は、standing と knee on ground のような矛盾したタグや、headphonest のような壊れたタグを書く。規制なし版のほうが多かった

余計なタグが 1 つ 2 つ混ざるだけで、絵は結構変わる。何を書かないかも、プロンプトの上手さのうちっぽい。

ハマったところ:Qwen3 14B 規制なしがタグを書かない

いちばんの事件はこれ。Qwen3 14B の規制なし版が、15 回とも 1 つもタグを書かなかった。日本語の指示をそのまま繰り返したり、見出し付きの解説を書いたり、中国語に訳したり。当然タグは効かず、画風のタグだけで描いた「お任せの女の子」が出てくる。

女性騎士を頼んだのに、猫耳で水色のワンピースの少女が描かれた絵

ここでは女騎士を頼んでいたのだが、ずいぶんかわいい女騎士だな…。というわけで設定を確認。

原因は Ollama のテンプレート。Hugging Face から ollama pull したこのモデルは、テンプレートが {{ .Prompt }} だけになっていた。

順番に説明すると、まず system の指示は、Ollama Generate の上の欄に入れた英語の文のこと。「日本語の指示を、タグ 1 行に訳せ。説明は書くな」という、LLM の役割を決める指示で、毎回の日本語の指示(下の欄の prompt)とは別に渡している。次にテンプレートは、この system と prompt を、モデルが学習したときと同じ会話の形に組み立てる型のこと。Qwen3 なら、ざっくりこんな形に組み立ててからモデルに渡している。

<|im_start|>system
(system の指示)<|im_end|>
<|im_start|>user
(日本語の指示)<|im_end|>
<|im_start|>assistant

モデルはこの形を見て、「system の役割で、user の頼みに、assistant として答える」と分かる。ところがテンプレートが {{ .Prompt }} だけだと、prompt をそのまま入れるだけになる。system の指示は捨てられ、会話の形にもならないので、モデルには日本語の文がぽつんと届くだけ。だから答えるのでなく、ただ文の続きを書いていた。そりゃ話が通じないわけだ。確かめ方はこれ。

ollama show <モデルの名前> --template

.System が出てこないなら、system の指示は効かない。公式の Qwen3 14B のテンプレートを付けて、同じ重みで作り直したら、ほかと同じようにタグを書くようになった。上の比較の絵は、直した後のもの。

※規制なし版は、配っている人の包み方しだいで ComfyUI のノードからはまともに動かないことがある。「絵が指示とまったく関係ない」ときは、まず Preview as Text で LLM の答えを見る。

規制なし版を使うときの注意

今回の指示では、規制なし版が勝手に変な言葉を足すことはなかった。ただ、指定した場面によっては、絵のほうがセンシティブな方向に寄ることがある。

最初は「雨の路地で振り返る女性を下から見上げる」という指示も入れていたが、タグにそれっぽい言葉はないのに、透けた服や体のラインを強調した構図の絵が出てきた。女性・振り返り・ローアングル・雨の組み合わせで、絵のモデルの側が寄せたらしい。これは規制なし版に限らず、規制ありの LLM のタグでも出たので、LLM というより絵のモデルの癖。

ということで、negative に避けたいものを足しておく。今回入れたのはこれ。

nsfw, see-through, wet clothes, ass focus, cleavage, revealing clothes, blood

※それでも、上のテンプレートが壊れていた回(タグが画風だけの回)では、胸元を強調した絵が出た。negative は万能じゃない。生成した絵は載せる前に自分の目で見るべし。

まとめ

最後に、2 つの比較で見えたことをまとめる。上の絵と合わせれば、なにかの参考になるかもしれない。

LLM あり・なしの差

主な要素はどの LLM でも拾えるので、「日本語でざっくり書いて、たたき台をもらう」使い方ならだいたい足りる。ただ、カメラの角度や服の色のような細かいところは、タグを直接書いたほうが思いどおりになりやすい。LLM が正しく訳していても、タグの書き方ひとつで絵がずれることもある(浴衣の白地)。

規制あり・なしの差

今回の題材と回数の範囲では、規制を外したことで翻訳の上手さが大きく落ちた、という感じはなかった。組ごとに見るとこう。

  • Gemma 4 12B:どちらも足しすぎる癖は同じ。規制なし版のほうが、背景や姿勢を変える回が少し多かった
  • Qwen3.5 9B:どちらも基準にいちばん近い。人物の 1girl の取り違えも、どちらにも出た
  • Qwen3 14B:どちらも </think> のゴミは出る。規制なし版は、壊れたタグや指示と違う色が目立った

規制なし版を使うなら、まず一般的な題材でこういう比べ方をして、そのモデルの癖を見ておくと安心かな。

今回はここまで

ローカル LLM にプロンプトを書かせるのは、ひとまず使えるレベル。規制あり・なしの差は、今回の範囲ではモデルの癖のほうが大きかった。次は、Danbooru のタグの一覧で LLM の答えを直す仕組みを足してみっぺ…かな?

調査や情報のまとめに Claude を使用しています。

📣 ここから広告です(Amazonアソシエイト)

ローカル LLM と画像生成を同じ PC で回してみて、あると余裕が出そうだと感じたものを紹介します。どれも今回の検証で使った機材そのものではありません。

ここのリンクから購入していただくと、私にちょっぴり紹介料が入ります。お値段は変わりません。いただいた紹介料は、ありがたく AI のサブスク代にあてさせていただきます。気になるものがあったら、ぜひのぞいてみてください!

補足

補足という名の自分用のメモ。

規制なし(abliterated)とは

LLM が「それには答えられません」と断るときの方向を、モデルの重みから取り除いた版、らしい。賢さは元とほぼ同じと言われていて、今回もそうだった。

使ったモデル

Ollama で入れたときの名前はこれ。

名前(記事の中)Ollama で入れた名前
Gemma 4 12Bhf.co/google/gemma-4-12B-it-qat-q4_0-gguf
Gemma 4 12B 規制なしhf.co/mradermacher/Huihui-gemma-4-12B-it-qat-q4_0-unquantized-abliterated-GGUF:Q4_K_M
Qwen3.5 9Bhf.co/unsloth/Qwen3.5-9B-GGUF:Q4_K_M
Qwen3.5 9B 規制なしhf.co/mradermacher/Huihui-Qwen3.5-9B-abliterated-GGUF:Q4_K_M
Qwen3 14Bhf.co/Qwen/Qwen3-14B-GGUF:Q4_K_M
Qwen3 14B 規制なしhf.co/bartowski/huihui-ai_Qwen3-14B-abliterated-GGUF:Q4_K_M(テンプレートを付け直して使用)

どれも Apache-2.0。Gemma 4 12B の規制なし版だけ量子化が Q4_K_M で、元(Q4_0)と少し違う。絵のモデル Nova Anime XL は Illustrious License(Fair AI Public License 1.0-SD)で、生成した画像はライセンスの対象外とされている(2026年11月に確認)。

LLM と ComfyUI を分けて動かすやり方

実は最初は ComfyUI のノードを使わず、スクリプトでつないでいた。先に Ollama で全部の指示のタグを書かせてファイルに保存し、LLM を外してから、ComfyUI の API にタグを渡して絵を描かせるやり方。

こっちのほうが LLM と絵のモデルが同時に VRAM に載らないので、メモリには優しい。VRAM が少ない PC ならこっちかな。ただ、スクリプトを書く手間があるので、ComfyUI だけで済ませたいなら本編のワークフローで十分。

※Amazonのアソシエイトとして、うしブロは適格販売により収入を得ています。

まだ商品画像を表示できないため、イメージアイコンを入れています😭 価格や商品詳細についてはリンク先でご確認ください。

この記事はよかったですか?
タイトルとURLをコピーしました