はじめに#

最初に今回のコードの全体リポジトリを共有しておきます。 記事ではその内容について触れます。

• gitlabのリポジトリ
  • https://gitlab.com/hiranorm/create_illust

Stable-diffusionについて#

まず、Stable-diffusionとはなんぞやというところからですが、これは高性能な画像生成AIです。 構造でいうと、画像からVAE(変分オートエンコーダ)Encoderを通り、ノイズを増やす拡散モデル・ノイズを取り除く逆拡散モデルを通り、VAE Decoderを通してきれいな画像を生成するよう学習させ、textエンコーダを通した文章を逆拡散モデルに通すことで、文章から画像を生成することができる機械学習モデルのことです。 本記事では構造について詳しく解説は致しませんので、詳しく知りたい方は論文または参考サイトをご覧ください。

原論文: “High-Resolution Image Synthesis with Latent Diffusion Models”, Rombach, R., Blattmann, A., Lorenz, D., Esser, P., Ommer, B. (CVPR’22)

参考サイト: 世界に衝撃を与えた画像生成AI「Stable Diffusion」を徹底解説！

今回は、そのStable-Diffusionを使ってイラストを生成してみようと思います。 .shファイルについては、bash FILE.shのようなコマンドで実行できます。

実装#

1
python -m venv venv

1
source venv/bin/activate
2
git clone https://github.com/ShivamShrirao/diffusers
3
cd diffusers/examples/dreambooth/
4
pip install -r requirements.txt
5
pip install diffusers
6
pip install bitsandbytes
7
# 学習させる画像を入れる
8
mkdir inputs

1
from diffusers import StableDiffusionPipeline, EulerDiscreteScheduler
2
import torch
3
import sys
4

5
# パイプラインの準備
6
model_id = "stabilityai/stable-diffusion-2-1"
7
pipe = StableDiffusionPipeline.from_pretrained(
8
    model_id,
9
    scheduler=EulerDiscreteScheduler.from_pretrained(
10
        model_id,
11
        subfolder="scheduler"
12
    ),
13
    torch_dtype=torch.float16
14
).to("cuda")
15
pipe.enable_attention_slicing()

1
# 日本語テキストから翻訳
2
from deep_translator import GoogleTranslator
3
ja_text = "「……どうして……どうして僕ばかり……こんなにも辛いのに……」"
4
#ja_text = "ラインドローイング、影無し、白黒、教会"
5

6
en_text = GoogleTranslator(source='auto',target='en').translate(ja_text)
7
print(en_text)
8
file_name = en_text.replace(' ','_')
9
# 画像生成（入力は英語）
10
prompt = en_text
11
image = pipe(prompt, height=768, width=768).images[0]
12

13
image.save(f'output/3D/{file_name}.png')

出力-AIイラスト博覧会。#

以上の準備を済ませましたら、色々文章を変えて画像を出力してみます。

プロンプト「サイバーパンク、猫」

サイバーパンク猫かっけぇ！

プロンプト「悲しみに暮れるおじさん」

車椅子の息子や娘が亡くなったようなストーリーを感じさせる一枚ですね。

まとめ#

今回の記事のまとめです。

• Stable-Diffusionは文章からイラストを生成できるすごいヤツ。
• ゲームや漫画の背景にも応用できそうな高精度で、可能性を感じる。

ちなみに、現在はMacbook Proなどでも利用できるinvokeAIというソリューションが出ているので、つよつよGPUがない方でも試してみてはいかがでしょうか。（モデルを学習させた元のデータセットによっては、叩かれることがありますので、権利関係にはご注意ください）

すごく面白い技術ですね。 データセットの著作権が議論を呼ぶこのイラスト生成という技術ですが、あくまで人間の補助ツールとして利用していけば、人間の労力が減っていいのではないかと私個人は思います。

ということで今日はここまで。