ERNIE-ViLG を Google Colaboratory で動かしてみた -

ERNIE-ViLG というのが、"二次元キャラ" に強いという記事を目にしました。

https://news.yahoo.co.jp/articles/fc688762207216b29ba33e64ca8e831e3181e9c0

実際に使ってみようと、次のページで試したんですが、レスポンスがイマイチでした。

https://huggingface.co/spaces/PaddlePaddle/ERNIE-ViLG

そこで、公式ページを参考にして、ERNIE-ViLG を Google Colaboratory を書こうと思いました。

Google Colaboratory で動かす

実際に作ったものは、次のモノです。

DEMO_PaddlePaddle_PaddleHub_ERNIE_ViLG

中身については、正直良くわかっていないですが(公式ページ通りに試しただけ)、簡単に紹介しようと思います。

準備

次のコマンドを叩いて、ERNIE-ViLG の準備をします。(GPU 環境でないと動作しません)

$ pip install paddlepaddle-gpu -U
$ pip install paddlehub==2.1.0

import paddlehub
paddlehub.server_check()

$ hub install ernie_vilg

ERNIE-ViLG を使う

使うのは、2 つのパターンがあります。

CLI で実行する(hub コマンド)
Python で実行する(hub ライブラリ)

CLI の場合は、次のとおりです。

$ hub run ernie_vilg --text_prompts "宁静的小镇" --style "油画" --output_dir ernie_vilg_out

Python の場合は、次のとおりです。

import paddlehub as hub

module = hub.Module(name="ernie_vilg")
text_prompts = ["宁静的小镇"]
images = module.generate_image(text_prompts=text_prompts, style='油画', output_dir='./ernie_vilg_out/')

オプションは、次の説明の通りです。

text_prompts
- 生成したい画像の内容を記述した入力文
style
- スタイルで画像を生成することが可能
  - 油画 (油絵)
  - 水彩 (水彩画)
  - 粉笔画 (パステル)
  - 卡通 (漫画, カートゥーン)
  - 儿童画 (子供向け)
  - 蜡笔画 (クレヨン)
  - 探索无限 (無限大を探る)
topk
- 生成する画像数（最大 6 枚）
output_dir
- 保存先のディレクトリ (デフォルト:ernievilg_output)