クローリングをシュッとやるのに、Crawleeが便利だった

スクレイピングしたいときって、あると思います。 Crawlee という OSS が便利だったので、共有します。 背景 スクレイピングしようと思うと、得意な言語でクローリングプログラムを書いて、html をスクレイピングすると思います。 私は、Node.js が得意なの…

turborepo-remote-cache でキャッシュサーバをセルフホストした

vercel 製の turborepo という ビルドシステムが爆速なモノレポツールがあります。 爆速にする機能の 1 つに、リモートキャッシュというものがあります。 この機能は vercel のキャッシュサーバを使うのですが、キャッシュサーバをセルフホストする方法もあ…

Stable Diffusion API 開発

Stable Diffusion は、文章を渡すと画像を生成してくれる AI で OSS です。 これを自分の PC で動かそうとすると、GPU が必要になります。 (CPU で動かせるstable_diffusion.openvino というのもあります) できれば、どの PC でも使えるように、かつ、Slack …

ERNIE-ViLG を Google Colaboratory で動かしてみた

ERNIE-ViLG というのが、"二次元キャラ" に強いという記事を目にしました。 https://news.yahoo.co.jp/articles/fc688762207216b29ba33e64ca8e831e3181e9c0 実際に使ってみようと、次のページで試したんですが、レスポンスがイマイチでした。 https://huggin…

Midjourney, StableDiffusion で役立つPrompt フレーズ集

Midjourney や StableDiffusion を使っていると、どういうフレーズを使えばよいかわからなくなります。 そこで、フレーズ集を作って、Prompt で役立てたいなと思っています。 練習場 どこで Prompt の練習したら良いか悩むので、まとめておきました。 お勧め…