スクレイピングしたいときって、あると思います。 Crawlee という OSS が便利だったので、共有します。 背景 スクレイピングしようと思うと、得意な言語でクローリングプログラムを書いて、html をスクレイピングすると思います。 私は、Node.js が得意なの…

TikTokへスクレイプするバッチをGCP上で構築しました。 GCP構築のシステム設計話と、その構築時に、ハマったことを共有します。 きっかけ 2020年、最もダウンロードされたアプリがFacebookを抜いてTikTokが一位になったそうです。 https://gigazine.net/news…