クローラー運用を楽にするためのクラウドサービス比較
クローラー運用を楽にするためのクラウドサービス比較
こんにちは！最近気になるニュースはスピノサウルスの尻尾の化石が発見されたこと1な、SRE部エンジニアの塩崎です。
ZOZOテクノロジーズの前身となった会社の1つであるVASILYでは数多くのクローラーの開発・運用の担当をしてきました。
今回はその知見を生かして、クローラーを楽に運用するためのクラウドサービスを紹介します。
概要 データ解析を円滑に進めるためには、CSVやWeb APIなどの構造化されたデータが必要です。
しかし全てのWebサイトにあるデータが構造化データを提供しているとは限りません。
むしろ提供していないケースの方がはるかに多いです。
そのため、Webクローラーを作成して構造化されてい…
https://techblog.zozo.com/entry/crawler-cloud-service