スクレイパーが失敗する原因はたいてい3つ。どれもコードの問題ではありません。
CAPTCHAではなく、欲しいページが返ってくるWebスクレイピング用プロキシ
スクレイパーをPrivastoの住宅用ネットワークで動かせば、自社サーバーがブロックリストに載ることはありません。
- スレッド数を増やしても応答は速いまま
- 本物の訪問者として扱われる一般家庭のIP
- 1 GBあたり$3.12から
- 使った分だけ支払い、自動更新なし
スクレイパーがブロックされる理由と、スクレイピング用プロキシでの解決策
機械的なアクセスと見なされてブロック
1つのサーバーアドレスから数千件のリクエストが届くと攻撃のように見えるため、サイトはそのIPをブロックするか、CAPTCHAを次々に表示します。
リクエストごとに別の一般家庭IP
ゲートウェイが住宅用IPを順に切り替えるので、負荷が1つのIPに集中せず、1回ごとのアクセスが別々の訪問者として扱われます。
地域によって見られないページ
一部の国からはページを表示しないサイトや、市場ごとに価格、在庫、検索結果を変えるサイトがあります。
接続ごとに国を指定
160+か国から1つを認証情報に指定すれば、現地の訪問者が見ている内容をそのまま取得できます。
止まらない固定費
月額固定のプロキシ料金は、サイトのリニューアルでスクレイパーが止まっている間も請求され続けます。
取得したGB分だけ支払い
ユーザー単位やIP単位の料金はありません。トラフィックは1 GBあたり$3.12から購入でき、大きなプランほど単価が下がります。
クリーンなIPと速いページ取得を、支払ったその瞬間から。
今すぐ購入Webスクレイピング用プロキシとは何ですか?
スクレイパーのリクエストを、プロキシサーバー自身のIPアドレスから送り出す仕組みです。サイトが応答する相手はプロキシで、見えるのはPrivastoのIPだけ。自社サーバーのアドレスがサイトのログに残ったり、アクセス禁止リストに載ったりすることはありません。
Webスクレイピングにはプロキシがいくつ必要ですか?
ローテーションする住宅用プロキシなら、数える必要はありません。ゲートウェイの1行だけで、スレッドをいくつ動かしてもリクエストごとに新しいIPが割り当てられます。固定IPを使う場合は、1つのアドレスに負荷が集中しないよう、アクセスの多いサイトごとに複数用意してください。
スクレイピングでどれくらいのトラフィックを使いますか?
HTMLページは通常50〜300 KBなので、1 GBでおよそ3,000〜20,000ページ取得できます。スクレイパー側で画像、フォント、スクリプトを読み込まないようにすれば、さらに長く使えます。
このスクレイピングプロキシサービスはScrapy、Playwright、Puppeteerで使えますか?
はい。HTTPプロキシを設定できるツールなら、Privastoのhost:port:user:passの1行をそのまま使えます。Scrapy、Playwright、Puppeteer、Selenium、curl、Pythonのrequestsなどです。
もうCAPTCHAは一切出なくなりますか?
大幅に減ります。サイトはリクエストの速度やヘッダーも見ているので、スクレイパーのペースを抑え、実際のブラウザと同じヘッダーを送れば、めったに出なくなります。
プロキシを使ったWebスクレイピングは合法ですか?
誰でも閲覧できるデータの収集は、ほとんどの国で合法です。他人のアカウントには手を出さず、各サイトのアクセス頻度の制限と利用規約を守ってください。Privastoがお断りしている用途は適正利用ポリシーにまとめています。