Kebanyakan scraper gagal karena tiga hal, dan tidak satu pun ada di kodenya.
Proxy web scraping yang mengambil halaman, bukan CAPTCHA
Jalankan scraper Anda di jaringan residensial kami, dan server Anda sendiri tidak akan masuk daftar blokir mana pun.
- Respons cepat, berapa pun jumlah thread
- IP rumahan yang dianggap situs sebagai pengunjung asli
- Paket mulai dari $3,12 per GB
- Bayar sesuai pemakaian, tanpa perpanjangan otomatis
Kenapa scraper diblokir, dan bagaimana proxy scraping mengatasinya
Diblokir karena terlihat otomatis
Ribuan permintaan dari satu alamat server tampak seperti serangan, jadi situs memblokir IP itu atau membanjirinya dengan CAPTCHA.
IP rumahan berbeda di setiap permintaan
Gateway merotasi alamat residensial, jadi beban tidak pernah menumpuk di satu IP dan setiap permintaan tampak seperti pengunjung yang berbeda.
Terkunci karena lokasi
Situs menyembunyikan halaman dari sebagian negara dan menampilkan harga, stok, dan hasil yang berbeda di tiap pasar.
Pilih negara per koneksi
Sebutkan salah satu dari 160+ negara di kredensial Anda dan kumpulkan persis apa yang dilihat pengunjung lokal.
Biaya yang terus berjalan
Biaya proxy bulanan tetap ditagih sementara scraper Anda macet setelah situs berganti desain.
Bayar hanya gigabyte yang Anda tarik
Tanpa biaya per pengguna atau per IP: Anda membeli trafik mulai dari $3,12 per GB, dan tarifnya turun di paket yang lebih besar.
IP bersih dan halaman cepat, siap begitu Anda membayar.
Beli sekarangTipe proxy untuk web scraping
Dinilai dari ketahanan terhadap blokir dan biaya di situs yang paling sering jadi sasaran scraper.
| Target scraping | Residensialmulai dari $3,12/GB | ISPmulai dari $2,10/IP | Datacentermulai dari $1,20/IP | Selulermulai dari $5,20/GB |
|---|---|---|---|---|
| Situs dan API yang terbuka untuk siapa saja | ||||
| Toko online dan marketplace | ||||
| Hasil mesin pencari | ||||
| Halaman di balik login Anda sendiri | ||||
| Halaman khusus seluler dan API aplikasi |
Paling cocok Bisa dipakai Tidak sepadan
Apa itu proxy web scraping?
Server yang meneruskan permintaan scraper Anda dari alamat IP-nya sendiri. Situs menjawab ke proxy dan hanya mencatat IP kami, bukan IP Anda, sehingga alamat server Anda tidak pernah masuk log maupun daftar blokir situs itu.
Berapa proxy yang saya butuhkan untuk web scraping?
Di proxy residensial rotating tidak ada yang perlu dihitung: satu baris gateway memberi IP baru untuk setiap permintaan, berapa pun thread yang Anda jalankan. Dengan IP statis, siapkan beberapa IP untuk tiap situs yang sibuk agar tidak ada alamat yang bekerja terlalu keras.
Berapa banyak trafik yang dipakai satu kali scraping?
Satu halaman HTML biasanya sekitar 50 sampai 300 KB, jadi 1 GB cukup untuk kira-kira 3.000 sampai 20.000 halaman. Lewati gambar, font, dan skrip di scraper Anda agar kuotanya lebih awet.
Apakah layanan proxy scraping ini bisa dipakai dengan Scrapy, Playwright, atau Puppeteer?
Bisa. Alat apa pun yang menerima proxy HTTP bisa memakai baris host:port:user:pass kami, termasuk Scrapy, Playwright, Puppeteer, Selenium, curl, dan Python requests.
Apakah saya tidak akan pernah melihat CAPTCHA lagi?
Anda akan jauh lebih jarang melihatnya. Situs juga menilai kecepatan permintaan dan header, jadi atur jeda scraper Anda dan kirim header seperti yang dikirim browser sungguhan agar CAPTCHA tetap langka.
Apakah web scraping dengan proxy legal?
Mengumpulkan data yang terbuka untuk siapa saja sah di sebagian besar negara. Jangan sentuh akun orang lain, patuhi batas kecepatan dan ketentuan tiap situs, dan lihat Kebijakan Penggunaan yang Dapat Diterima kami untuk apa yang kami tolak.
Scraping lebih cepat, dari IP yang diterima situs, dengan biaya lebih rendah.
Isi saldo sekali dan jalankan setiap crawl dari saldo yang sama.