Phần lớn scraper thất bại vì ba lý do, và không lý do nào nằm ở code.
Proxy thu thập dữ liệu web lấy được trang, không vướng CAPTCHA
Chạy scraper trên mạng IP dân cư của chúng tôi, máy chủ của bạn không lọt vào danh sách chặn nào.
- Phản hồi nhanh dù chạy bao nhiêu luồng
- IP gia đình, trang web coi như khách thật
- Gói từ 3,12 $ mỗi GB
- Dùng bao nhiêu trả bấy nhiêu, không tự gia hạn
Vì sao scraper bị chặn và proxy scraping gỡ chuyện đó thế nào
Bị chặn vì lộ dấu hiệu tự động
Hàng nghìn yêu cầu từ cùng một địa chỉ máy chủ trông chẳng khác gì một đợt tấn công, nên trang web chặn IP hoặc dội CAPTCHA liên tục.
Mỗi yêu cầu một IP gia đình mới
Cổng kết nối xoay vòng qua các địa chỉ dân cư, tải không bao giờ dồn vào một IP và mỗi lượt truy cập trông như một người khách riêng.
Bị chặn theo vị trí
Nhiều trang ẩn nội dung với một số quốc gia, còn mỗi thị trường lại hiện giá, hàng tồn và kết quả khác nhau.
Chọn quốc gia cho từng kết nối
Ghi một trong 160+ quốc gia vào thông tin đăng nhập là thu được đúng những gì người dùng ở đó nhìn thấy.
Tiền cứ mất đều mỗi tháng
Proxy thu phí cố định hằng tháng vẫn tính tiền cả khi scraper nằm im vì trang web vừa đổi giao diện.
Chỉ trả cho số GB bạn tải về
Không tính phí theo người dùng hay theo IP: bạn mua dung lượng từ 3,12 $ mỗi GB, gói càng lớn giá càng thấp.
IP sạch, tải trang nhanh, dùng được ngay khi thanh toán xong.
Mua ngayCác loại proxy để thu thập dữ liệu web
Đánh giá theo mức khó bị chặn và chi phí, trên những trang hay bị thu thập dữ liệu nhất.
| Bạn thu thập gì | dân cưtừ 3,12 $/GB | ISPtừ 2,10 $/IP | datacentertừ 1,20 $/IP | di độngtừ 5,20 $/GB |
|---|---|---|---|---|
| Website không chặn gắt và API công khai | ||||
| Cửa hàng online và sàn thương mại điện tử | ||||
| Kết quả công cụ tìm kiếm | ||||
| Trang nằm sau tài khoản đăng nhập của bạn | ||||
| Trang chỉ có trên di động và API của app |
Phù hợp nhất Dùng được Không nên dùng
Proxy thu thập dữ liệu web là gì?
Là máy chủ gửi yêu cầu của scraper đi từ IP của chính nó. Website trả lời proxy và chỉ thấy IP của chúng tôi, nên địa chỉ máy chủ của bạn không nằm trong log, cũng không vào danh sách chặn của họ.
Thu thập dữ liệu web cần bao nhiêu proxy?
Với proxy dân cư xoay IP thì không cần đếm: một dòng gateway cấp IP mới cho từng yêu cầu, bạn chạy bao nhiêu luồng cũng được. Nếu dùng IP tĩnh, hãy chuẩn bị vài IP cho mỗi website bạn truy cập nhiều, để không địa chỉ nào phải gánh quá nhiều.
Một lượt thu thập tốn bao nhiêu dung lượng?
Một trang HTML thường nặng 50 đến 300 KB, nên 1 GB đủ cho khoảng 3.000 đến 20.000 trang. Cho scraper bỏ qua ảnh, font và script là dung lượng dùng được lâu hơn.
Dịch vụ proxy scraping có chạy với Scrapy, Playwright hay Puppeteer không?
Có. Công cụ nào nhận proxy HTTP cũng dùng được dòng host:port:user:pass của chúng tôi, trong đó có Scrapy, Playwright, Puppeteer, Selenium, curl và thư viện requests của Python.
Dùng proxy rồi thì hết hẳn CAPTCHA chứ?
Bạn sẽ gặp ít hơn nhiều. Website còn xét tốc độ gửi yêu cầu và header, nên hãy cho scraper chạy chậm vừa phải và gửi header như trình duyệt thật để CAPTCHA chỉ thỉnh thoảng mới hiện.
Dùng proxy để thu thập dữ liệu web có hợp pháp không?
Ở hầu hết các nơi, thu thập dữ liệu công khai là hợp pháp. Đừng đụng vào tài khoản của người khác, tôn trọng giới hạn tốc độ và điều khoản của từng website, và xem Quy định sử dụng để biết những việc chúng tôi không nhận.
Proxy cho các nhu cầu khác
Thu thập dữ liệu nhanh hơn, ít bị chặn hơn, tốn ít tiền hơn.
Nạp tiền một lần rồi chạy mọi lượt thu thập từ cùng một số dư.