为爬虫搭建代理集群


Author: yifei / Created: June 28, 2017, 10:40 a.m. / Modified: June 28, 2017, 10:43 a.m. / Edit

爬虫如果只用固定的同一个或者同一组 IP 的话,很容易被封禁,轻者弹验证码,重者直接无法访问。

这时候一般有如下几种做法:

  1. 摸索站点的访问限制,降低访问速度
  2. 模拟多个用户访问网站,这其中又有两种方法,当然往往是这两者结合使用
    1. 一是更换 UA、cookie 等模拟多个用户
    2. 频繁更换代理 IP

这里主要探讨如何构架一个代理 IP 池,从而能够频繁更换代理 IP。

搭建一个自己的 adsl 集群

找代理商

首先找到一个靠谱的网站就实属不易,这些 adsl 提供商的技术水平普遍不高,往往只能提供 centos 镜像,有 centos 7.1就算不错的了,其中有一家竟然提供了 ubuntu 14.04,结果还是各种问题,坑了我大概半天的时间。


评论区