防止IP被封

维护代理IP池

免费代理网站:

名称
66代理 http://www.66ip.cn/
西刺代理 https://www.xicidaili.com
全网代理 http://www.goubanjia.com
云代理 http://www.ip3366.net
IP海 http://www.iphai.com
快代理 https://www.kuaidaili.com
免费代理IP库 http://ip.jiangxianli.com
动态IP拨号服务器
使用Tor代理服务器

分布式爬虫

下载安装Redis