文章正在审核中 为什么使用了爬虫代理ip,真实IP还是被封禁了？

很多朋友在刚做爬虫的时候会遇到一个问题，明明我已经使用爬虫代理ip了，开开心心地去抓取某一个网站，正想去泡一杯咖啡，发现爬虫程序终止了， 一查，真实ip被封了，这时候会非常纳闷，我明明用了代理ip了啊，为什么我的真实IP还是会被封呢？是不是IP质量与问题？我被代理IP提供商给欺骗了？当然不排除这个可能，比如使用透明代理，目标服务器明确知道你使用了代理，也能知道你的真实IP,当然会被封禁；又如普匿代理，目标服务器知道你是一只披着羊皮的狼，当然也会封禁你的真实IP；而如果使用高匿代理ip,高匿ip代理则是和正常家庭上网一样，没有什么区别。如果使用透明代理、普匿代理被目标服务器识别后被封IP，那应该就是代理IP的质量不行。但是，使用高匿代理IP后，还是被封IP，这到底是怎么回事呢？首先我们要清楚地知道，爬虫程序为什么需要代理IP？代理IP有什么作用？代理IP的原理是什么？之所以需要代理IP，是因为单IP频繁的爬取某个目标服务器，会对服务器造成巨大负载，服务器自然要作出一定的限制（限制访问频率或者限制访问次数，其根本是减少服务器压力），那如果超出限制的频率或者次数呢，反爬程序就会工作，比如把这个IP封禁，或者把整段IP进行封禁。而代理IP的作用就是代替被封的IP继续爬取，当到达了那个阈值时，这个代理IP一样会被封的，然后封了一个代理IP，还有千千万万个代理IP，前仆后继，只为完成爬取任务。由此可见，代理IP被封是很正常的，很多朋友认为，我用了代理IP，为什么要封我，我是不是买了个垃圾IP代理？然后就来找客服投诉，说自己被骗了，要求退款。其实封IP有很多种原因，上面那种被封情况是不可避免的，并不是使用了代理IP就不会被封了。但也有不正常被封的，比如使用了“垃圾代理”（透明代理）。还有使用了高匿代理i免费云主机域名p，也没有爬取几次就被封了的情况，这是为什么呢？那是因为没有很好的模拟人工访问服务器的行为，也就是说爬取策略不当，比如没有清除cookie等原因，也有可能是目标服务器的反爬策略升级了，代理IP被封的原因有很多种，而找出原因，让每个代理IP能发挥出最大的作用则是爬虫工作者的工作职责，也就是升级爬虫策略。上文中我们提到，当超出限制的频率或者次数呢，反爬程序就会工作，比如把这个IP封禁，或者把整段IP进行封禁。这也就是为什么有些代理IP可用率低的原因，因为当某个IP段被封禁后，你拨出的下一个IP也是被封禁的，所以不可用，造成整体IP可用率很低，浪费很多时间，这是为什么呢？因为很多ADSL拨号的代理IP，拨出来的IP是连号的， 这样的IP显得很假，跟正常用户访问的区别也很大，所以会有很多反爬程序会设置封禁整段IP地址，造成批量IP不可用，所以最好的IP资源是IP分散分布的不连号的，能够有效地提高各项业务的效率。

相关推荐: 共论安全事,同筑中国梦

2013年8月16日，下午2：30分,北京市的银行、电信运营商、游戏业巨头、知名高校、著名国外安全厂商、知名国内安全厂商、航空公司等大型企业安全专家及骨干人士，不畏闷热的天气，共同聚集在一起，开展以大中型企业信息安全隐患与趋势分析为主题的交流活动。活动首先由工…