随着大数据技术的飞速发展，自动化爬虫技术的程度大大提高了工作效率，但是python爬虫会遇到ip限制，很多情况下需要使用

例如，我们现在有一个网站，其内容为原始内容，用户可以通过我们的前端页面手动搜索和阅读信息，但是如果保护不好，则可能存在恶意竞争对手，请使用爬虫程序一晚，您可以获取我们所有的数据，并将其复制到另一个新站点. 为了保护我们的网站数据，包括服务器的承载能力也受到限制，我经常听到一些服务器被爬虫爬网杀死，服务器将很容易崩溃. 为了保护我们网站的安全和信息，我们将采取一些机制. 例如，出口防火墙上相同IP地址的连接请求数和带宽将设置一个响应阈值，一旦超过该阈值，它将拒绝爬网.

当前遇到的困难的反爬虫技术是大量的IP限制. 例如，两次访问后，目标网站被迫跳至验证码页面. 现在，我们将开始使用动态IP服务器来解决此问题.

什么是动态IP服务器？实际上，原理很简单. 我们将传统的IDC服务器直接连接到本地城市运营商以拨打BAS，以便该服务器具有固定的IP和拨号双链路.

然后使用虚拟化将物理服务器划分为许多虚拟服务器，即VPS. 客户端使用Windows远程桌面或ssh和VNC来管理VPS. 它像家庭ADSL一样使用. 使用PPPOE帐户拨号以更改VPS宽带连接中的IP. 并实现不断更换IP远程桌面的效果. 同样，也可以提供Linux系统，可以使用SSH客户端，也可以连接到它，通过执行命令来达到更改IP的目的.

例如，我们现在要征服的R项目. 每两次访问他的页面将被迫跳到验证码页面，因此，为了跳过验证码，他必须每两次访问更改IP. 而且，最严重的是，如果面对如此高的IP限制，那么在一台计算机上实现一个以上的爬虫客户端就无法实现一个单机分布式爬虫. 效率要低得多. 通过拨号交换替换IP，适用于各种验证，注册，编号，投票，挂断，促销和营销，投票和刷卡业务，并且IP重复率最低.

要提高效率，需要许多此类服务器同时运行我们的搜寻器程序.

2: 购买和租赁

要了解具体内容，您可以搜索关键字: “动态IP服务器”或“拨号VPS”或淘宝.

然后，您可以看到多个服务提供商. 一般来说，如果您以80-1000元/月的价格购买一个，它仍然可以使用. 通常，您将使用vnc远程桌面链接，该链接很少使用. 对于Linux系统，以下是分布式win7系统的配置指南.

寻找服务提供商时，您必须具有IDC，ISP和具有完整VPN资格的公司. 如上图所示，IDC书. 一些服务提供商是运营的网络公司，但是它们没有特殊资格. 对于此类动态IP云托管的真正服务提供商，至少需要IDC和ISP资格. IDC资格意味着您可以操作和建立数据中心计算机室. ISP资格可以是您自己的访问服务提供商，甚至某些地方也需要它. VPN资格也具有云计算许可证，因为许多线路都需要穿越山脉，河流和海洋，并且拥有专用网络资格也是非法的. 在这种混杂的情况下，选择合格，称职和可靠的服务提供商至关重要.

一个朋友曾经遇到过个人工作室租用的服务器，但后来人们逃跑了，找不到了. 没有提及成本，并且那里的服务器上的数据无法检索. 我有一个没有IDC资格的服务提供商，而且我拉到外面的线路很不稳定. 我三天换了两次. 网络管理员和交通管制局对我进行了检查. 其中一些是经过认证的常规服务提供商. 非法这样做后，将导致池塘鱼类受到损害，甚至有些公司甚至没有公司牌照. 采购资源甚至无法获得. 如下图所示，查看口碑以查看是否有新闻报道非常重要.

另一个拨号VPS分为单区域拨号和混合拨号

在单个区域购买此机器只能在有限的区域内更改IP，而混合拨号则意味着该机器可以在全国范围内更改IP. 这两台机器的价格大致相同，那么哪一种适合您？实际上，主要取决于您自己的应用程序要求，因为两种拨号效果是不同的.

单个区域是拨号VPS，该线路直接连接到本地运营商的BRAS系统，拨号身份验证也是运营商的帐户身份验证，所拨IP地址是公用网络IPV4地址，并且其带宽速度与普通宽带帐户相同，甚至更好. 正是这台机器仅享受此唯一的IP地址. 通过查看机器网卡的状态显示的IP地址与通过浏览器访问ip138所获得的结果相同. 并且本机的IP地址完全在公共网络上公开. 除特定端口外，本机的大多数端口可以直接位于外部，并且可以单独提供服务. IP地址的数量取决于本地运营商的IP数量.

混合拨号VPS是服务提供商进行的第二次拨号身份验证. 它通常在ROS系统中使用. 拨号速度也较慢. 拨号时间不可能是几秒钟，而拨号后获得的机器的IP实际上是Intranet IP地址是通过NAT与其他机器共享公用网络IP的一种形式，并且端口不能对外开放，即，他们只能访问外部用途. 仍然可以将网卡状态中的IP与实际访问的IP不同. 并且带宽速度也被共享，这是相对缓慢的. 混合IP地址池还取决于服务提供商加入的区域数.

因此，比较这两种产品时，很容易找出哪种VPS适合您的应用. 一般来说，对网络速度没有要求，但是需要大量的IP，这些IP可以跨越多个域和区域，并且不适合于唯一的IP选择混合VPS. 对于大带宽，某些计算速度较快，并且IP不需要快速改变. 需要在特定区域内更改的应用程序适合选择单个区域VPS.

那些为推广百度而花钱的人正在努力对搜索结果后的“ ad”一词保持谨慎. 只有较高的自然排名和良好的评论信誉才能发挥作用. 当然不是绝对的，这种观点仅供参考.

稳定性胜于一切. 如果您延迟营业，它将无法正常工作. 选择稳定可靠的服务提供商非常重要. 首先，您必须找到一些良好的声誉，完整的资格和良好的服务. 实际上，所有服务提供商的资源都是相似的. 有时他们也互相交换货物. 专有资源，因此服务信誉是第一位.

环境win7. 使用rasdial，您可以在cmd控制台中拥有自己的系统，输入

'rasdial /？ ‘出现帮助

打印os.popen（“ rasdial / DISCONNECT”）. 阅读（）

time.sleep（3）

打印os.popen（“随机的“设置宽带名称”帐户密码”）. 阅读（）

打印os.popen（“ rasdial”）. 阅读（）

time.sleep（1）

这时，您需要在“ Internet邻居”中创建一个宽带链接，该名称最好是英文，然后手动验证您是否可以在可视界面上访问Internet. 然后使用上诉代码在一个循环中控制宽带网络百亿动态ip拨号器破解，该循环将断开重新链接，

可能的问题是手动建立的链接或由其他进程建立的链接，无法断开此命令行，因此最好在计算机上运行搜寻器，并且两次断开之间存在时间延迟. 时间.

4: 部署搜寻器代码

在winxp环境中使用python通常是32位. 分布式自然会需要python-mysql模块和redis模块. 下面提供了安装软件包和安装方法.

Python2_jb51可以在解压缩后安装msi和exe

redis-2.1.5-win32提供Redis功能模块

解压缩redis-py-master后，从控制台将其移至目录，然后运行python setup.py（预先匹配python环境变量）

MySQL-python-1.2.3.win32-py2.7解压缩并直接安装

基本上有这种需要. 对于分布式爬虫百亿动态ip拨号器破解，我没有涉及以前的博客文章.

当前的问题是:

1: mysql链接中存在莫名其妙的中断问题. 这是因为IP地址更改太频繁了. 因此，只需尝试跳过该错误，重新加入任务队列，然后再次运行，以使整个搜寻器都不会中断.

2: Redis存在莫名其妙的链接中断问题. 同上.

3: 更改ip太快会导致ip不被替换而是使用原始ip. 延迟时间较长，设置为5s间隔更好，链接速度不佳，搜寻器请求之间的延迟时间较短. 宽带断开和新连接也需要很长时间.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/ruanjian/article-165820-1.html