拨号VPS，拨号云主机，动态IP服务器，ADSL拨号服务器，动态IP网络赚取租金

目前有两种较难解决的反爬虫技术: 人机识别验证码特别难以识别（例如极限手势验证）和大量ip限制（例如R网站被两次访问强制跳至验证码页面. 立即留下部署说明

针对此问题，使用与爬行动物相同的策略动态部署ADSL. 如果您了解使用ADSL意味着开始争取成本. 不再像以前那样在计算机上进行爬网.

拨号vps原理:

购买和租赁

在命令行上自动替换ip

部署搜寻器代码

分布式爬虫问题记录

拨号vps并不是一个好办法，也不是特别高端的服务器. 相反，在使用它时，我们通常使用配置非常低的类型百亿动态ip拨号器破解，因为重要的是数量而不是质量.

原理很简单，只要断开家庭网络中的宽带Internet接入并再次拨号，一旦链接成功，Internet IP就会更改. 建立链接后，网络速度相对稳定. 这是动态IP. 通常，此IP池非常大. 一个城市通常有5W-30W IP. 基本上并没有耗尽.

因此，只要有一台连接到宽带的计算机，就可以称为拨号vps. 但是，您需要了解，这段时间将部分消耗网络建立时间的大约十秒钟.

例如，我们现在要征服的R项目. 每两次访问他的页面将被迫跳到验证码页面，因此，为了跳过验证码，他必须每两次访问更改IP. 而且，最严重的是，如果面对如此高的IP限制，那么在一台计算机上实现一个以上的爬虫客户端就无法实现一个单机分布式爬虫. 效率要低得多.

如果要提高效率或IP限制数量相对较高. 例如1000 / ip，则可以分配多机每机单爬虫.

要了解具体内容，可以搜索关键字: 动态IP服务器或拨打vps或淘宝

然后，您可以看到多个服务提供商. 一般来说，如果您购买一个50-80元/月，它仍然可以工作. 通常，您将使用vnc方法来远程桌面链接，这很少有用. 对于Linux系统，以下是分布式winxp系统的配置指南. 淘宝通常每天尝试1个快速或5-10个街区.

环境winxp. 使用rasdial，您可以在cmd控制台中拥有自己的系统，输入

rasdial /？‘ 出现帮助
print os.popen(rasdial /DISCONNECT).read()
time.sleep(3)
print os.popen(rasdial "设定的宽带名称"  帐号 密码).read()
print os.popen(rasdial).read()
time.sleep(1)

这时，您需要在“ Internet邻居”中创建一个宽带链接，该名称最好是英文，然后手动验证您是否可以在可视界面上访问Internet. 然后使用上诉代码在一个循环中控制宽带网络，该循环将断开重新链接，

可能的问题是手动建立的链接或由其他进程建立的链接，无法断开此命令行，因此最好在计算机上运行搜寻器，并且两次断开之间存在时间延迟. 时间.

在winxp环境中使用python通常是32位. 分布式自然会需要python-mysql模块和redis模块. 下面提供了安装软件包和安装方法.

解压缩python2_jb51后，您可以安装msi和exe

redis-2.1.5-win32提供Redis功能模块

解压缩redis-py-master后，从控制台将其移至目录，然后运行python setup.py（预先匹配python环境变量）

MySQL-python-1.2.3.win32-py2.7解压缩并直接安装

基本上有这种需要. 对于分布式爬虫，我没有涉及以前的博客文章.

SCRAPY研究记录了七个与Redis结合在一起以构建分布式爬虫的

当前的问题是:

1: mysql链接中存在莫名其妙的中断问题. 这是因为IP地址更改太频繁了. 因此百亿动态ip拨号器破解，只需使用try跳过错误，重新加入任务队列，然后再次运行，以使整个搜寻器都不会中断.

2: Redis存在莫名其妙的链接中断问题. 同上.

3: 更改ip太快会导致ip不被替换，而是使用原始ip. 延迟时间较长，设置为5s间隔更好，链接速度不佳，搜寻器请求之间的延迟时间较短. 宽带断开和新连接也需要很长时间.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/ruanjian/article-175165-1.html