搜索引擎爬虫工作原理 Python爬虫突破封禁的6种常见方法(6)

另外，登录Tor的行为也可能让你的匿名状态处于危险之中。2013年12月，一个哈佛大学本科生想逃避期末考试，就用一个匿名邮箱账号通过Tor网络给学校发了一封威胁信。结果哈佛大学的IT部门通过日志查到，在威胁信发来的时候，Tor网络的流量只来自一台机器，而且是一个在校学生注册的。虽然他们不能确定流量的最初源头（只知道是通过Tor发送的），但是作案时间和注册信息证据充分，而且那个时间段内只有一台机器是登录状态，这就有充分理由起诉那个学生了。

登录Tor网络不是一个自动的匿名措施，也不能让你进入互联网上任何区域。虽然它是一个实用的工具，但是用它的时候一定要谨慎、清醒，并且遵守道德规范。

在Python里使用Tor，需要先安装运行Tor，下一节将介绍。Tor服务很容易安装和开启。只要去Tor下载页面下载并安装，打开后连接就可以。不过要注意，当你用Tor的时候网速会变慢。这是因为代理有可能要先在全世界网络上转几次才到目的地！

PySocks

PySocks是一个非常简单的Python代理服务器通信模块，它可以和Tor配合使用。你可以从它的网站（https://pypi.python.org/pypi/PySocks）上下载，或者使用任何第三方模块管理器安装。

这个模块的用法很简单。示例代码如下所示。运行的时候，Tor服务必须运行在9150端口（默认）上：

网站会显示客户端连接的网站服务器的IP地址，可以用来测试Tor是否正常运行。当程序执行之后，显示的IP地址就不是你原来的IP了。

如果你想在Tor里面用Selenium和PhantomJS，不需要PySocks，只要保证Tor在运行，然后增加service_args参数设置代理端口，让Selenium通过端口9150连接网站就可以了：

和之前一样，这个程序打印的IP地址也不是你原来的，而是你通过Tor客户端获得的IP地址。

从网站主机运行

如果你拥有个人网站或公司网站，那么你可能已经知道如何使用外部服务器运行你的网络爬虫了。即使是一些相对封闭的网络服务器，没有可用的命令行接入方式，你也可以通过网页界面对程序进行控制。

如果你的网站部署在Linux服务器上，应该已经运行了Python。如果你用的是Windows服务器，可能就没那么幸运了；你需要仔细检查一下Python有没有安装，或者问问网管可不可以安装。

大多数小型网络主机都会提供一个软件叫cPanel，提供网站管理和后台服务的基本管理功能和信息。如果你接入了cPanel，就可以设置Python在服务器上运行——进入“Apache Handlers”然后增加一个handler（如还没有的话）：

这会告诉服务器所有的Python脚本都将作为一个CGI脚本运行。CGI就是通用网关接口（Common Gateway Interface），是可以在服务器上运行的任何程序，会动态地生成内容并显示在网站上。把Python脚本显式地定义成CGI脚本，就是给服务器权限去执行Python脚本，而不只是在浏览器上显示它们或者让用户下载它们。

写完Python脚本后上传到服务器，然后把文件权限设置成755，让它可执行。通过浏览器找到程序上传的位置（也可以写一个爬虫来自动做这件事情）就可以执行程序。如果你担心在公共领域执行脚本不安全，可以采取以下两种方法。

把脚本存储在一个隐晦或深层的URL里，确保其他URL链接都不能接入这个脚本，这样可以避免搜索引擎发现它。

用密码保护脚本，或者在执行脚本之前用密码或加密令牌进行确认。

确实，通过这些原本主要是用来显示网站的服务运行Python脚本有点儿复杂。比如，你可能会发现网络爬虫运行时网站的加载速度变慢了。其实，在整个采集任务完成之前页面都是不会加载的（得等到所有“print”语句的输出内容都显示完）。这可能会消耗几分钟，几小时，甚至永远也完成不了，要看程序的具体情况了。虽然它最终一定能完成任务，但是可能你还想看到实时的结果，这样就需要一台真正的服务器了。

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-56071-6.html