使用Python编写多线程爬虫抓取邮箱与手机号

工欲善其事必先利其器，大家可以从截图看出我的环境是Windows 7 + PyCharm。我的Python环境是Python 2.7 64bit。这是比较适合新手使用的开发环境。然后我再建议大家安装一个easy_install，听名字就知道这是一个安装器，它是用来安装一些扩展包的，比如说在python中如果我们要操作mysql的话，python原生是不支持的，我们必须安装mysqldb包来让python可以操作mysql，如果有easy_install的话我们只需要一行命令就可以快速安装号mysqldb扩展包，他就像php中的composer，centos中的yum，Ubuntu中的apt-get一样方便。

相关工具可在我的github中找到：cw1997/python-tools，其中easy_install的安装只需要在python命令行下运行那个py脚本然后稍等片刻即可，他会自动加入Windows的环境变量，在Windows命令行下如果输入easy_install有回显说明安装成功。

我们花费了大量的精力去实现更高性能的队列，但是，事实证明队列作为一种基础的数据结构带有它的局限性——在生产者、消费者、以及它们的数据存储之间的合并设计问题。在开发新应用时，可以在base中对mvc扩展、异常处理、缓存、数据存储、队列等进行扩展。我希望有另一个tls函数能够用于使一个线程将数据存储到另一个线程的数组中，但是不存在这样一个函数。

网络连接建议使用有线网，因为市面上一些劣质的无线路由器和普通的民用无线网卡程开的比较大的情况下会出现间歇性断网或者数据丢失，掉包等情况，这个我亲有体会。

至于操作系统和python当然肯定是选择64位。如果你使用的是32位的操作系统，那么无法使用大内存。如果你使用的是32位的python，可能在小规模抓取数据的时候感觉不出有什么问题，但是当数据量变大的时候，比如说某个列表，队列，字典里面存储了大量数据，导致python的内存占用超过2g的时候会报内存溢出错误。原因在我曾经segmentfault上提过的问题中依云的回答有解释（java – python只要占用内存达到1.9G之后httplib模块就开始报内存溢出错误 – SegmentFault）

如果你准备使用mysql存储数据，建议使用mysql5.5以后的版本，因为mysql5.5版本支持json数据类型，这样的话可以抛弃mongodb了。（有人说mysql会比mongodb稳定一点，这个我不确定。）

随着汽车市场的快速发展，国内的汽车经销商也分成了4s店和二级经销商两大势力，而通过4s店和二级经销商购车，不管是从价格、配置还是售后上都却有一些差别，那么在4s店购车有什么好处呢。主席早在井冈山时期，就提倡调查研究，并且身体力行，强调“没有调查研究，就没有发言权”，事实上，现在我们党和国家都把调查研究作为自己工作的一部份，像胡锦涛主席，温家宝总理抽一切可能的时间深入到基层去、工厂去、农村去开展调研工作，了解人民群众的疾苦、呼声、需要，这样的领导被群众所爱戴。

其实对于任何软件项目而言，我们凡是想知道编写这个项目需要什么知识点，我们都可以观察一下这个项目的主要入口文件都导入了哪些包。

3，外链每天发多少条，例如内容的建设，以及搜索引擎算法的改进因素等，例如h标签的使用，你都需要分析你所从事的这个行业，以及在执行的过程中遇到了什么挑战，分析完关键词后，以及nofollow的适用，要弄清楚用户到底在搜索什么词，看看是不是按照既定的目标在前进，我们要去分析一下竞争对手的网站情况，最好做一个关键词词库，以及执行中需要一些什么资源、以及品牌知名度等，主要分析对手网站的一些seo情况。1、通过拓词工具(比如站长工具、百度关键词推荐工具、5118等一些工具)获取行业内用户搜索的关键词，之所以获取关键词是因为互联网上分享的资源都是基于这些关键词来实现索引，从而解决用户最终诉求的资源，拿到这些词以后通过关键词分组工具(比如光年提供的关键词分组工具或者通过python开发一些数据处理的小插件)按照词频归类，这些归类的关键词就是你要获取的最终标签。 第二是培训的经费还是十分的有限， 不能在一些人力资源紧缺的行业开展更加深入的培训工作， 为农民工上岗前提供的知识培训， 尤其是岗位实训的指导工作， 例如汽车美容和家居服务等， 这些行业急需能够掌握一定操作技巧的， 具备一定的礼仪知识和较好的敬业精神务工人员， 但是这些培训工作需要时间较长， 学习的内容较多， 费用相对较高， 今年， 我们尝试开展了这些培训， 就遭遇了经费问题， 我们非常遗憾没有能够为学员提供更加细致的培训内容， 因此这些的培训， 既要邀请较好的有丰富的就业一线操作经验的老师以及提供具体的并且是针对性的教材， 又要控制紧张的培训费用， 培训工作开展得相当艰巨。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/ruanjian/article-93939-1.html