heritrix架构图?myeclipse lucence?Heritrix3.0教程(三) 开始抓取

你是否正在寻找关于heritrix的内容？让我把最高级的东西奉献给你：

发表时间：2012-12-09

相关知识库： Linux知识库 HTML5知识库 OpenCV知识库 软件测试知识库

相关文章:
推荐群组: struts2
更多相关推荐

      本博客属原创文章,转载请注明出处:

       上一篇博客介绍了,Heritrix3.0的下载,安装以及启动,可以通过UI去配置,和控制抓取任务.这一篇博将讲述,如何在heritrix上创建抓取任务(CrawlJob)并运行.

       首先创建抓取,本可以通过WEB界面来创建,但有时会出现一些莫名奇妙的问题,我这里通过手工创建的方式.上一篇我的Heritrix所在目录为D:\heritrix\heritrix-3.0.0,所有的抓取任务默在jobs目录下.这里我们手动在jobs目录下创建一个目录,我这里取名为test_job.然后进入D:\heritrix\heritrix-3.0.0\jobs目录下有个profile-defaults目录,再进入,里面有个profile-crawler-beans.cxml文件.将该文件拷贝到刚才创建的test_job下.并将其改名为crawler-beans.cxml.不改名的话,heritrix会默认你的job为模板job.不会进行相关抓取.

这里简单介绍下crawler-beans.cxml.该文件相比Heritrix早期版本改进很多,首先使用Spring管理该文件.同时用该文件代替了Heritrix早期版本多个配置文件,如order.xml和seeds.txt.也算Heritrix3.0的一个新特性,我接下来会介绍heritrix的所有新特性.我们只要在该文件中修改相关bean就可以很好的控制一个爬虫的抓取.特别是垂直爬虫,可以说可以很方便进行配置.至于详细介绍crawler-bean.cxml中各个bean以及它的属性,请看我下一篇博客.也只有了解了各个bean的左右,才可以很好的控制爬虫.

运行一个简单的抓取,先要修改以下地方.

1.创建Job

以上就是关于heritrix的全部内容，相信你一定会非常满意，。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/shenmilingyu/article-12880-1.html