自己编写heritrix_heritrix怎么读_heritrix 下载

0x00 Heritrix介绍

关于Heritrix的介绍，看下面一句话，靠自己理解了...●ω●

Heritrix is the Internet Archive's open-source, extensible, scalable, archival-quality Web crawler.

0x01 Heritrix和Nutch对比

Nutch，开发语言：Java，Apache软件基金会的项目之一。

Nutch是一个基于Lucene，类似Google的完整网络搜索引擎解决方案，基于Hadoop的分布式处理模型保证了系统的性能，类似Eclipse的插件机制保证了系统的可客户化，而且很容易集成到自己的应用之中。

总体上Nutch可以分为2个部分：抓取部分和搜索部分。抓取程序抓取页面并把抓取回来的数据做成反向索引，搜索程序则对反向索引搜索回答用户的请求。抓取程序和搜索程序的接口是索引，两者都使用索引中的字段。抓取程序和搜索程序可以分别位于不同的机器上。

Heritrix，开发语言：Java，是一个开源，可扩展的web爬虫项目。Heritrix设计成严格按照robots.txt文件的排除指示和META robots标签。

二者均为Java开源框架，Heritrix 是 SourceForge上的开源产品，Nutch为Apache的一个子项目，它们都称作网络爬虫/蜘蛛（ Web Crawler），它们实现的原理基本一致：深度遍历网站的资源，将这些资源抓取到本地，使用的方法都是分析网站每一个有效的URI，并提交http请求，从而获得相应结果，生成本地文件及相应的日志信息等。

Heritrix 是个 "archival crawler" -- 用来获取完整的、精确的、站点内容的深度复制。包括获取图像以及其他非文本内容。抓取并存储相关的内容。对内容来者不拒，不对页面进行内容上的修改。重新爬行对相同的URL不针对先前的进行替换。爬虫通过Web用户界面启动、监控、调整，允许弹性的定义要获取的URL。

Nutch和Heritrix的差异：

Nutch 只获取并保存可索引的内容。Heritrix则是照单全收。力求保存页面原貌

Nutch 可以修剪内容，或者对内容格式进行转换。heritrix 下载

Nutch 保存内容为优化格式便于以后索引；刷新替换旧的内容。而Heritrix 是添加(追加)新的内容。

Nutch 从命令行运行、控制。Heritrix 有 Web 控制管理界面。

Nutch 的定制能力不够强，不过现在已经有了一定改进。Heritrix 可控制的参数更多。

Heritrix提供的功能没有nutch多，有点整站下载的味道。既没有索引又没有解析，甚至对于重复爬取URL都处理不是很好。

Heritrix的功能强大 但是配置起来却有点麻烦。

接下来我们分别说说在Windows下直接使用，在Eclipse中搭建环境使用以及在Linux下的使用。

说明：

1. 经过我自己的使用，发现Heritrix 3.2.0这个版本有些问题，运行的时候各种异常抛出。所以，选择了Heritrix 3.3.0这个版本。

2.需要JDK，设置好Java环境变量 (不会的话请百度或Google)

3. Heritrix下载：(可能需要科学上网才能访问)

[1] heritrix-3.3.0-20160721.230902-79-src.zip

[2] heritrix-3.3.0-20160721.230902-79-dist.zip

备注：[1]为Heritrix的源码，[2]为Heritrix的binary文件

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-33401-1.html