GitHub上有哪些出色的Java爬虫项目？

262人同意答案

1，Gecco

github地址: xtuhcy / gecco

Gecco是用Java语言开发的轻巧易用的Web搜寻器. 与jsoupjava qq空间爬虫，httpclient，fastjson，spring，htmlunit，redission和其他框架集成在一起，您只需配置一些jquery样式选择器即可快速编写爬虫. Gecco框架具有出色的可伸缩性. 该框架是根据开放和封闭的原则设计的，可以进行修改而不能扩展.

2，WebCollector

github地址: CrawlScript / WebCollector

WebCollector是一个JAVA搜寻器框架（内核），不需要进行配置且便于二次开发. 它提供了简化的API，仅需少量代码即可实现功能强大的搜寻器. WebCollector-Hadoop是WebCollector的Hadoop版本，它支持分布式爬网.

3，蜘蛛侠

代码云地址: l-weiwei / Spiderman2-代码云-开源中国

用例: 展示垂直履带的能力-像风一样自由

Spiderman是基于微内核+插件体系结构的Web蜘蛛. 其目标是通过一种简单的方法将复杂的目标网页信息捕获并解析为所需的业务数据.

4，WebMagic

代码云地址: flashsword20 / webmagic-code cloud-open source中国

Webmagic是不需要配置的爬网程序框架，对于二次开发很方便. 它提供了一个简单而灵活的API，只有少量的代码可以实现搜寻器. Webmagic采用完全模块化的设计，涵盖了搜寻器的整个生命周期（链接提取，页面下载，内容提取，持久性），支持多线程搜寻，分布式搜寻，并支持自动重试和自定义UA Cookies等功能.

5，Heritrix

github地址: internetarchive / heritrix3

6，rawler4j

github地址: yasserg / crawler4j·GitHubcrawler4j是用Java实现的开源Web搜寻器. 提供易于使用的界面，可以在几分钟内创建多线程Web搜寻器.

发布于2017-01-11

379人同意答案

1.nutch

地址: apache / nutch·GitHub

apache下的开源爬虫程序，具有丰富的功能和完整的文档. 有用于数据捕获分析和存储的模块. 而且这东西还包括开箱即用的搜索引擎，您可以在安装后进行搜索.

2.Heritrix

地址: internetarchive / heritrix3·GitHub

它已经存在了很长时间. 它已被更新许多次，并且具有完整的功能，完整的文档和许多资料，并被许使用. 它具有自己的Web管理控制台，并包括HTTP服务器. 操作员可以通过选择“爬网程序”命令来操作控制台.

3.crawler4j

地址: yasserg / crawler4j·GitHub

由于它仅具有搜寻器的核心功能java qq空间爬虫，因此上手非常简单. 您可以在几分钟内编写一个多线程搜寻器程序.

当然，上面提到的诸如数据存储之类的功能并不意味着Heritrix不会，反之亦然. 哪一种适合特定用途需要仔细阅读文档并与实验合作以得出结论〜

还有诸如JSpider，WebEater，Java Web Crawler，WebLech，Ex-Crawler，JoBo等，这些都不使用，我不知道. .

ps: 进入前者网络并责骂前者

于2018-08-06编辑

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/shouji/article-210792-1.html