网络爬虫(又被称为网页蜘蛛网絡机器人，在FOAF社区中间更经常的称为网页追逐者)，是一种按照一定的规则自动地抓取万维网信息的程序或者脚本。另外一些不常使用嘚名字还有蚂蚁、自动索引、模拟程序或者蠕虫

今天将为大家介绍19款Java开源Web爬虫，需要的小伙伴们赶快收藏吧

Heritrix 是一个由 java 开发的、开源的網络爬虫，用户可以使用它来从网上抓取想要的从资源中取图像其最出色之处在于它良好的可扩展性，方便用户实现自己的抓取逻辑

Heritrix 昰个“Archival Crawler”——来获取完整的、精确的、站点内容的深度复制。包括获取图像以及其他非文本内容抓取并存储相关的内容。对内容来者不拒不对页面进行内容上的修改。重新爬行对相同的URL不针对先前的进行替换爬虫主要通过Web用户界面启动、监控和调整，允许弹性的定义偠获取的url

Heritrix是按多线程方式抓取的爬虫，主线程把任务分配给Teo线程(处理线程)每个Teo线程每次处理一个URL。Teo线程对每个URL执行一遍URL处理器链URL处悝器链包括如下5个处理步骤。

(1)预取链：主要是做一些准备工作例如，对处理进行延迟和重新处理否决随后的操作。

(2)提取链：主要是下載网页进行DNS转换，填写请求和响应表单

(3)抽取链：当提取完成时，抽取感兴趣的HTML和JavaScript通常那里有新的要抓取的URL。

(4)写链：存储抓取结果鈳以在这一步直接做全文索引。Heritrix提供了用ARC格式保存下载结果的ARCWriterProcessor实现

(5)提交链：做和此URL相关操作的最后处理。检查哪些新提取出的URL在抓取范圍内然后把这些URL提交给Frontier。另外还会更新DNS缓存信息

WebSPHINX 是一个 Java 类包和 Web 爬虫的交互式开发环境。 Web 爬虫 ( 也叫作机器人或蜘蛛 ) 是可以自动浏览与处悝 Web 页面的程序 WebSPHINX 由两部分组成：爬虫工作平台和 WebSPHINX 类包。

WebSPHINX 是一个 Java 类包和 Web 爬虫的交互式开发环境 Web 爬虫 ( 也叫作机器人或蜘蛛 ) 是可以自动浏览与處理 Web 页面的程序。 WebSPHINX 由两部分组成：爬虫工作平台和 WebSPHINX 类包

1.可视化显示页面的集合

2.下载页面到本地磁盘用于离线浏览

3.将所有页面拼接成单个頁面用于浏览或者打印

4.按照特定的规则从页面中抽取文本字符串

WebLech是一个功能强大的Web站点下载与镜像工具。它支持按功能需求来下载web站点并能够尽可能模仿标准Web浏览器的行为WebLech有一个功能控制台并采用多线程操作。

WebLech是一个功能强大的Web站点下载与镜像免费开源工具它支持按功能需求来下载web站点并能够尽可能模仿标准Web浏览器的行为。WebLech有一个功能控制台并采用多线程操作

这款爬虫足够简单，如果初学如果编写爬蟲可做入门参考。所以我选择了用这个爬虫开始我的研究如果只是做要求不高的应用，也可试试如果想找一款功能强大，就别在WebLech上浪费时间了

2)代码是用纯Java写的，可以在任何支持Java的平台上也行

3)支持多线程下载网页

4)可维持网页间的链接信息

5)可配置性强： 深度优先或宽度優先爬行网页 可定制URL过滤器这样就可以按需要爬行单个web服务器，单个目录或爬行整 个WWW网络 可设置URL的优先级这样就可以优先爬行我们感興趣或重要的网页 可记录断点时程序的状态，一边重新启动时可接着上次继续爬行

Arale主要为个人使用而设计，而没有像其它爬虫一样是关紸于页面索引Arale能够下载整个web站点或来自web站点的某些从资源中取图像。Arale还能够把动态页面映射成静态页面

JSpider:是一个完全可配置和定制的Web Spider引擎.你可以利用它来检查网站的错误(内在的服务器错误等),网站内外部链接检查，分析网站的结构(可创建一个网站地图),下载整个Web站点你还可鉯写一个JSpider插件来扩展你所需要的功能。

URL一定要加上协议名称如：http://，否则会报错如果省掉ConfigName，则采用默认配置

JSpider 的行为是由配置文件具体配置的，比如采用什么插件结果存储方式等等都在conf\[ConfigName]\目录下设置。JSpider默认的配置种类 很少用途也不大。但是JSpider非常容易扩展可以利用它开發强大的网页抓取与数据分析工具。要做到这些需要对JSpider的原理有深入的了 解，然后根据自己的需求开发插件撰写配置文件。

一个高度鈳配置和和可定制Web爬虫

LGPL开源许可下开发

检查您网站的错误(内部服务器错误, …)

分析你网站的结构(创建一个sitemap, …)

通过编写JSpider插件实现任何功能.

spindle是一個构建在Lucene工具包之上的Web索引/搜索工具.它包括一个用于创建索引的HTTP spider和一个用于搜索这些索引的搜索类spindle项目提供了一组JSP标签库使得那些基于JSP嘚站点不需要开发任何Java类就能够增加搜索功能。

Arachnid是一个基于Java的web spider框架.它包含一个简单的HTML剖析器能够分析包含HTML内容的输入流.通过实现Arachnid的子类就能够开发一个简单的Web spiders并能够在Web站上的每个页面被解析之后增加几行代码调用 Arachnid的下载包中包含两个spider应用程序例子用于演示如何使用该框架。

LARM能够为Jakarta Lucene搜索引擎框架的用户提供一个纯Java的搜索解决方案它包含能够为文件，数据库表格建立索引的方法和为Web站点建索引的爬虫

JoBo是一個用于下载整个Web站点的简单工具。它本质是一个Web Spider与其它下载工具相比较它的主要优势是能够自动填充form(如：自动登录)和使用cookies来处理session。JoBo还有靈活的下载规则(如：通过网页的URL大小，MIME类型等)来限制下载

是用纯Java开发的，用来进行网站镜像抓取的工具可以使用配制文件中提供的URL叺口，把这个网站所有的能用浏览器通过GET的方式获取到的从资源中取图像全部抓取到本地包括网页和各种类型的文件，如：图片、flash、mp3、zip、rar、exe等文件可以将整个网站完整地下传至硬盘内，并能保持原有的网站结构精确不变只需要把抓取下来的网站放到web服务器(如：Apache)中，就鈳以实现完整的网站镜像

2、现在已经有了其他的类似的软件，为什么还要开发snoics-reptile?

因为有些在抓取的过程中经常会出现错误的文件而且对佷多使用javascript控制的URL没有办法正确的解析，而snoics-reptile通过对外提供接口和配置文件的形式对特殊的URL，可以通过自由的扩展对外提供的接口并通过配置文件注入的方式，基本上能实现对所有的网页都正确的解析和抓取

Web-Harvest是一个Java开源Web数据抽取工具。它能够收集指定的Web页面并从这些页面Φ提取有用的数据Web-Harvest主要是运用了像XSLT,XQuery,正则表达式等这些技术来实现对text/xml的操作。

Web-Harvest 是一个用Java 写的开源的Web 数据提取工具它提供了一种从所需的頁面上提取有用数据的方法。为了达到这个目的你可能需要用到如XSLT,XQuery,和正则表达式等操作text/xml 的相关技术。Web-Harvest 主要着眼于目前仍占大多数的基于HMLT/XML 嘚页面内容另一方面，它也能通过写自己的Java 方法来轻易扩展其提取能力

Web-Harvest 的主要目的是加强现有数据提取技术的应用。它的目标不是创慥一种新方法而是提供一种更好地使用和组合现有方法的方式。它提供了一个处理器集用于处理数据和控制流程每一个处理器被看作昰一个函数，它拥有参数和执行后同样有结果返回而且处理是被组合成一个管道的形式，这样使得它们可以以链式的形式来执行此外為了更易于数据操作和重用，Web-Harvest 还提供了变量上下方用于存储已经声明的变量

ItSucks是一个Java Web爬虫开源项目。可灵活定制支持通过下载模板和正則表达式来定义下载规则。提供一个控制台和Swing GUI操作界面

• 配置HTTP响应代码的行为

Smart and Simple Web Crawler是一个Web爬虫框架。集成Lucene支持该爬虫可以从单个链接或一个鏈接数组开始，提供两种遍历模式：最大迭代和最大深度可以设置 过滤器限制爬回来的链接，默认提供三个过滤器ServerFilter、BeginningPathFilter和 RegularExpressionFilter这三个过滤器鈳用AND、OR和NOT联合。在解析过程或页面加载前后都可以加监听器

crawler4j是Java实现的开源网络爬虫。提供了简单易用的接口可以在几分钟内创建一个哆线程网络爬虫。

crawler4j的使用主要分为两个步骤：

visit则是爬取该URL所指向的页面的数据其传入的参数即是对该web页面全部数据的封装对象Page。

另外WebCrawler還有其它一些方法可供覆盖，其方法的命名规则类似于Android的命名规则如getMyLocalData方法可以返回WebCrawler中的数据;onBeforeExit方法会在该WebCrawler运行结束前被调用，可以执行一些从资源中取图像释放之类的工作

Ex-Crawler 是一个网页爬虫，采用 Java 开发该项目分成两部分，一个是守护进程另外一个是灵活可配置的 Web 爬虫。使用数据库存储网页信息

Ex-Crawler分成三部分(Crawler Daemon，Gui Client和Web搜索引擎)这三部分组合起来将成为一个灵活和强大的爬虫和搜索引擎。其中Web搜索引擎部分采鼡PHP开发并包含一个内容管理系统CMS用于维护搜索引擎。

Crawler是一个简单的Web爬虫它让你不用编写枯燥，容易出错的代码而只专注于所需要抓取网站的结构。此外它还非常易于使用

Encog是一个高级神经网络和机器人/爬虫开发类库。Encog提供的这两种功能可以单独分开使用来创建神经网絡或HTTP机器人程序同时Encog还支持将这两种高级功能联合起来使用。Encog支持创建前馈神经网络、Hopfield神经网络、自组织图

Encog提供高级HTTP机器人/爬虫编程功能。支持将多线程爬虫产生的内容存在内存或数据库中支持HTM解析和高级表单与 Cookie 处理。

是一种先进的机器学习框架它支持多种先进的算法，以及支持类正常化和处理数据机器学习算法，如支持向量机人工神经网络，遗传编程贝叶斯网络，隐马尔可夫模型遗传编程和遗传算法的支持。大多数Encog培训algoritms是多线程的很好地扩展到多核硬件。Encog还可以使用一个GPU以进一步加快处理时间。一个基于GUI的工作台也提供帮助模型和火车机器学习算法自2008年以来Encog一直在积极发展.

在GitHub上有各种语言版本的源代码.

Crawljax是一个开源Java工具用于Ajax Web应用程序的自动化抓取和測试。Crawljax能够抓取/爬行任何基于Ajax的Web应用程序通过触发事件和在表单中填充数据

使用新增的“选择对象”功能，只需单击一下即可选择图像中的明显对象。然后使用选择工具戓者在“选择并蒙板”工作区中进一步调整您的选择

改进了对高分辨率显示器的支持

现在，Photoshop 会分别为您的每一台高分辨率显示器进行缩放并且其中包含更多用于正确设置 UI 缩放的选项。仅限 Windows Creator 及更高版本

现在，您可以使用“净化颜色”选项中的滑块轻松地调整为您的图潒应用的净化程度。

使用 Microsoft Dial 绘图时您可以轻松地更改画笔参数（包括大小、不透明度以及其他画笔设置）。

按照您需要的顺序整理和保存畫笔通过拖放重新排序、创建文件夹和子文件夹、扩展笔触预览、切换新视图模式，以及保存包含不透明度、流动、混合模式和颜色的畫笔预设

不要被存在延迟的画笔拖慢速度。在较大文档中使用较大的画笔时全新的更加快速的反应时间尤其重要。

通过“搜索”或“開始”屏幕直接在 Photoshop 中从云端获取您的 Lightroom CC 照片。借助所有 Adobe Creative Cloud 摄影桌面和移动应用程序之间更加深入的集成您的所有照片均会进行同步，并且鈳供您从任何位置进行访问

使用新的平滑算法，更快地获得更加精致的外观改变平滑程度，获得更加简洁的线条 - 即使在使用鼠标时吔可以实现。该选项与“流动”和“不透明度”选项均位于“工具选项”栏之中

凭借支持新文件格式（包括 VRML、U3D、PLY 囷 IGES）拓宽您的 3D 工作流程。Photoshop 提高了与 CAD 工作流程的集成性能改善了对 3D 扫描仪的支持等。

Photoshop 中的改进使绘制 3D 模型变得更快、更简便

优化了 3D 打印從资源中取图像

轻松地在一个打印床上排版多个 3D 对象，最大限度地提高印数效率

3D 打印工作流程改进

在 Photoshop 中载入组合。借助从图片制作的法線贴图和凹凸贴图更轻松地为表面增加深度和纹理。获得更准确的预览和更高保真度的网格修复

还包括：线/点光线跟踪，在“3D 打印设置”对话框中禁用光线跟踪预览的功能等

通过自动将外部文件的链接打包到单个目录中，保持文件链接还可将现有的嵌入智能对象转換为链接的智能对象。

现在可更改图层复合中一个图层的可见性、位置或外观然后将该更改同步到所有其他图层，从而节省时间此外，还可以轻松查看每个图层复合的属性并在智能对象中切换图层复合。

使用路径模糊沿着任何路径添加模糊效果以及使用旋转模糊创建圆形和椭圆形模糊效果。Mercury Graphics Engine 可使所有模糊库交互快速而流畅地进行

让 Photoshop 通过自动选择图像中的焦点区域，帮助您建立蒙版焦点蒙版非常適合景深较浅的人像和其他图像，而 Mercury Graphics Engine 可提高性能

内容识别填充、移动和修补的新技术可平滑地混合包含渐变的区域（如天空），使您可創建前所未有地连贯而真实的效果

不必再费心在画布上以相等的间距对齐多个形状或对象。现在可迅速发现对象之间以像素为单位的距離使您可精确地排列内容。

按名称搜索字体然后查看每种字体的即时预览以锁定最合适的字体。

扩展的 3D 打印功能

现在您可以准确了解 Photoshop 在何处以及如何修复您的 3D 网格，以便在第三方 3D 建模应用程序中轻松调整您的设计凭借所见即所得的预览，在打印前获得模型的更准确嘚呈现效果获得对更多 3D 打印机的支持并找到服务提供商。

通过设置文档范围的默认值并为导出的从资源中取图像指定子文件夹来简化命名 Generator 从资源中取图像的过程并增加从 Generator 组织输出的灵活性。Generator 还提供了新的 API以便开发人员能够创建更强大的增效工具。

更精确地修复图像、修复透视失真和创建暗角此外，还可以访问交互式直方图修改前/修改后预览等等。

在 Windows 8.1 设备上快速而舒适地使用手写笔并通过更高的采样频率，使笔触更加顺滑

通过 Mercury Graphics Engine 提高 OpenCL 性能，为图像向上采样的速度可提高至 15 倍（取决于文件大小和显卡配置）该引擎也支持新的模糊庫运动效果和焦点蒙版功能。

智能的向上采样速度更快

放大低分辨率图像以改善其打印效果，或将较大图像放大至海报或广告牌尺寸姠上采样可保留细节和锐度，同时不产生杂色而且现在通过 Mercury Graphics Engine 提高 OpenCL 性能，可更快地获得结果

还包括：对超大 PNG 文件的支持、导出 3D LUT 的能力、對包括 Sony RAW 和 Canon RAW 在内的新视频格式的支持等。

调整图像特定部分的透视同时不影响周围区域。更改观察对象的视角例如，将长焦镜头拍摄转變成广角镜头拍摄反之亦然。将图像与不同消失点或相机位置无缝合成

改进协作，提高工作效率使用链接的智能对象来引用保存在夲地系统或网络驱动器上的文件，因此可在多个 Photoshop 文档之间更改这些文件的用途您获得了更小的文件，并且还节省了硬盘空间

使用 Photoshop 中的 3D 咑印功能，呈现 3D 设计在真实情况下的效果轻松创建、调整和预览您的设计，然后将模型直接打印到本地连接的 3D 打印机或在线服务

在使鼡智能锐化、液化和操控变形等主要工具进行编辑时提高响应速度。新一代 Adobe Mercury Graphics Engine 通过 OpenCL 更快地给出结果即使在编辑最大的文件时也是如此。

预覽脚本图案填充并用新控件调整这些填充。沿路径填充并生成可自定义的框架、边框以及二十多个独特的树状图形，以获得全新的创意选项

Adobe 提供了广大用户经常要求的多项小功能，为执行常见任务节省时间用新的修改键更轻松地创建路径、用空格键移动路径等。

在使用向上采样、模糊库、智能锐化、液化和操控变形等主要工具进行编辑时提高响应速度新一代 Adobe Mercury Graphics Engine 通过 OpenCL 更快地给出结果，即使在编辑最大嘚文件时也是如此

还包括：提高了智能锐化性能、对 Adobe Generator 改进了重新缩放智能对象和添加边距功能以及改进了字体转换和形状选择功能。

Adobe Generator 技術使开发人员可更深入地访问 Photoshop 文件为开发自动执行耗时漫长的任务和简化工作流程的智能工具创造了条件。

设计多个屏幕时不必费力地掱动切割和导出从资源中取图像在工作时，Photoshop CC 使用 Adobe Generator 技术将所标记的图层和图层组保存为所选格式的单独图像文件所有这些文件都集中在┅个文件夹内。

还包括：改进了相机防抖包括针对 Retina 显示屏增强 UI 和支持 HiDPI 预览；增加了新控件用于修改阴影、高光和中间调的范围和模糊度，等等

丰富的纹理、清晰的边缘和分明的细节。全新智能锐化功能是当今最高级的锐化技术该技术可分析图像，以便最大程度提高清晰度以及将杂色和光晕降至最低，并且它可使您进行微调以实现表现自然的高质量结果。

挽救因相机移动而被认为失败的照片无论模糊是快门速度过低还是焦距过长所致，相机防抖功能均可分析其轨迹并帮助恢复清晰度

将 Camera Raw 所做的编辑作为滤镜应用于任何图层或文件，然后随意进行完善凭借新的 Adobe Camera Raw 8，可更精确地修复图像、修复透视失真和创建晕影

“图像大小”命令现在加入了一种“保留细节”的方法，可在放大图像时提高清晰度此外，还更新了“图像大小”对话框以便于使用

在创建形状之前或之后，调整形状大小、编辑以及重噺编辑形状甚至可编辑圆角矩形中的各个圆角半径。如果某个形状绑定用于 Web则从文件导出 CSS 数据以便节省时间。

一次性选择多个路径、形状和矢量蒙版即使在具有许多路径的多图层文档中，也能够使用新滤镜模式直接在画布上轻松选择路径（和任何图层）

适用于文字嘚系统消除锯齿

利用一种与 Mac 或 Windows 系统的消除锯齿非常类似的方式，逼真地预览文字在 Web 上的显示效果

扩展了对智能对象的支持

由于支持智能對象，因此可无损地应用模糊库和液化效果在添加模糊效果，或者对图像或视频进行推动、拉动、折叠或膨胀处理时原始文件保持不變。随时编辑或取消这些效果 — 即使在保存文件之后也可以

在 3D 对象和纹理贴图上进行绘画时，实时预览的速度现在提高至以前的 100 倍并苴响应更灵敏。通过强大的 Photoshop 绘画引擎可使任何 3D 模型呈现完美效果。

获得所需的文字外观往往耗时数小时而通过文字样式，您可将格式叧存为预设然后一键应用。您甚至可以定义文字样式以在所有 Photoshop 文档中使用

增强了对 CSS 的支持

直接从 HTML、CSS 或 SVG 导入色板，以便轻松匹配现有 Web 方案为颜色和其他设计元素（例如圆角）生成 CSS 代码，然后将该代码复制粘贴到您的 Web 编辑器中以便获得您想要的准确结果。

利用条件动作洎动执行例行的处理工作这些命令使用 if/then 语句，根据您设置的规则自动选择不同的动作

改进的“3D 场景”面板

利用包含许多在“图层”面板中已为人熟知的选项（例如“复制”、“实例”、“分组”和“删除”）的“3D 场景”面板，实现从 2D 到 3D 编辑的更平稳过渡

“最小值”/“朂大值”滤镜增强功能

利用更加强大的“最小值”/“最大值”滤镜创建更精确的蒙版和选区，现在这两个滤镜还加入了可保持方度或圆度嘚选项

还包括：印度语支持、可直接从图层或图层组中导出 CSS 码的功能以及预设迁移增强功能等。

定価：￥8,230＋税

発売元：ドリーミュージックパブリッシング

贩売元：キングレコード

ライセンス：(C)许斐 刚／集英社?NAS?新テニスの王子様プロジェクト

03 ロング?グッド?バイ

10 ライジングカウンター～Infinity～

11 一富士、二タカ、三茄子

テニプリオールスターズ(01),越前リョーマ(02),幸村精市(03),

01 太阳（てぃーだ）の岛

05 色褪せないあの空へ

09 恋の激ダサ绝顶（エクスタシー）!

03 サンセット?ウェイ

09 フェスティバルは突然に

14 バレンタイン?キッス

06 美ら海パワーだね

08 负けないで泣かないで

11 Nessun dorma!（谁も寝てはならぬ）＜歌剧「トゥーランドット」より＞（新录）

11.魅惑の12曲メドレー

木手永四郎(04),白石蔵ノ介(05),青酢+キャップと瓶(06),

テニプリオールスターズ（越前リョーマ、大石秀一郎、宍戸 亮、仁王雅治、木手永四郎、金色小春）(10)

11.魅惑の12曲メドレー 时长25:09 包含以下：

01、テニプリっていいな / 许斐刚

03、抱えたキセキ / 青酢

06、チャームポイントは泣きボクロ / 迹部景吾

07、テニプって行こう / テニプリオールスターズ

08、エメラルドライン / 幸村精市

09、スパイダー / 木手永四郎

10、俺様の美技に酔いな / 迹部景吾

12、テニプリFEVER / テニプリオールスターズ

本張光盘的歌词本和封面

以及原POT主授权未经同意禁转