【工具】雅虎开源解析HTML页面数据的Web爬取工具Anthelion

　　Yahoo 宣布开源解析 HTML 页面结构数据的 Web 爬取工具 Anthelion。

　　Web 爬行工具是 Yahoo 很重要的核心，甚至超过了其他应用： Yahoo Mail, Yahoo Finance, Yahoo Messenger, Flickr 和 Tumblr。

　　上一年在上海的一次会议中，Yahoo 也详细提到了 Anthelion：“Anthelion 最初专注于语义数据，使用标记语言嵌入到 HTML 页面，比如 Microdata，Microformat 或者 RDFa。”这次会议还提到了爬取技术是如何实现的，为什么能提供更高数量的特定搜索查询相关的结果。

　　Microdata 和 RDFa 是结构数据关于不同主题的语法格式，兼容 schema.org 词汇（一个 Google，Yahoo 和 Bing 搜索引擎都在研究的项目） a project that the Google, Yahoo, and Bing search engines all work on.

　　Anthelion 的代码现在以 Apache 开源授权协议托管到 GitHub：https://github.com/yahoo/anthelion，包含 Apache Nutch 完整源代码。

　　Anthelion 可以根据设定目标爬取特定页面，比如，包括标记描述影片和至少两个不同属性（比如电影标题和演员）。

　　via venturebeat.com

来自: 开源中国社区

1、回复“数据分析师”查看数据分析师系列文章

2、回复“案例”查看大数据案例系列文章

3、回复“征信”查看相关征信的系列文章

4、回复“可视化”查看可视化专题系列文章

5、回复“SPPS”查看SPSS系列文章

6、回复“答案”查看hadoop面试题题目及答案

7、回复“爱情”查看大数据与爱情的故事

8、回复“笑话”查看大数据系列笑话

9、回复“大数据1、大数据2、大数据3、大数据4”查看大数据历史机遇连载

原文始发于微信公众号（PPV课数据科学社区）：【工具】雅虎开源解析HTML页面数据的Web爬取工具Anthelion