45页PPT|大数据环境下实现一个O2O通用推荐引擎的实践

PPV课大数据

58同城是中国本地生活服务应用的代表。从最新数据规模上看，58同城已经超过了美国的Graigslist成为该领域世界第一，拥有超过1.3亿的月独立用户和400多万的季度活跃本地商户,月度发布超过5600万条本地生活服务信息。更复杂的是，58同城覆盖了诸如招聘、二手、二手车、房产等几乎所有垂直生活服务领域，所以数据类型非常异构多样。本案例将介绍在这样一个海量异构的数据源上，如何构建一个满足全领域需求的个性化推荐引擎。

PPT要点：

推荐系统：发现用户偏好，给用户主动推荐符合其意图的信息

• 好友推荐，商品推荐，网络日志推荐，视频推荐，App推荐，广告推荐

• Amazon, Facebook，Google, Netflix, Youtube, Apple…

推荐引擎的历史：

1992年 推荐系统诞生。Collaborative Filtering算法诞生，推荐系统诞生；GroupLens Project应用CF到新闻过滤

2003年 Amazon商品推荐、CDNOW音乐专辑推荐使用Itembased CF；MovieLens电影

2004年 推荐个性化，Karypis引入个性化推荐系统并逐步发展

2007年 Google Personalized News推进个性化推荐技术影响力巨大进步

2009年 推荐技术多样化 Netflix Prize推荐大赛结束，推荐技术开始受到普遍关注，基于邻域的推荐算法得到较多改进；Matrix Factorization models、多模型数据挖掘算法等开始广泛应用；

2010年 推荐社会化，Facebook公布其二度好友推荐算法，标志社会化推进技术逐步成熟。Hadoop平台已趋于成熟，Mahout子项目也逐步丰富

推荐技术和数据挖掘在互联网中已经开始得到实质性的推进和应用。本地生活服务领域中的数据呈现大规模、异构的特征，为推荐技术和数据挖掘提供了较高难度的挑战，也是推荐技术和数据挖掘的典型应用领域。

推荐亲友要点：

1）推荐引擎的构建是一个系统工程，需要循序渐进，逐步优化；

2）充分分析数据特点，是构建推荐引擎和开展数据挖掘的最重要的先决条件；

3）对于浏览为主的互联网应用，用户识别能力是决定推荐准确性和召回能力重要决定因素之一；

4）在本地生活服务及O2O等领域中，基于行为分析和基于内容相关性的推荐策略是常用且有效的推荐算法。

5）在本地生活服务及O2O等领域中，推荐准确性可以通过基于机器学习和规则结合的方式来达到一个较好的结果。

３.案例ROI分析：如果可能的话，进行投入产出分析

在本地生活服务及O2O领域中，推荐技术和数据挖掘覆盖了50%左右的应用场景。对大数据挖掘较好的应用能带来对从用户体验到收入变现等各个方面数据指标的实质提升。尤其在移动互联网越来越流行的时代，手触设备上对推荐技术的依赖更大。例如：在58同城的新版app中，推荐结果将直接放到app首页中。

启示：提炼出该案例（或项目）的哲理、方法论。

技术和产品的结合是任何互联网公司必须面对的永恒主题，而今，技术的创新，尤其是大数据领域的技术创新对互联网公司的推进动力会越来越强，有的已经超过了50%。

本PPT来自58同城数据智能部总监邓雄，英国帝国理工数据挖掘博士。他长期从事推荐引擎、社交图谱及兴趣图谱挖掘、计算广告等方面深入研发工作，是大数据挖掘和智能系统的资深专家。他目前全面负责58同城大数据智能分析和挖掘的建设。曾担任人人网应用研究中心负责人，兼任人人网清华联合实验室负责人，总体负责人人网社交网络中社交关系链挖掘、好友推荐、兴趣偏好及热点趋势挖掘、图像处理和识别的研发工作。曾从事百度商务搜索部凤巢广告系统研发。他擅长产品技术创新，目前拥有10多个相关专利。他是中科院大学工程与信息技术学院大数据方向专家委员会特聘委员。

End.

PPV课其他精彩文章：

0、回复“活动”查看PPV课社区百日掘金活动-积分兑换Iphone 5s、MINI金条

1、回复“干货”查看干货 数据分析师完整知识结构

2、回复“答案”查看大数据Hadoop面试笔试题及答案

3、回复“设计”查看这是我见过最逆天的设计，令人惊叹叫绝

4、回复“可视化”查看数据可视化专题-数据可视化案例与工具

5、回复“禅师”查看当禅师遇到一位理科生，后来禅师疯了！！知识无极限

6、回复“啤酒”查看数据挖掘关联注明案例-啤酒喝尿布

7、回复“栋察”查看大数据栋察——大数据时代的历史机遇连载

7、回复“数据咖”查看数据咖——PPV课数据爱好者俱乐部省分会会长招募

原文始发于微信公众号（PPV课数据科学社区）：45页PPT|大数据环境下实现一个O2O通用推荐引擎的实践