以Amazon、豆瓣网为例,探索推荐引擎内部的秘密#1

推荐系统

随着 Web 技术的发展,使得内容的创建和分享变得越来越容易。每天都有大量的图片、博客、视频发布到网上。信息的极度爆炸使得人们找到他们需要的信息将变得越来越难。传统的搜索技术是一个相对简单的帮助人们找到信息的工具,也广泛的被人们所使用,但搜索引擎并不能完全满足用户对信息发现的需求,原因一是用户很难用恰当的关键词描述自己的需求,二是基于关键词的信息检索在很多情况下是不够的。而推荐引擎的出现,使用户获取信息的方式从简单的目标明确的数据的搜索转换到更高级更符合人们使用习惯的上下文信息更丰富的信息发现。

信息发现

如今已经进入了一个数据爆炸的时代,随着 Web 2.0 的发展, Web 已经变成数据分享的平台,那么,如何让人们在海量的数据中想要找到他们需要的信息将变得越来越难。

在这样的情形下,搜索引擎(Google,Bing,百度等等)成为大家快速找到目标信息的最好途径。在用户对自己需求相对明确的时候,用搜索引擎很方便的通过关键字搜索很快的找到自己需要的信息。但搜索引擎并不能完全满足用户对信息发现的需求,那是因为在很多情况下,用户其实并不明确自己的需要,或者他们的需求很难用简单的关键字来表述。又或者他们需要更加符合他们个人口味和喜好的结果,因此出现了推荐系统,与搜索引擎对应,大家也习惯称它为推荐引擎。

随着推荐引擎的出现,用户获取信息的方式从简单的目标明确的数据的搜索转换到更高级更符合人们使用习惯的信息发现。

如今,随着推荐技术的不断发展,推荐引擎已经在电子商务 (E-commerce,例如 Amazon,当当网 ) 和一些基于 social 的社会化站点 ( 包括音乐,电影和图书分享,例如豆瓣,Mtime 等 ) 都取得很大的成功。这也进一步的说明了,Web2.0 环境下,在面对海量的数据,用户需要这种更加智能的,更加了解他们需求,口味和喜好的信息发现机制。

推荐引擎

前面介绍了推荐引擎对于现在的 Web2.0 站点的重要意义,这一章我们将讲讲推荐引擎到底是怎么工作的。推荐引擎利用特殊的信息过滤技术,将不同的物品或内容推荐给可能对它们感兴趣的用户。

图 1. 推荐引擎工作原理图

推荐引擎工作原理图

图 1 给出了推荐引擎的工作原理图,这里先将推荐引擎看作黑盒,它接受的输入是推荐的数据源,一般情况下,推荐引擎所需要的数据源包括:

要推荐物品或内容的元数据,例如关键字,基因描述等;

系统用户的基本信息,例如性别,年龄等

用户对物品或者信息的偏好,根据应用本身的不同,可能包括用户对物品的评分,用户查看物品的记录,用户的购买记录等。其实这些用户的偏好信息可以分为两类:

显式的用户反馈:这类是用户在网站上自然浏览或者使用网站以外,显式的提供反馈信息,例如用户对物品的评分,或者对物品的评论。

隐式的用户反馈:这类是用户在使用网站是产生的数据,隐式的反应了用户对物品的喜好,例如用户购买了某物品,用户查看了某物品的信息等等。

显式的用户反馈能准确的反应用户对物品的真实喜好,但需要用户付出额外的代价,而隐式的用户行为,通过一些分析和处理,也能反映用户的喜好,只是数据不是很精确,有些行为的分析存在较大的噪音。但只要选择正确的行为特征,隐式的用户反馈也能得到很好的效果,只是行为特征的选择可能在不同的应用中有很大的不同,例如在电子商务的网站上,购买行为其实就是一个能很好表现用户喜好的隐式反馈。

推荐引擎的分类

推荐引擎的分类可以根据很多指标,下面我们一一介绍一下:

1、推荐引擎是不是为不同的用户推荐不同的数据

根据这个指标,推荐引擎可以分为基于大众行为的推荐引擎和个性化推荐引擎

这是一个最基本的推荐引擎分类,其实大部分人们讨论的推荐引擎都是将个性化的推荐引擎,因为从根本上说,只有个性化的推荐引擎才是更加智能的信息发现过程。

根据大众行为的推荐引擎,对每个用户都给出同样的推荐,这些推荐可以是静态的由系统管理员人工设定的,或者基于系统所有用户的反馈统计计算出的当下比较流行的物品。

用户喜欢...

Microchip 的 Amazon 网络服务 (AWS) IoT 套件用于安全物联网应用的快速原型开发

来自Microchip Technology的 AT88CKECC-AWS-XSTK-B零接触安全配置套件帮助设计人员快速、可靠地开发出物联网设备,符合 AWS 安全规定。新的安全模型要求设备必须使用相互身份验证在 AWS 云上获得远程...


NXP与Amazon FreeRTOS携手 LPC54018 IoT解决方案

LPC54018 IoT解决方案由恩智浦与Embedded Artists携手开发,该解决方案是一款独立式高性能微控制器解决方案,适用于开发支持AWS的产品。该解决方案包含一个基于LPC54018的模块,提供板载Wi-Fi和用于...


使用Amazon FreeRTOS将设计快速安全地连接到云端

传统的嵌入式系统开发人员通常在断开设备的裸机级别工作,但物联网需要系统连接到Internet。这要求嵌入式系统开发人员学习如何连接他们的设备并使用更高级别的操作系统,例如实时操作系...


德州仪器宣布其SimpleLink™ MCU平台集成全新的Amazon FreeRTOS,实现快速云连接

德州仪器和亚马逊AWS为物联网设备实现端到端云连接提供持续支持 德州仪器(TI)近日宣布,SimpleLink™微控制器(MCU)平台集成全新的亚马逊FreeRTOS,帮助开发商快速而安全地将物联网(Io...


IBM持续2018年投入区块链

科技巨头IBM正积极努力在区块链领域保持领先地位,尤其是分布式账户技术.根据Juniper的企业调查,IBM在区块链技术供...


IBM解析2018年最流行的五项IoT趋势

2017年,物联网技术(loT)为传统行业带来了变革的风声和兴奋的议论。这是一场实质性的转变。我们已经能够看到,几乎所有的行业都在投资物联网,而且其中的佼佼者已经开始迅速采取行...


IBM拿出新型Power9处理器 针对AI和机器学习而开发

目前全球需要越来越大的计算能力来处理像人工智能和机器学习这样的资源密集型工作负载,IBM公司以其最新一代Power芯片 - Power9进入了竞争。该公司打算向第三方制造商和包括Google在内的云...


RocketChip RISC-V 内核+ 亚马逊 AWS EC2 F1实例=FireSim云基硬件/软件协同开发环境

网络电子商务巨头亚马逊已经广泛的将多个赛灵思公司的基于16nm FinFET工艺的Virtex UltraScale VU9P FPGA部署到亚马逊弹性计算云(EC2)F1实例上。EC2是亚马逊云计算的基本平台,由于网络通信量复...


Amazon Alexa和Google Home语言系统的前驱服务者:13个MEMS 麦克风+Zynq SoC

背景: 说到语音识别,吸引的大家关注的有两大主力:亚马逊的Alexa和Google伴的Home。首先说说Alexa,随着智能家居Echo受到热捧,亚马逊的语音私人助手Alexa持续受到消费者关注。Alexa能围绕着...


IBM再次超越谷歌:研制出50量子位计算机原型机

近日,在美国电气和电子工程师协会(IEEE)的工业峰会上,IBM对外宣布,公司已经成功研发20位量子比特的量子计算机,...


亚马逊和IBM:谁将会是云服务的销售之王?

虽然云收入只是判定一家公司是否为最强大的云供应商的因素之一,但这些数字或多或少可以反映出风起云涌的云计...


亚马逊推智慧门锁 人不在家也能送货进门

现在我们网购时经常会出现送货上门,但是收货人不在的情况,为解决这个问题美国零售业巨头亚马逊宣布将推出新...


IBM打造的新服务器架构之中的中流砥柱Xilinx FPGA

背景: FPGA(Filed Programmable Gate Arrays)在数据中心服务器中开辟道路,他们被用作加速器来促进单个服务器节点的计算能力,从而增加了整体服务器的计算效率。与此同时,数据中心的服务器...


亚马逊Alexa实现语音身份识别 Echo服务做到因人而异

智能语音助手和智能音箱成为时下两大热点技术领域,而谷歌和亚马逊成为这一市场最具优势的两家企业。谷歌此前...


Sonos One中国发布 多项平台级发展计划同期公布

Sonos 在北京举行媒体活动,正式在中国推出了 Sonos One 智能音响。在活动现场,Sonos 首次提出“音联网”概念,并公布...


五个让你盈利的物联网商业模式

我最近在硅谷参加了一场非常受欢迎的物联网会议,在一场演讲中,主讲嘉宾向观众提问:“你们当中现在有谁在做...