【起点精选】个性化推荐:是叫用户越来越窄小,还是扩宽用户视野。推荐系统(第一段)学习笔记。

个性化推荐让你愈发狭隘,基于内容的推荐(content-based filtering)

一个熟之个性化推荐系统,不会见叫用户更换得狭隘,反而会扩宽用户视野。

1.1呀是引进系统

用户用推荐系统发现好感兴趣的信;同时信息制造者用引进系统以消息展现在针对它感兴趣之用户面前。

涉用户以及物品,解决信息过载之题材

tips:

信息过载

切莫需用户提供强烈的需要

社会化推荐(social recommendation)

依据内容之推介(content-based filtering)

并过滤的引荐(collaborative filtering)

当你看正在网易云音乐之推介歌单,一样的歌手、一样的类,是未是出接触厌倦?

1.2推介系统发出那些实例

推荐系统 = 前台的示页面 + 后台的日志系统 + 推荐算法系统

电子商务:亚马逊

FB好友购买过的

跟历史购买相似之

浏览过该商品时进之

贩了该商品时购买的

装进销售(cross
selling):其他用户购买该商品时又也会打之几乎栽商品,打包进提供折扣。

录像以及视频网站:Netflix

引进要素:视频标题,缩略图,视频的平分分,推荐理由,用户举报模块

个性化音乐网络电台:豆瓣FM,Pandora,Last.fm

Pandora:基于内容

Last.fm:综合算法

音乐推荐的风味:

品空间大

花费各个首歌的代价小

品类丰富

放任一首歌耗时颇短缺

品重用率很高

上下文相关:用户情绪,所处之条件,时间

不好序良关键

播放列表资源

非待全神贯注

可观社会化:用户以及好友间的相推荐

张罗网络:Facebook,Twitter

采用用户之社交网络消息对用户进行个性化的品推荐

信息流的对话推荐

深受用户推荐好友

个性化阅读:鲜果,zaker,filpboard,zite

冲位置的劳务:Foursquare

个性化邮件:Gmail的先期级邮箱

区别邮件的重要程度

个性化广告:

以广告也着力,将广告展现让对其感兴趣之用户。

上下文广告:经用户在浏览的广告情节,投放和网页相关的广告。Google
Adsense。

寻找广告:分析用户以此时此刻对话中之搜索记录,判断用户的搜寻目的,投放和用户目的相关的广告。

个性化展示广告:因用户之兴味投放不同的示广告。

当你看正在今天头修之Feeds流,一样的八卦、一样的游艺讯,是无是纪念卸载app?

1.3安对推荐系统召开评估

推荐系统的参与方:用户,推荐内容提供方,提供推荐系统的网站。三在受益共赢是评测的因。

引进系统评估指标:

准确度

覆盖度

新颖度

惊喜度

信任度

透明度

卿是休是觉得,个性化推荐给您更狭隘?

1.3.1 推荐系统实验艺术

离线实验(offline experiment):

通过日记系统获得用户作为数据,生成按自然格式的正经数据集

将数据集按自然规则分成训练集和测试集

在教练集及训练用户兴趣模型,在测试集高达开展前瞻

透过先行定义之离线指标评测算法在测试集及的展望结果

图片 1

离线试验的优缺点

用户调查(user study)

真实性用户在急需测试的体系及形成有任务,观察并记录他们的行,分析他们之所作所为跟答案了解测试网的性能。

tips:

操纵成本,保证结果的统计意义,选择成立之测试用户(保证测试用户以及诚用户的遍布一致)

在线实验(Online experiment)

AB测试:用户分组,不同之组加载不同之算法,统计评测指标评估算法效果。

tips:

绝对分流量:不同层和控制这些重叠的社要由一个联结的地方获得好AB测试的流量,而非同层的六零星应有是正交的。

图片 2

简单的AB测试

貌似的话,一个新的引进系统上线需要做到上述三个实验:

首先,通过离线试验验证外重重离线指标优于现有算法

下一场,通过用户调查确定它们的用户满意度不低于现有算法

末了,在线AB测试确定于事关重大指标及优化现在底算法

何以要举行个性化推荐系统

1.3.2 评测指标

1. 用户满意度

用户满意度只能通过在线实验和用户调查得到。

用户调查采取问卷形式,注意问卷设计时考虑到用户各地方的感触,才能够因题目为有自己准确之对答

在线实验主要通过统计用户作为之法门以及计划性用户反映界面收集用户满意度。

2. 预计准确度

展望准确度度量一个推荐系统或者推荐算法预测用户作为的力量。这个指标是最好要紧之引荐系统立宪评测指标。

评分预测

列网站的由分作用——得知用户的打分历史,习得兴趣模型——预测用户对某内容的评分

评分预测的准确度一般通过统统方根误差(RMSE)平均绝对误差(MAE)计算。

至于RMSE和和MAE的优缺点。RMSE的网评测更为严格(平方项)。

TopN推荐

让用户一个个性化的列表,TopN预测的准确率一般经过准确率(precision)/召回率(recall)
度量。

图片 3

RMSE计算公式

图片 4

MAE计算公式

图片 5

召回率定义

图片 6

准确率定义

3. 覆盖率(coverage)

覆盖率描述一个引进系统针对物品长尾的打能力。最简单易行的概念为推荐系统能够引进产生之品占用总物品集合的百分比。

概念:系统的用户汇为U,推荐系统给每个用户推荐一个长也N的物料列表R(u)那么覆盖率唯独经过下公式计算

图片 7

覆盖率计算公式

信息熵

基尼系数

马太效应:强者更强,弱者越弱

评测推荐系统是否有马太效应的简方法就是采取基尼系数。若G1是打开头用户作为中计算出底商品流行度基尼系数,G2凡是采用推荐算法后计算起之商品流行度基尼系数。G2
> G1
的言语,说明推荐算法有马太效应。

图片 8

信息熵计算公式

图片 9

基尼系数激

4. 多样性

多样性即推荐结果需要盖用户不同之兴味领域。这样用户找到好兴趣点的几率就会非常过多。

多样性描述了推荐列表中物品简单片期间的无相似性。

5. 新颖性

新式之推介是借助推荐给用户他们一千年从不曾耳闻了之物料。

而引进物品列表的品平均流行度(热门程度)低,那么推荐结果也许就有所新颖度。

tips:

平衡推荐精度和多样性,新颖度。

6. 惊喜度(serendipity)

惊喜度和新颖度的区分在于:如果引进结果以及用户的历史兴趣不一般,却于用户觉得惬意,那么即使得说推荐的惊喜度很高,而引进的新颖性仅仅在于用户是否听罢这个推荐结果。

7. 信任度(trust)

心胸推荐系统的信任度只能通过问卷调查的点子,询问用户是否信任推荐系统的引荐结果。

8. 实时性

推荐系统的实时性包括个别单方面。首先,推荐系统要实时的翻新推荐列表来满足用户新的表现变化。第二,推荐系统要会将新在系的物品推荐给用户。(避免镇启动)

9. 健壮性(robust)

健壮性衡量了一个推介系统防作弊的力。

10. 商业目标

各个局之买卖目标不同,推荐系统的宏图以及评测就见面不同。

座谈个性化推荐是否会让用户更换得狭隘,我们不妨先由“为什么而做个性化推荐系统”这个角度展开考虑。

从今背景出发:人们刚刚逐渐从信息匮乏的时代走符合信息过载的时日。这等同背景带来了零星个问题:信息过载、用户目的性不强,典型场景是:你打开网易云音乐,很多歌,你免晓得想放啊。

于个性化推荐未出现前,解决就有限独问题下的法一致是类目管理,二是寻找,三凡是走俏物品显得。

一如既往请勿适用于物品多的气象,二亟待用户准确描述需求,三底害处是会见加剧长尾效应,且命中率低。而个性化推荐系统根据用户历史行为挖掘用户需要,与追寻引擎上。

从而,做个性化推荐的目的是:在物品数量多之景下,联系用户以及活,挖掘用户潜在需求,解决长尾问题。

什么裁判个性化推荐效果

继,我们得以从“如何评判个性化推荐效果”这个角度开展思想

以下是概括市场上相关个性化产品,总结而出之系指标:

用户满意度

准确度

覆盖率(长尾 马太效应 用基尼系数)

多样性 、新颖性(是否听说了之推荐结果)

惊喜度(和历史兴趣不同 却满意)

信任度(给来推荐理由 给来推荐来那个好友)

实时性(推荐相关产品实时 将新进入的成品推介)

健壮性(即鲁棒性 抗作弊能力 可以由此加大用户作为成本来实现)

别商业目标

未开展细讲,我们根本讨论用户满意度、多样性、惊喜度和准确度

用户满意度:这个毫无细说

准确度:推荐系统最重要的指标(没有之一),但是准确之预计不自然是好的展望。举个例子:用户已准备市A书,无论是否系向他推荐,均会购买。那么对用户来说,他会当是结果不流行,没有新鲜感。

多样性:用户兴趣广泛,可能喜欢看AV,也爱看新闻联播;多样性描述了推介列表中物品简单少之内的免相似性。

新颖性:用户之前并未听说了之制品兼具新颖性。

通下去,回想一下,在网易云音乐界面,系统推荐的音乐分为几类

“你爱吃肉,那自己吃你各种肉”

“你容易吃肉,我发觉你是缺少肉类富含的油,那自己深受你推荐富含脂肪之牛油果”。

回我们的问题,是不是就是是为第一种植状况,让您以为“个性化推荐会给用户更换得狭隘”?

其实就是是引进系统以满足准确性的基本功及,没有满足多样性和新颖性,进而降低了用户满意度。简而言之,对于地下需求挖掘非足够充分。

为此于此处,第一独结论是:不够完美的个性化推荐会被用户更换得狭隘

那,个性化推荐怎么才能够被用户信息接触面扩宽,而非是小呢?

俺们坐常用之一道过滤为条例(具体求百度),从相似度矩阵(Similarity
Matrix)说从

“你容易吃肉,那我给您各种肉”

这种情景下,我们之所以筷子为生翻,可能会见看出蔬菜。但是用户之视野就那稀,再好的推荐不克忍心用户看见也罢是拉。所以我们得以引入惩戒机制,适当回落同类物品权重,降低其排位。

小泽玛利亚发新片,用户蜂拥去看,包括苍井空的平等过多拥趸们为飞去观望了一下。这样的情状不断了一个基本上月份,这下好了,喜欢苍井空的用户看到底引荐其中现在几乎都能够看小泽玛利亚的片,尽管两岸实际上不至于这么相关。

由斯功效,许多用户从个性化推荐点开小泽玛利亚的切片,造成了一个恶性循环,使得你的Similarity以为他们的确相关,这时候其他确相关的上推荐可被挤压到末端了。所以我们可重引入惩戒机制,把热门片推后吧。

苟现在起一个素人,身材好,长得像苍井空,技术好,反正就杀相关,苍井空的球迷肯定会欣赏那种。但是她刚刚出道,公司资源为无多,宣传力度不殊,片源为掉,只有少数几乎单网站来片源,只有让少数底几乎独苍井空迷发掘。

今问题来了,这么叫它们为凿出来吗?这个多和达一个题目倒,这是冷的完美推荐生为难给开,长尾物品关注量少,马太效应加剧。这时候我们得以用点归一化(Normalization)的粗伎俩微调一下。

以上是周边的几个狭隘化现象,分别用相关方法加以算法微调,得以解决。

故,结论是:一个熟之个性化推荐系统,不见面为用户更换得狭隘,反而会扩宽用户视野。

正文由 @易建联 原创发布让人人都是产品经理。未经许可,禁止转载。