电脑如何获取信息,获取信息的方式有哪些?

自媒体 自媒体

搜索、推荐和广告是互联网时代最主要的三种获取息方式。如果你了解三个系统的具体实现,甚至自己还分别亲手做过,那么你应该有一种模模糊糊的印象:似乎有些底层的技术和数据是可以共享的啊,但是为什么我们公司是分属三个不同的团队在搞呢?有时候似乎还要打个架什么的。 [转载出处:www.11jj.com]

如果你有这个模模糊糊的印象,那么我告诉你:你不是一个人!Hector Molina在Recsys’14上就提出了将搜索、推荐、广告三合一的观点[1]。同时,在国内的微博上,也因此掀起了一些讨论[2]。微博上的讨论先按下不表,我们先来看看为什么三合一是一种可能的趋势?如果要合,又有哪些困难呢? [本文来自:www.11jj.com]

不同与相似

搜索,推荐和广告本质上都在解决息过载的问题,各自解决的手段、目标不相同,各自诞生在产品生命周期不同阶段,以至于系统实现不尽相同。

从几个维度对比一下,看看他们不同和相同在哪?

搜索要解决的是精确快速找到想要的结果。最重要的目标是降低延迟和提高相关性。搜索更关注内容消费者,用双手让他们爽。搜索引擎不会像社交网站或资讯网站那样变成time killer,人们依赖搜索而不沉迷搜索就与搜索引擎的目标有关。在搜索解决用户的息获取需求时,很少给予用户一些惊喜,这也不是搜索的目的,也不会随随便便地利用集体智慧去扩充一些不那么直接相关的结果。

推荐系统则不同,首先很少有靠推荐系统撑起一款产品,大都是起一个“锦上添花”的作用,好的推荐系统都会变成一个time killer,让用户走进去就不想出来那是坠吼的。推荐系统通常不必须要明确表达需求的“query”,因此在给出的结果中就有很多发挥的余地,可以给用户制造一些惊喜,这一点和搜索很不一样。

根据策略不同,推荐系统有不同的实现方式。比如基于内容的推荐,很接近一个搜索引擎,实际上很多推荐引擎底层的技术实现,尤其是数据存储上大量借鉴了搜索相关技术,比如按照兴趣标签对推荐候选池做倒排索引。另外,搜索是针对个人用户的,一个用户发起一个请求,而推荐系统既可能针对单个用户进行推荐,也可能针对用户群进行推荐

广告则是一个很特殊的存在,它在产品形式上很像推荐,总是“不请自来”,而在技术实现上又兼有推荐和搜索两者特点,而且它又是一个商业驱动的系统,所以更多关注商业利益最大化。

有一个很有意思的现象,搜索和推荐息对象理论上可以共用的,也就是说可以允许用户设置条件检索一堆候选对象,也可以把这些候选对象主动推荐给可能感兴趣的用户面前。但是广告的息对象却是另一个隔离的存在,为什么不能让用户直接设置条件检索我们的广告库存呢,就像是一个通常的搜索引擎一样?也许是可能的。

抽象看三者

这三个系统有这些特点,对于大多数成熟公司,他们已经被把持在三个不同的团队部门手中,各自团队每天在同时填着大同小异的技术坑。

我们抽象一下三者的需求共性:本质上都是在匹配,匹配用户的兴趣和需求(看成context),但匹配的目标,条件和策略不尽相同。

进一步抽象下去,又可以分为三步:过滤候选(filter)+排序候选(ranking)+个性化输出(personalization)。

过滤候选这一步在搜索里面天经地义,query解析得到查询意图,或者更多结构化的搜索条件,用结构化的查询条件去倒排索引中获取搜索候选。

与之相似的是广告系统,搜索广告也是拿着query去获取候选广告,而联盟广告则是拿着用户标签去需求方获取广告候选。

filter在基于内容的推荐策略中也有类似的过程,而其它推荐策略,比如协同过滤或者隐因子模型,一般是提前计算好的,并没有明显的类似搜索一样的filter,不过我们仍然可以抽象地把各种不同召回策略视为filter这一步,只不过filter并不是同步进行的,而是异步进行的。

ranking这一步主要区别在于排序的目标和约束。搜索的排序目标是高相关性,无论BM25为代表的传统排序模型还是以Learn to rank为代表的机器学习排序,皆如此,用户每次在搜索上花费的时间是不是更少(而不是更多)来衡量搜索的效果。

推荐系统的ranking比较复杂,相关性只是很小的部分,根据推荐系统的产品形式不同,ranking时排序不同。通常推荐系统用CTR预估来融合各种召回策略得到的候选集,如果做得深入,还需要考虑Exploit-Explore问题。附加的约束则千变万化:电商中,当天买过的当天就不能再推了,新闻推荐里,重复的新闻不能再推了,某些场景需要推荐搭配,某些场景需要推荐相似,topN 推荐还需要考虑多样性,序列推荐要考虑前序和后续,etc。

广告系统的排序更多是从经济学角度去看,通常CPC广告的排序方式是结合预估CTR、出价、广告质量三者一起考虑。同时还要考虑很多别的因素,尤其是商业因素,平台方的要求,广告主的要求等等,是一个纯动态博弈,正如微软亚洲研究院的刘铁岩所介绍那样[4]。

personalization最被推荐系统看重,而且在某些场合,个性化一度成为推荐系统的代名词,然而个性化只是推荐系统的衡量指标之一而已,个性化的前提也一定是息够丰富够垂直才行;搜索的personalization相对来说就粗浅一些,常见的是利用地域等人口统计学来做personalization,而且对于歧义较少的query,搜索如果太个性化既没意义又有风险。

三者的协同

虽然事实上三个系统目前是军阀割据,但其业务和技术上已经有很多重叠,也能够产生很多协同作用。

有一部分搜索需求是无法用搜索相关性满足的,比如“一个人的夜晚听什么歌”这样的query,需要推荐系统去满足,交互形式可能是眼下大热的bot,也可能是传统的流推荐等等。如果能够识别出这样的搜索请求,其实更应该交给推荐系统来响应。

推荐系统总体上滞后于用户的即时需求,所以强大如Amazon这样的推荐系统,也是有搜索引擎来与之配合的。一方面,搜索因为能够满足用户的主动寻找需求,所以能够化解一些推荐不力不及时的尴尬;另一方面,搜索可以积累用户兴趣数据;当二者结合起来考虑时,可以避免“搜什么推什么”的窘境,整个系统能够综合考虑哪些是即时快速需求,哪些是长期兴趣。

广告系统,在技术上和搜索跟推荐并无本质差异,差异在意图不同,功能不同。对用户的息需求满足,搜索和推荐离真正得到满足之间总是有一定的鸿沟,要么是息不足,要么是息过载,这些鸿沟可以利用经济手段进行调配,也就是广告系统。

业界观点

以上分析只是基于纯粹技术和业务角度的简单分析,结束军阀割据,一统天下似乎是人民的殷殷期盼,然而,这个“人民”似乎只有你我这种站在“上帝视角”的人们。前面提到,之前在微博上,一众从业者集体讨论过这个问题[2][3],讨论总结为:

  • 几乎所有人都觉得这个提法是意料之中,也承认三者有统一的概念基础,对此亦有共识;
  • 仅有少数公司(豆瓣)有成功的统一案例,并没有人提出业界还有类似案例;
  • 少数前辈(@清风运文,@张栋_机器学习) 三个系统都经历过,认为实际上困难重重,困难不在框架上,在细节上,各自优化需求差别很大;
  • 还有一些人调侃说来自人的困难大于技术上的困难,这个自己体会不一样,没法写论文。

总之,从这篇微博看到的讨论来说,几乎都持悲观态度。

我的看法

基于以上的讨论观点及事实,虽然业界很悲观,但并不是毫无希望,总结几点:

1. 三者有统一的可能性,而且不低;

2. 在已经被割据的公司里,再重新一统天下非常困难,投入产出比会很低;

如果要统一,从0就开始,所以更适合创业公司或中小公司,可能这也是为什么豆瓣有成功案例的原因;

3. 由于人的因素很重,所以从一开始就应该把三者划归一个团队来统一规划,人员配置上:技术上统一,业务上分开。

4. 必须用数据证明统一之后比统一之前好,而不是工程师自己“感觉不错”,这个“好”可以体现在实际上的业务指标提升,也可以体现在开发效率提升。

参考文献

[1] Information Seeking: Convergence of Search, Recommendations and Advertising

作者:陈开江@刑无刀(微信:kaijiang_chen),资深推荐系统从业者,欢迎交流

本文由 @刑无刀 授权发布于人人都是产品经理,未经作者许可,禁止转载。

自媒体微信号:11jj扫描二维码关注公众号
爱八卦,爱爆料。
小编推荐
  1. NO.1 AI技术下的娱乐圈女星全都.avi了

    这是娱乐圈行动派——去酱 的第32篇《我去》 今天,我看了好几个女星的小黄片(封面) 这两天,有手艺人把杨幂的五官换到了《射雕英雄传》的黄蓉脸上(原朱茵饰)↓你们看了没?

  2. NO.2 剑三怎么抓马地点(剑三重制版马驹刷新点)

    龙子和麟驹天天的刷新纪律是 早上7点到11点是一轮 正午11点到15点是一轮 下昼15点到19点是一轮 晚上19点到23点是一轮 凌晨23点到03点是一轮 凌晨03点到07点是一轮 每轮刷新6只龙子麟驹各

  3. NO.3 《火焰之纹章 风花雪月》三大势力学生能力介绍,你选好了吗?

    距离《火焰之纹章 风花雪月》发售还有一周的时间,然则网上的一些介入过测试的媒体与视频博主已经起头狂吹不止,被他们喻为史上最强的火纹续作。 首个媒体评分由Fami通给出,获

  4. NO.4 李嘉诚纪念亡妻的庄月明楼,是风水宝地还是锁魂阴棺?

    对了!蜜桃哥哥看见很多小可爱们问,我新增的长文系列菜单栏在哪里,来来来,蜜桃哥哥手把手教你们回溯以往的长文系列。 首先进入 “圈内密探” 的公众号主页,然后

  5. NO.5 超合金魂盖塔皇帝终于来了!盖塔战舰简直帅爆!

    关注wx公众号:涛哥测评,掌握玩具最新资讯 近日,万代超合金魂正式公布了超合金魂盖塔皇帝的先行官图,分体形态下的盖塔战舰也太帅了吧,这让我对合体的造型充满了

  6. NO.6 三十岁了,你还认为你会出人头地吗?

    你到三十了吗? 三十,只是一个简单的数字,却仿佛闪烁着莫名的杀气。 三十的第一年和二十的最后一年真的有那么大的差别吗? 真的是身体机能甚至是人生轨迹的分水岭

  7. NO.7 当红小花轧戏被辞退?佟丽娅超拼?柳岩抱大腿?魏大勋助阵女

    小婊贝们,晚上好! 烧脑时间开始,交白卷的小婊贝们,可以围观一下评论啊,真相帝往往就隐藏在其中! 圈内很多年轻的艺人都讲究这个番位,但凡是番位不满意,私下就会引导自

  8. NO.8 心理测试:失恋你会去哪里,测你对待失恋会是什么态度

    爱情是美好,是我们所向往的;失恋是痛苦的,有时候也是一种解脱。一起来做一下下面这个小测试吧,凭借你的第一直觉做出一个选择,测试一下你对待失恋会是什么态度,会反省

Copyright2018.依依自媒体资讯站,让大家及时掌握各行各业第一手资讯新闻!