电商搜索算法技术的演进(3)

随着..规模的扩大，大规模商家入驻，积极地在..上打理店铺，发布商品，相对结构化的商品组织体系，类目结构，属性信息，基于商品为key 的销量的累积，评论的累积，这些为更好地理解商品积累了重要的原始数据资料；消费者通过搜索产品的各级页面与..的互动越来越频繁；数据的组织形成了以人为key 的结构体系，反馈信号也得以在闭环系统中有效的流转；所有的这些都为理解用户积累了重要的数据资料。 [好文分享：www.11jj.com]

有效数据的积累为大规模运用机器学习技术解决问题提供了必要的土壤。搜索也进入到各种大规模模型的研究和开发，比如点击预估模型等，研究数据特征规模大、特征复杂度高、数据时效性高、模型训练频繁等相关的问题，利用不断增强的计算处理能力，对百万乃至十亿量级以上的超大规模数据进行分析和挖掘。这时候参与排序的因子也越来越多，从一开始的类目相关性与文本相关性，商品人气分；再后来为了平衡卖家流量，加入的卖家分；再后来为了更好的用户体验，加入了个性化人与商品的点击预估，图像质量等因素等等，开始使用类似Learning to Rank（LTR）方法，根据商品的点击、成交数据构造学习样本，学习回归出排序权重。

 

2.3大规模实时在线学习时代

首先，相比通用搜索，电商搜索中对于实时计算/学习有着更高的要求，用户会有着更丰富的多维度的交互，更长的浏览链路。因此，如果用户在链路前期的行为可以实时地被系统捕捉并且建模到引擎中并且作用于链路后期，对整个链路的效率以及用户体验都是及其关键的。

其次，用户的行为分布也不是一成不变的，从而打破离线训练的监督学习算法所依赖的独立同分布假设，尤其是在双11这样的大促场景，一天的流量和日常数天的相当，分布变化会更加的剧烈。

最后，由于搜索展示商品的有限，能够进入日志系统得到用户反馈的商品集合只占商品全集的一部分，因此离线训练和线上会有不一致性，这个不一致性在一定程度上可以通过在线学习系统缓解。

于是，我们建设了一套实时计算和在线学习系统，支持在秒级别内对海量用户行为及其相关联的海量商品作实时分析处理，从中提取多维度的用户/商品数据特征，并采用分布式Parameter Server架构进行在线学习，从而使用户行为可以在几秒内影响搜索排序等在线服务。

我们逐步实现了“实时特征”->“实时排序因子模型”->“实时顶层LTR/Bandit模型”，完成了三位一体的实时化建设。我们先后实现了秒级更新的基于pointwise的FTRL、基于pairwise的实时矩阵分解模型和实时双线性模型等一系列微观特征，并在此基础之上实现了实时Learning to rank，以及实时Multi-Armed Bandit等宏观调控模型，实现了双链路实时系统的升级。

与此同时，在线学习系统强有力地支持了对流量的精准调控，可以更迅速有效地实现商业决策。此外，我们还将在线学习的算法部分抽象出来，建立了一个通用的一站式在线机器学习算法..AOP（Algorithm One-stop Platform），使得建立和部署在线学习模型更加得便捷和高效，同时具有高度可扩展性。到目前为止，在线学习系统已经成为搜索架构中的基础组件之一，在提升用户搜索体验，支持商业决策，以及支撑双11等大促效果方面发挥了巨大作用。