电商搜索算法技术的演进(4)

2.4深度学习与智能决策时代 [好文分享：www.11jj.com]

[好文分享：www.11jj.com]

以深度学习和强化学习为代表的人工智能给搜索技术带来了全新的变化，特别是在语义搜索，搜索个性化和智能决策三个方向。

在语义搜索领域，我们设计并实现了Query的表征学习框架，通过多任务学习和协同训练等技术，为Query的打标、类目预测、改写以及推荐等一系列应用提供统一的表征向量。与此同时，我们还实现了商品的表征学习框架，为商品内容理解，商品智能创意，商品语义召回和语义匹配提供统一的商品表征。在Query和商品的表征框架基础之上，我们实现了语义召回和语义相似度模型，从而完成了从字面匹配到语义匹配的这一质的突变。此外，语义搜索除了增加搜索结果相关性，提升用户体验外，也可以一定程度上遏制淘宝商品标题堆砌热门关键词的问题。

在搜索个性化领域，我们通过多项技术对原先的个性化系统进行了升级：通过多任务学习的深度用户感知模型，我们可以从海量用户行为日志中学习用户的通用表达，从而用于用户行为识别、偏好预估、个性化召回、个性化排序等任务；通过多模态融合学习，我们可以将商品的文本、图像、标签、品牌、类目、店铺及统计特征等多维度特征自动的融合在一起形成统一的商品表征；通过在线深度排序学习，我们融合了用户状态实现更加精准的千人千面的排序模型；通过向量召回引擎，我们得到了泛化更好的召回结果，有效提升了关键字和个性化匹配深度；通过深度迁移学习，我们将搜索个性化技术在搜索之外的多个场景得到广泛应用。随着这些深度模型在个性化领域的广泛使用，个性化系统的精准度得到了显著性的提升。

在智能决策领域，我们针对用户在搜索过程中和引擎的交互特点，对用户的决策序列进行建模，提出了提出搜索会话马尔科夫决策过程模型，将强化学习引导到搜索排序。同时在针对不同场景下搜索结果趋同，浪费曝光问题，我们提出了基于多智能体协同学习实现了搜索多个异构场景间的环境感知、场景通信、单独决策和联合学习，实现联合收益最大化，而不是此消彼长。