中国团队两冠一亚包揽KDD CUP三项大奖，作者亲述技术细节(6)

同时，在基于时间/空间的点乘优化时间序列取得增益后，我们为了进一步建模时间序列，进行了 RNN 模型的尝试。使用 RNN 模型的主要好处是，能够根据上一步的模型预测信息结合当前步的输入特征进行预测当前步，并且可以对不同状态学习不同的权重。这样可以进一步使得序列间结果的方差，与常规回归建模方式形成很好的融合差异性。 [转载出处：www.11jj.com]

 

[原创文章：www.11jj.com]

下图为 RNN (Seq2Seq-GRU) 模型结构:

在RNN每一步从上一步获得预测结果，并加入到当前时间步的输入特征中（以天气预报特征为主）。考虑到了模型精度以及训练速度，，模型在 Encoder 和 Decoder 中均使用 GRU。

除采用在 DNN 模型中的 a/b/c/d/g 优化方法，RNN 模型有如下优化：

在 Seq2Seq 网络中加入状态间隐藏层正则项[5]，解决模型不稳定的问题。

传统的 Seq2Seq 模型中 decoder 的输入信息主要来自 encoder, 由于本次任务的预测序列比较长，并且我们有天气预报这种未来信息可以用，因此我们针对 decoder 的每个时态设计了特定的特征 T1-T48（当前时态的天气预报等其他空气质量特征）。

Seq2Seq 模型训练开销大并且对于参数更敏感，我们使用 Cocob优化器[6]，结合梯度截断进行训练。主要可以通过预测学习率加快收敛速度，对迭代的速度有一定帮助，也可以少量提高模型精度。

由于我们预测序列含有 48 状态，每个状态都依赖于之前状态学习，而空气质量以及天气预报数据含有大量噪音，前面序列预测不准确经常会导致后面预测偏移较大，我们使用状态间正则项，可以使得模型更稳定，提升模型精度。

由于未来每个状态均有天气预报特征，我们不同于传统的 decoder，在未来时态也输入了本状态特征（空气预报等特征），这样相对于把这些特征直接输入到 encoder 端具有更强的表达能力，并且可以缓解长序列梯度消失等问题。

 

模型融合

模型融合是算法大赛中常用的提高模型精度方法，有些比赛在竞争激烈的后期用了几十甚至上百模型。由于本次比赛赛制是每天早上 8 点提交，预测未来 2 天成绩，相对于静态测试集更接近真实工业届天级更新模型场景。为了平衡模型精度和迭代成本，我们用了 5 个基模型，融合结构主要是 2 层 stacking 结构[7]，第1层(L1) 是基模型，主要包括 GBDT/DNN/Seq2Seq 等模型差异以及特征差异，第2层(L2) 模型 L1 模型之后的 7 天数据进行训练。基于非线性模型的L2 模型有更强的表达能力，也是我们之前比赛最常用方案之一。

由于天气数据噪音重等数据特点，采用非线性模型如GBDT易引起模型过拟合。我们最终根据融合建模特点采用基于约束的线性模型，并且我们基于时间，地点等多个维度进行了统计，发现不同模型在不同预测段之间的相对精度有一定差异，不同于一个整体的L2模型，我们对每一个预测小时分别求解一个L2模型，精度有进一步提升。相对于L2在基于约束的线性模型的基础上基于统计适当引入非线性，取得表达能力与泛化能力的一个平衡。

下面是单模型和融合模型的结果，相对于更依赖网络调优的深度学习模型， GBDT 模型更依赖于特征工程，深度学习与树模型本身有较强的差异性产生较大的融合增益。

空气质量预测问题不同于KDD Cup 早年的一些广告、推荐类题目，已经在工业届有了大量应用，我们的努力也是做了初步探索。我们先是从数据与特征角度出发，对天气预报做了大量特征以及添加高斯噪音都处理，同时又在时间与空间维度进行进一步添加特征。而单纯从特征角度解决问题也逐渐遇到瓶颈，我们进一步运用深度学习模型角度对时间以及空间角度进行进一步建模，可以与本身基于大量特征工程的树模型有很好的补充，为后续融合打下很好的基础。之后我们基于多个单模型优化最终的第二层融合模型。