中国团队两冠一亚包揽KDD CUP三项大奖，作者亲述技术细节(5)

我们主要用采用3种模型，GBDT, DNN与RNN (Seq2Seq-GRU) 模型。由于数据分布差异很大，我们对于不同城市以及不同污染物分别建模。针对时间序列问题我们一共有 2 种建模方式，序列模型 (RNN) 是每条样本未来 48 小时的空气质量为 48 个label，而常规回归模型（GBDT/DNN）是将一条序列样本根据预测未来的 48 小时序列数展开为48条样本，每条样本预测一个状态，48 条样本间历史统计特征相同，存在二个区别：1)用hour flag标识是第几个样本；2)天气预报特征。 [好文分享：www.11jj.com]

[好文分享：www.11jj.com]

GBDT模型用 LightGBM 两种模型，主要用于特征迭代。针对问题特点对 DNN 模型和 RNNSeq2Seq-GRU 模型进行了优化。

DNN模型相对于 GBDT 模型有更强的特征交叉关系学习能力，并且可以学习到一些在训练集中没有出现的交叉关系，下图为 DNN 模型的结构图。

基于DNN模型，我们有如下调整与优化：

对特征进行标准化处理，计算均值和方差的时候对缺失值暂不做处理

标准化后进行特征值clip，减少离群特征值对模型的影响

对缺失值填充 0，并添加缺失标志位

使用b-swish激活函数[2]，其公式为 b-swish(x) = x*sigmoid(b*x)，b为可训练参数；b-swish 拥有不饱和、光滑、非单调性的特征

参考 product neural network[3]概念以及 LSTM 中的 Gate 设计，对时间与位置信息 embedding 进行了 product 以及后面 sigmoid 激活，再与模型本身的统计特征进行组合

传统的回归损失函数MSE与比赛的评分函数SMAPE有较大的差异，直接优化MSE会导致与评测目标不一致。而SMAPE在0点不可导且有临近点不稳定问题，我们为了直接优化SMAPE参照kaggle web traffic prediction比赛分享进行了损失函数逼近[4]，使得模型优化与评测更一致：

epsilon = 0.1

summ = tf.maximum(tf.abs(true) + tf.abs(predicted) + epsilon, 0.5 + epsilon)

smape = tf.abs(predicted - true) / summ * 2.0

由于空气质量预测特征的噪音较大，神经网络相对于树模型对于异常值更敏感，我们做了更多的数据处理（a/b/c）。并且由于传统回归模型由于基于历史统计量相同，会有序列间预测值接近问题，以及不能很好的利用其他拓扑方位的统计信息。我们针对时间与空间概念，参考了LSTM中的 Gate，通过点乘与后续连接，增强时间/空间特征在模型中的区分度，并且相对于普通全连接网络更好建模了时间／空间信息与统计特征的组合能力。最终结果序列间预测值方差显著增加，提升了模型精度与相对于树模型的模型差异性。