全球！科大讯飞SQuAD 2.0比赛全部指标超越人类平均水平(2)

TA是认知智能行业内公认的机器阅读理解领域水平测试，通过吸收来自..的大量数据，构建了一个包含十多万问题的大规模机器阅读理解数据集。 [原创文章：www.11jj.com]

[本文来自：www.11jj.com]

参赛者提交的系统模型在阅读完数据集中的一个篇章内容之后，回答若干个基于文章内容的问题，然后与人工标注的答案进行比对，得出匹配（Exact Match）和模糊匹配（F1-score）的结果。

匹配EM：机器给出的答案和人给出的一样才算正确；模糊匹配F1：机器答案短语切成词后与人给出的答案共同计算回归率与准确性，就算没有完全匹配也可以得分。

对于机器而言，存储、运算，甚至图像、语音的识别都已不在话下，但是想要读懂文章内容并做出回答，没有人类思维大脑的机器还是非常困难的。

SQuAD 2.0的比赛则在上面任务的基础上，把难度再次提升：加入“不可回答的问题”。也就是说，参赛系统阅读完篇章内容后再读题，如果这个问题不能通过之前读完的内容回答，要拒绝回答；如果判断可以回答，那么再给出篇章中的某个连续片段作为答案。