企业官网建设流程全解析

网站建设方案步骤,参与做网站的收获,加快网站收录,定制产品去哪个平台问答模型自动评估新方法#xff1a;AVA降低人工评估误差 随着自然语言处理#xff08;NLP#xff09;在日常生活中的作用日益重要#xff0c;准确评估NLP模型的能力也变得越来越关键。已部署的商业NLP模型需要定期测试#xff0c;以确保其持续表现良好#xff0c;并且对N…问答模型自动评估新方法AVA降低人工评估误差随着自然语言处理NLP在日常生活中的作用日益重要准确评估NLP模型的能力也变得越来越关键。已部署的商业NLP模型需要定期测试以确保其持续表现良好并且对NLP模型的更新也需要监控以验证其是否优于之前的配置。理想情况下模型评估应该是自动化的以节省时间和人力。但在问答领域自动模型评估非常困难因为问题和答案都可能有多种不同的表述方式并且答案的判断标准在于其能否满足用户的信息需求这是一个难以量化的概念。在今年的北美计算语言学协会NAACL会议上我们展示了第一批能够检查任何类型问题的长答案正确性的机器学习模型。我们将该方法称为AVA自动评估方法。在一组实验中我们使用AVA来评估几种不同问答模型所提供答案的正确性并将结果与人工评估进行比较。相对于人类判断性能最佳的AVA版本在论文中提出了一种新颖的同伴注意力方案的误差率仅为7%具有95%的统计置信度。复杂问题其他NLP应用已经受益于自动评估方法。例如机器翻译研究通常使用BLEU分数来衡量翻译准确性该分数衡量机器翻译模型的输出与参考翻译之间的相似性。但这种方法不适用于问答。在翻译中输入文本与输出文本相对应而在问答中则不是这样。此外在问答中即使答案传达相同的信息输出文本即答案也可能差异很大。更重要的是在问答中核心关注点是答案是否正确。从结构上看一个候选答案可能看起来与参考答案完全相同仅在决定其正确性的关键信息点上有所不同。这两点考虑使得问答模型的评估比其他一些NLP模型的评估更加困难。模型在NAACL论文中我们考虑了四种不同的机器学习模型来评估问答准确性。第一个是简单的线性模型其他三个是基于Transformer语言模型的神经网络模型。我们考虑具有答案选择组件的问答方法其中基于问题文本进行的网络搜索会返回大量文档答案选择模型根据从这些文档中提取的句子回答问题的可能性对其进行排序。所有四个模型都将一个问题、一个参考正确答案和一个候选答案作为输入。其中一个是线性模型我们使用它是因为它比神经模型更容易解释。它接受一个其他模型没有的额外输入参考答案的简短版本例如“3900万”而不是“截至2018年加州的常住人口已增加到3900万人”。使用杰卡德相似度的一种变体线性模型计算简短答案与候选答案、参考答案与候选答案、参考答案与问题以及候选答案与问题之间的成对相似度。它还会根据候选答案包含简短答案的单词数量进行评分。每个度量都被分配一个从训练数据中学习到的权重如果这些度量的加权和超过某个阈值也从数据中学习模型就会判断候选答案正确。其他三个模型使用预训练的基于Transformer的网络这些网络将文本及其组成部分之间的关系表示为多维空间中的嵌入向量。作为输入这些网络可以处理句子对将它们转换成反映从训练数据中学习到的语言和语义关系的嵌入向量。在第一个基于Transformer的模型中我们考虑了三种不同类型的输入对问题-参考、问题-候选和参考-候选。我们还考虑了一个模型它将这三种对的表示连接起来生成所有三个输入的表示。在四个不同的实验中我们训练分类器基于这四种表示中的每一种来预测答案句子的准确性。在第二个基于Transformer的模型中我们将每个文本与其他两个的串联进行配对。同样我们连接其他三个嵌入向量以产生输入数据的总体表示。最后第三个模型采用了新颖的同伴注意力机制。该模型接收两对输入句子而不是一对。与第二个模型一样每对包括一个句子和其他两个句子的串联。如上图所示在传递给分类器之前每一对的嵌入向量都以另一对的嵌入向量为条件。这使得模型能够更好地利用不同类型句子对之间关系的共性——例如利用问题和参考答案之间的相似性来识别参考和答案候选之间的相似性。评估我们在几个不同的预训练答案选择模型上测试了方法。每个评估模型的输入包括源问题、参考答案以及由某个答案选择模型预测的答案。使用同伴注意力机制的评估模型提供了最佳性能在预测人工标注者关于答案正确或错误的判断方面F1分数接近75%F1分数是一个综合考虑假阳性和假阴性率的度量。此外我们在整个测试集数千个问题上汇总了AVA对不同问答模型输出的判断。这提供了不同模型准确性正确答案的百分比的估计值。然后我们将这些估计值与基于整个人类判断的准确性度量进行比较。这使我们能够计算相对于人工评估的总体AVA误差率该误差率在95%的统计置信度下低于7%。更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享