企业官网建设流程全解析

专做男装的网站,个人网站首页怎么做,科技公司网站设计方案,苏州公司网站建设公司提升隐私保护神经网络的准确性 差分隐私提供了一种量化基于私有数据的聚合统计所带来的隐私风险的方法。其核心思想之一是在生成统计数据之前为数据添加噪声#xff0c;以此保护隐私。 在机器学习的背景下#xff0c;这意味着在使用训练样本来训练模型之前#xff0c;先向其…提升隐私保护神经网络的准确性差分隐私提供了一种量化基于私有数据的聚合统计所带来的隐私风险的方法。其核心思想之一是在生成统计数据之前为数据添加噪声以此保护隐私。在机器学习的背景下这意味着在使用训练样本来训练模型之前先向其中添加噪声。虽然这使得攻击者更难识别训练集中的个体数据但也往往会降低模型的准确性。在第16届欧洲计算语言学年会上某研究团队将发表一篇论文提出一种名为ADePT的新型差分隐私文本转换算法。ADePT 旨在保护隐私同时不会损失模型的效用。ADePT 的工作原理ADePT 使用一种自动编码器这是一种被训练成能精确输出其输入内容的神经网络。但在输入和输出之间网络会将其对输入数据的表示压缩成一个相对较小的向量。在训练过程中网络学习生成一个编码向量该向量保留了足够的信息以便能够忠实地重构或解码输入内容。使用 ADePT 时首先在与目标自然语言理解系统相关的典型短语上训练一个自动编码器。但在运行时会在编码向量传递给解码器之前向其添加噪声。因此解码器看到的向量并不精确编码输入短语而是编码了在表示空间中接近输入短语的另一个短语。因此解码器的输出是对输入的近似而非精确重构。例如给定输入“What are the flights on January first 1992 from Boston to San Francisco?”加入噪声的自动编码器可能输出问题“What are the flights on Thursday going from Dallas to San Francisco?”。然后使用这些转换后的句子而非原始输入来训练NLU模型。隐私保护与效果评估差分隐私背后的理念是从统计上讲应该无法判断某个特定数据项是否用于生成聚合统计数据。更精确地说该数据项在数据集内或不在数据集内的概率差异应低于某个阈值。相应地为了评估文本转换算法提供的隐私保护能力我们针对一种称为成员推断攻击的攻击方式进行测试。MIA 旨在推断特定数据点是否为目标模型训练数据的一部分。攻击者训练一个攻击模型该模型本质上是一个二元分类器将输入样本分类为成员或非成员。该攻击模型越准确表明转换提供的隐私保护越弱。在测试中攻击目标是在广泛使用的 ATIS 和 SNIPS 数据集上使用转换后的数据训练的意图分类器。下表展示了一些示例表明该模型在语义连贯性上优于基线方法原始样本基线转换ADePT 转换what are the flights on january first 1992 from boston to san franciscowhat are the flights on february inhales 1923 from boston to san mostrarwhat are the flights on thursday going from dallas to san franciscoi would like to book a flight for august twenty seventh from baltimore to san francisco on us airi would like to list all flights for ground transportation from baltimore to general mitchell on us airi would like to find a flight for august fifth from denver to pittsburgh with lufthansado you have a night flight from washington to boston on august twenty seventhdo you have a listing flights from beach to boston on coach classdo you have evening flight from vegas to austin on july thirteen总体而言实验表明该文本转换技术在显著提升模型性能的同时也增强了对成员推断攻击的鲁棒性。研究领域 对话式AI、安全、隐私与滥用防护标签 差分隐私、自然语言理解、EACL更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享