企业官网建设流程全解析

中国制造网内贸站,学网站开发培训机构,s吗网站虚拟主机,wordpress公共课迁移学习何时有效#xff1f; 迁移学习是一种广泛使用的技术#xff0c;用于在标注训练数据稀缺时提高神经网络的性能。在利用有限数据对目标任务训练网络之前#xff0c;可以先用数据更丰富的源任务对其进行预训练。这样#xff0c;从预训练中获得的知识就可以迁移到目标任…迁移学习何时有效迁移学习是一种广泛使用的技术用于在标注训练数据稀缺时提高神经网络的性能。在利用有限数据对目标任务训练网络之前可以先用数据更丰富的源任务对其进行预训练。这样从预训练中获得的知识就可以迁移到目标任务中。那么迁移学习何时有效何时无效如果打算进行迁移学习应该选择什么任务进行预训练回答这些问题正是迁移性度量标准的宗旨它们衡量预训练网络对新任务的适用性。在今年2020年的国际机器学习大会ICML上我们提出了一种新的迁移性度量标准。在我们的实验中它被证明比现有指标更能预测迁移效果。这项指标也比现有指标更通用它有理论依据并且不像以前的指标那样对源任务和目标任务之间的相关性做出强假设。在我们的论文中我们提供了理论分析表明我们的度量标准——我们称之为LEEP对数期望经验预测——应该能提供良好的迁移性估计。我们还进行了一系列实证测试在23种不同的迁移设置中将我们的指标与两个主要的先前指标进行比较。这些设置结合了三种迁移学习类型、两个图像识别源任务以及涉及另外两个图像识别任务的不同训练数据子集的目标任务。在这23项比较中的15项里LEEP的预测结果与最终迁移模型的准确性之间的相关性优于另外两个指标。在某些情况下差异非常显著——比第二好的指标提高了多达30%。从下图原文包含此处为示意可以看到使用两个不同的源数据集LEEP与最终迁移模型准确性的相关性非常好。我们考虑的其中一种设置是元迁移学习它是迁移学习和元学习的结合。在元迁移学习中一个单一的深度学习模型在训练过程中被适配到许多新任务上从而学会用极少的数据适应未见过的任务。在该任务上LEEP与最终模型准确性的相关性为0.591而其他方法的相关性分别为0.310和0.025。我们相信LEEP是第一个适用于元迁移学习的迁移性度量标准。如何计算LEEPLEEP测量的是训练好的机器学习模型与新任务标注数据集之间的可迁移性。例如假设模型已经训练用于识别陆地动物图像而目标任务是识别海洋动物。LEEP过程的第一步是使用训练好的模型对目标任务的训练集中的数据进行分类。生成的分类结果是虚拟标签例如陆地动物分类器可能将海豹识别为狗将海马识别为长颈鹿。但这对于迁移性预测的目的而言并不重要。对于训练集中的每个示例我们都有正确的标签因此下一步是计算给定训练模型虚拟分类的目标任务标签的条件概率——即一个被分类为狗的示例实际上是海豹、海马、鲨鱼等的概率。最后我们设想一个分类器它将根据该条件分布为每个输入随机选择一个虚拟标签并基于该虚拟标签随机选择一个目标任务标签。LEEP是这个假设性分类器在目标任务训练集数据上的平均对数似然。对数似然是衡量统计模型拟合特定数据样本集合程度的标准指标因此LEEP告诉我们这个假设性分类器对目标任务训练集的拟合程度。这使它成为一个易于解释且准确的度量标准。LEEP的潜在应用我们认为LEEP有几个潜在应用。首先它可用于为迁移学习选择源模型。它还可以帮助为多任务学习选择高度可迁移的任务组其中单一的机器学习模型同时针对多个任务进行训练。LEEP也可能对机器学习和算法中有助于最大化特定数据训练效果的超参数的迁移和优化有用。更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享