企业官网建设流程全解析

2_网站建设的一般步骤包含哪些?,购买网站空间域名,html留言簿网站基本框架搭建,图片设计网站免费参考文献#xff1a; 1. (60 封私信 / 30 条消息) 对比学习#xff08;Contrastive Learning#xff09;概述 - 知乎 2.(60 封私信 / 30 条消息) 自监督学习和无监督 - 知乎 3.(60 封私信 / 30 条消息) 多模态视觉理解代理任务总结 - 知乎 4. 一文读懂迁移学习#xff1a;从…参考文献1. (60 封私信 / 30 条消息) 对比学习Contrastive Learning概述 - 知乎2.(60 封私信 / 30 条消息) 自监督学习和无监督 - 知乎3.(60 封私信 / 30 条消息) 多模态视觉理解代理任务总结 - 知乎4. 一文读懂迁移学习从理论到实践-CSDN博客5.(60 封私信 / 30 条消息) Transfer learning 【迁移学习综述_汇总】 - 知乎协变量偏移Covariate Shift、标签偏移Label Shift和概念偏移Concept Drift等会造成数据分布差异数据分布偏移会导致模型性能衰竭造成模型泛化能力不足。因此我们可以引入领域自适应与迁移学习以提升模型的泛化能力。迁移学习通过复用预训练模型的知识加速新任务的学习过程。其有效性源于两个基本假设低层特征的可迁移性和任务相关性的存在。领域自适应通过调整模型参数或特征表示使源域Source Domain训练的模型能够适应目标域Target Domain的数据分布。其核心思想在于构建领域不变性特征Domain-Invariant Features使模型在特征空间中忽略领域特异性信息。是迁移学习中的一个重要分支一、迁移学习1迁移理论三大基础学说2根据源领域和目标领域的不同迁移学习可以分为以下几种类型3参考 A Survey on Deep Transfer Learning 迁移学习可以分为四类分别是基于实例 、基于映射 、基于网络 、基于对抗四种。这也是 A Survey on Deep Transfer Learning 提出的图二、领域自适应还没整理好.jpg自监督学习为迁移学习提供高质量的基础模型。三、自监督学习解释1 定义通过最大化相关样本之间的相似性并最小化不相关样本之间的相似性来学习数据表示。如图中使正向增强与原始图像相似性最大化原始图像与不相干图像相似性最小化。2对比学习常用框架参考(60 封私信 / 30 条消息) 对比学习Contrastive Learning概述 - 知乎如果是生成式对比学习则使用MSE出自BYOL来作为损失函数如果是判别式对比学习则使用InfoNCE出自CPC来作为损失函数损失函数:encoder常用框架SimSiam集成了SimCLR、MoCo、BYOL、SwAV常见实例自监督学习任务包括图像旋转预测、图像拼图、对比学习、掩码语言模型如 BERT等。对比学习经典代理任务Proxy Tasks利用无标注数据通过构造合理的任务驱动模型学习提升其在下游任务的表现。隐式监督信号从数据本身的结构、属性或变换中自动推导出的监督信号而不是由人工标注提供的显式标签。自监督学习定义利用未标记数据来训练模型是无监督学习的一种被广泛运用于模型的预训练。自监督学习VS无监督学习important我最开始一直认为这俩是等价的但是后面发现两者还是有区别的。自监督学习属于无监督学习但通过构造代理任务使其更接近监督学习的范式有明确的输入-伪标签对通过隐式监督信号提升模型的特征提取能力。弥补了传统无监督学习如聚类在表示学习上的不足。领域自适应方法基于对抗在生成对抗性网络(GAN)的启发下引入对抗性技术寻找既适用于源域又适用于目标域的可迁移表达。它基于这样的假设:“为了有效的迁移良好的表征应该是对主要学习任务的区别性以及对源域和目标域的不加区分。”基于网络将原领域中预先训练好的部分网络包括其网络结构和连接参数重新利用将其转化为用于目标领域的深度神经网络的一部分。基于映射Target Domain 和 Source Domain 具有不同的分布基于映射的迁移学习是将实例从源域和目标域映射到新的数据空间。基于实例在source domain中的数据挑挑拣拣选择符合Target domain约束空间的数据让这些挑出来的数据和target domain中数据一块训练。同构迁移学习源领域和目标领域的数据具有相同的特征空间和数据分布但任务不同。例如从识别手写数字 0 - 9 的任务迁移到识别字母 A - Z 的任务。异构迁移学习源领域和目标领域的数据具有不同的特征空间或数据分布。比如将从图像领域学习到的知识迁移到文本领域。跨任务迁移学习源领域和目标领域的任务类型不同如从图像分类任务迁移到图像分割任务。形式训练说——模型训练 e.g:预训练模型相同要素说——数据基础 e.g基于参数共享、基于特征共享概括化理论说——概念学习迁移学习定义从一个任务源领域学到的知识模型参数、特征表示等应用到另一个不同但相关的任务目标领域上。迁移学习分类