企业官网建设流程全解析

网站的领券商城怎么做,app网站开发多少钱,全自动站群系统,沈阳网站定制开发家人们#xff0c;主播又回来啦#xff0c;这一周主播比较忙#xff0c;所以就只认认真真精读了这一篇论文。主播这也是第一次使用提问法#xff0c;讲这篇文章里面究极的一些问题给弄明白了#xff0c;这也是很好的一点。话不多说#xff0c;我们来一起看看这篇文章吧主播又回来啦这一周主播比较忙所以就只认认真真精读了这一篇论文。主播这也是第一次使用提问法讲这篇文章里面究极的一些问题给弄明白了这也是很好的一点。话不多说我们来一起看看这篇文章吧Graph-Grounded Pretraining and Prompting这篇工作发表于23年5月那个时候看上去就是一篇相当有前瞻性质的工作了在此之前关于图的很多工作都还没有产生。甚至于GFM的研究都没有衍生所以主播确实觉得这篇工作非常有价值。动机这篇文章主要解决的问题是「低资源场景下对节点分类任务的优化」文本分类作为信息检索的基础任务在文章主题预测、电商商品分类等场景应用广泛但标注数据稀缺或缺失的低资源场景使依赖大量标注数据的监督学习难以适用。现有解决方案存在明显不足预训练语言模型PLMs虽降低标注需求但模型规模大导致微调成本高且仍需要一定标注数据在零样本、少样本场景表现不佳提示学习Prompting虽无需微调 PLM却存在离散提示设计难、连续提示未结合图结构的问题图神经网络GNNs可利用文本关联的图结构但对文本特征处理粗糙且与文本编码器多为松耦合未充分挖掘文本与图的内在关联。鉴于许多文本数据天然依托图结构如文章引用网络、用户 - 商品交互图这些结构蕴含丰富语义关系这篇文章旨在提出新模型联合学习文本与图特征结合预训练与提示学习解决低资源文本分类难题。方法1. 图接地对比学习整篇文章的架构如下G2P2 用了三种 “互动式” 对比策略把文本和图的特征牢牢绑在一起。第一种是文本 - 节点Text-node互动让每个文档和它对应的图节点 embedding 相似度拉满其他不匹配的对相似度降低第二种是文本 - 摘要Text-Summary互动用图里邻居文档的平均 embedding 当 “摘要Summary”让目标文档和这个摘要对齐第三种是节点 - 摘要Node-Summary互动让图节点 embedding 也和邻居摘要对齐。这三招下来文本语义和图结构信息就深度融合啦。2. 完全训练流程这篇工作的完整训练流程是第一步先做预训练用 Transformer 当文本编码器、GCN 当图编码器批量处理文档算出每个文档的文本 embedding、对应节点的图 embedding还有邻居生成的摘要 embedding。接着算三种相似度矩阵分别代表text-node,node-Summary,text-Summary的相似度矩阵:这个损失函数类似于CLIP这篇工作对于矩阵转置一下就是计算这个相似度在当前的文本行和节点行分别达到最大实现「对比学习」的效果。计算完三个损失之后把三个损失整合起来更新模型参数直到收敛。整个过程不用标注数据纯自监督学习成本低还高效。总的损失函数是这样计算的算法的伪代码如下3. Graph Prompt Tuning for Few and Zero shots最后看少样本和零样本的微调优化。零样本时没标注数据就用手工设计的离散提示比如 “paper of [CLASS]”让预训练好的文本编码器生成类别权重再和图节点 embedding 算相似度分类。少样本时换成可学习的连续提示还特别用了图上下文初始化 —— 从支持集节点的邻居文档里抽文本转成 embedding 当提示初始值比随机初始化效果好。而且微调只更提示参数模型主体不动又快又省资源实验RQ1: G2P2少样本条件下的性能实验用了 Cora 和三个亚马逊数据集对比了 GCN、BERT、P-Tuning v2 等 11 个基线。结果超明显5-shot 时 G2P2 比最好的基线高 2%-8%1-shot 这种极端场景下其他模型性能掉得厉害G2P2 却很稳零样本时更是碾压比 RoBERTa∗d 这种强基线高 36%-45%直接证明了图对比预训练 提示的威力。RQ2G2P2的零样本性能零样本实验超直接 —— 就是在完全没标注样本的情况下看 G2P2 能不能分对类。用了 Cora 和三个亚马逊数据集只和预训练语言模型PLMs比毕竟其他方法没标注数据根本跑不起来。实验分两种情况一种只用类别文本当提示另一种加手工设计的离散提示标成 “d”。结果 G2P2 直接碾压所有基线比如 Cora 上 G2P2d accuracy 有 65.28%比最好的 RoBERTa∗d 高 45% 还多亚马逊 Art 数据集上也高了 36%。不过也发现手工 prompt 要试十几种还可能在不同模型上效果反过来所以日常用直接用类别文本就够啦其他实验主播注意到这篇文章做了消融实验。先拆三个对比损失没了文本 - 节点损失L1模型性能直接崩了说明这是核心加上文本 - 摘要L2和节点 - 摘要L3损失后效果又涨了证明多互动策略有用。再看提示部分只用类别文本不用可学习提示性能下降用图上下文初始化提示比随机初始化稍好说明这些优化都不是花架子。总结和思考主播在结束之前想了三个问题1. 为什么要额外加上一个Summary这篇文章在发表之前没有比较好的结合方式之前主播一直都没有想到比较好的原因后来才想到这样能够体现出「更高维的」图文结合。这样做是为了聚合这个节点和邻接节点的信息创造一个这个节点视角下的「洞察表示」主播认为这里还有一种进阶的表达方法是这样更能够反映图的信息。当然GraphCLIP的方法比主播想的这个更成熟–直接使用BERT编码句子再用一个GNN做一个更好的聚合…这也许是更好的方法啦。2. 为什么在不同数据集的大小不一样开始主播还是很纳闷为什么在论文里面的表示不一样但是后来主播看了这个参数试验才知道–这个参数关系它们都是和上下文相关性比较好。在Cora里面被设成0.1在Amazon里面被设成了10主播很纳闷…但是后来主播顿悟啦你想想Cora是论文数据集一篇论文的分类肯定是更多取决于它的摘要而不是与它链接的其他论文。而Amazon数据集则是网购工业的网络的上下文涵盖一个交易的不同阶段所以它的内容和上下文是紧密联系的。从参数造成的变化也印证了主播的猜想Cora下降其他的都上升所以再次印证了主播的猜想如何学习AI大模型如果你对AI大模型入门感兴趣那么你需要的话可以点击这里大模型重磅福利入门进阶全套104G学习资源包免费分享这份完整版的大模型 AI 学习和面试资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】这是一份大模型从零基础到进阶的学习路线大纲全览小伙伴们记得点个收藏第一阶段从大模型系统设计入手讲解大模型的主要方法第二阶段在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用第三阶段大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统第四阶段大模型知识库应用开发以LangChain框架为例构建物流行业咨询智能问答系统第五阶段大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型第六阶段以SD多模态大模型为主搭建了文生图小程序案例第七阶段以大模型平台应用与开发为主通过星火大模型文心大模型等成熟大模型构建大模型行业应用。100套AI大模型商业化落地方案大模型全套视频教程200本大模型PDF书籍学会后的收获• 基于大模型全栈工程实现前端、后端、产品经理、设计、数据分析等通过这门课可获得不同能力• 能够利用大模型解决相关实际项目需求 大数据时代越来越多的企业和机构需要处理海量数据利用大模型技术可以更好地处理这些数据提高数据分析和决策的准确性。因此掌握大模型应用开发技能可以让程序员更好地应对实际项目需求• 基于大模型和企业数据AI应用开发实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能 学会Fine-tuning垂直训练大模型数据准备、数据蒸馏、大模型部署一站式掌握• 能够完成时下热门大模型垂直领域模型训练能力提高程序员的编码能力 大模型应用开发需要掌握机器学习算法、深度学习框架等技术这些技术的掌握可以提高程序员的编码能力和分析能力让程序员更加熟练地编写高质量的代码。LLM面试题合集大模型产品经理资源合集大模型项目实战合集获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】