企业官网建设流程全解析

北京网站建设seo优化,厦门建设管理局网站首页,专业信息门户网站建设,信息网络技术IADSR是一个创新的序列推荐去噪框架#xff0c;结合大语言模型(LLM)的语义信息与协同信号#xff0c;通过跨模态兴趣对齐与重构机制解决过度去噪问题。该方法在四个公开数据集上显著提升推荐效果#xff0c;特别是在冷启动、短序列和稀疏交互场景下表现优异。实验表明#…IADSR是一个创新的序列推荐去噪框架结合大语言模型(LLM)的语义信息与协同信号通过跨模态兴趣对齐与重构机制解决过度去噪问题。该方法在四个公开数据集上显著提升推荐效果特别是在冷启动、短序列和稀疏交互场景下表现优异。实验表明IADSR在Amazon Beauty数据集上NDCG10提升13%且代码已开源具有良好可扩展性可适配多种推荐模型。今天为大家分享来自香港城市大学的最新工作IADSR (Interest Alignment for Denoising Sequential Recommendation)。这篇工作聚焦于序列推荐中的噪声问题提出了一种结合协同信息与大语言模型LLM语义信息的去噪框架通过跨模态对齐与重构机制有效缓解了过度去噪问题提升了推荐的准确性和稳健性。本论文已发表于CIKM 2025。序列推荐通过建模用户的时序行为来捕捉偏好。然而序列数据中往往存在噪声例如误点、探索性行为或无关交互这些都会误导模型降低推荐效果。已有方法大多基于协同信号进行噪声过滤但容易出现过度去噪尤其对冷门物品不友好。为此我们提出IADSR一个结合协同与语义信息的两阶段框架(1) 使用大语言模型提取物品语义嵌入结合序列模型学习的协同嵌入(2) 跨模态对齐兴趣表示从长短期兴趣层面检测并去除噪声。我们还引入重构机制避免过度去噪。在四个公开数据集上的实验表明IADSR 具有显著效果和通用性。一、主要创新点提出IADSR一个可泛化的序列推荐去噪框架兼容多种推荐模型。引入LLM2Vec语义表示将 LLM 融合进推荐系统无需微调即可使用。提出跨模态兴趣对齐与重构机制有效缓解过度去噪问题。二、方法IADSR 框架示意图总体框架本研究提出的IADSRInterest-Aligned Denoising Sequential Recommendation框架旨在通过跨模态兴趣对齐与序列去噪有效提升推荐系统的鲁棒性与准确性。整体框架分为两个阶段表示学习阶段分别从语义与协同视角提取物品的双模态表示。语义表示由 LLM 通过文本描述获得协同表示由传统序列推荐模型SRS学习得到。对齐与去噪阶段通过跨模态兴趣对齐确保用户在不同表示空间中的兴趣一致性并利用该一致性识别并过滤交互序列中的噪声交互最终重建最贴近用户画像的行为序列以提升预测性能。形式化地对于用户集合 与物品集合 每个用户 的交互序列为目标是预测下一个可能交互的物品 即语义编码Semantic Encoding传统的序列推荐主要依赖协同信号而忽略了物品语义信息。为此我们引入LLM2Vec来提取高质量的语义嵌入用以补充协同信息。对于每个物品 其名称或文本描述记为 通过 LLM2Vec 生成语义向量表示其中 表示物品 的语义嵌入。 该表示利用预训练大语言模型的语义知识使模型能够理解商品类别、属性等隐含语义即使在冷启动场景中也能捕获合理的相似性。兴趣对齐Interest Alignment虽然语义与协同表示存在空间差异但它们反映的是同一用户的潜在兴趣。为此IADSR 设计了跨模态兴趣对齐机制通过对齐长期与短期兴趣表示实现两种模态间的协同增强。兴趣表示Interest Representation对于用户 的交互序列 定义长期兴趣表示捕获整体偏好短期兴趣表示捕获动态兴趣变化其中 表示用户到时间步 的部分序列。跨模态兴趣对齐Cross-Modal Alignment我们使用InfoNCE 损失对齐不同模态的兴趣表示从而最大化语义与协同嵌入间的互信息其中长期兴趣对齐短期兴趣对齐其中 为余弦相似度 为温度参数。 通过该过程模型能够在语义与协同空间中保持一致的兴趣结构。序列去噪Sequence Denoising用户筛选我们首先计算用户在两种模态下长期兴趣的一致性若该一致性高于阈值 则认为该用户的兴趣表达稳定进入去噪阶段噪声检测对于通过筛选的用户在每个时间步 计算三种跨模态相似度综合得分定义为该得分越低越可能是噪声交互。掩码生成Mask Generation via Gumbel-Sigmoid为将连续得分映射为离散决策使用可微的Gumbel-Sigmoid机制展开为最终输出 用于决定第 次交互是否保留序列重建Sequence Reconstruction为防止“过度去噪”导致信息损失IADSR 在去噪后引入重建机制以平衡噪声消除与偏好保留。渐进去噪模型在每个训练轮次基于上一轮生成的掩码进行渐进式更新其中 表示逐元素乘法。解码器重建利用解码器将去噪后的隐藏状态恢复为原始表示重建损失通过最小化重建误差确保模型仅去除噪声而保留真实偏好总损失函数Overall ObjectiveIADSR 的最终优化目标综合了推荐精度、跨模态一致性与重建约束其中 为标准交叉熵损失用于预测下一个物品 保证语义与协同兴趣的一致性 则确保去噪过程不会破坏用户真实偏好。三者共同促进模型在保持用户兴趣真实性的同时有效消除序列噪声提升推荐系统的鲁棒性与泛化能力。三、实验数据与设置数据集Amazon Beauty、Sports、Toys、MovieLens-100K。指标HR10, NDCG10。基线方法STEAM, HSD, SSDRec, DCRec。骨干模型GRU4Rec, SASRec, Caser。整体结果在 Amazon Beauty 数据集上以 SASRec 为骨干模型基线方法的 NDCG10 最好为 0.1184而 IADSR 达到 0.1345提升超过13%这表明引入语义对齐能够有效缓解数据稀疏问题因为该数据集中的物品交互高度稀疏而我们的方法能利用 LLM 语义嵌入提供额外的监督信号。值得注意的是传统方法在长尾物品上的表现均不理想而我们的模型在冷启动物品上的表现更为突出这正是跨模态对齐带来的优势。在MovieLens-100K 上我们同样观察到稳定的提升。在NDCG10上我们方法较 SASRec 提升4.6%较 BERT4Rec 提升6.1%。这说明即使在交互相对密集的场景下跨模态对齐仍然能带来性能增益。进一步分析发现我们方法在用户序列较短不足 10 个交互的情况下效果更为显著相比于 SASRec 提升近8%。这验证了我们提出的“语义增强 去噪”策略能够帮助模型在短序列场景下捕捉更稳健的用户偏好。消融实验我们进一步设计了消融实验考察三个关键组件的作用w/o InfoNCE移除跨模态兴趣对齐仅依赖协同信号。w/o Denoising不进行序列去噪。Full Model完整方法。实验结果表明移除 InfoNCE 后模型性能下降最明显例如 Beauty 数据集的 NDCG10 从 0.1345 降至 0.1231表明跨模态对齐的重要性。去噪机制带来约2%~3%的额外提升尤其在长序列数据中能显著减少噪声干扰当去掉重构损失时也出现过度去噪NDCG10 降至 0.1207进一步说明两个模块相辅相成。完整方法始终优于任意简化版本说明三个模块在设计上是互补的。冷启动现象的缓解方法现有的去噪方法如HSD、STEAM往往采用统一的过滤标准把看似“不合理”的交互去掉。但这种做法在冷门物品long-tail items上存在风险因为冷门物品的交互数据本来就少看似“噪声”的点击其实可能反映了用户的真实兴趣。结果就是在分桶实验中随着物品热度下降从热门到冷门推荐准确率普遍下降而IADSR在冷门物品上的相对提升更明显因为它保留了更多可能有用的信息。例如在 Amazon Beauty 数据集冷物品的 HR10 从 0.043 提升至 0.058增幅34.8%。案例研究显示我们的方法在Hit10上提升幅度达到10% 以上远高于其他基线。这表明语义嵌入与协同嵌入的对齐能够弥补冷启动用户和物品缺乏交互的问题IADSR 能有效去除用户误点的“儿童玩具”而保留真正兴趣相关的“护肤品”最终推荐结果更贴近用户需求。可扩展性我们的方法并不依赖于特定的序列推荐模型。在实验中我们分别将跨模态兴趣对齐机制与SASRec、BERT4Rec、GRU4Rec等主流方法结合均观察到性能的持续提升。例如在 MovieLens 数据集上结合BERT4Rec的改进版本在NDCG10上提升了5.7%证明了该方法具有良好的可移植性和模块化优势。同时虽然本文主要利用了物品的文本描述但方法同样可以扩展到图像、音频等模态。只需替换LLM2Vec为对应的模态编码器如 CLIP 图像编码器即可实现多模态的兴趣对齐。这为未来在视频推荐、音乐推荐等场景中的应用奠定了基础。案例研究为了更直观地展示我们模型的去噪能力我们从Amazon Beauty数据集中随机选取了两个用户分析模型如何通过结合语义信号与协同信号有效识别噪声交互。上面的表格展示了不同方法IADSR、HSD、STEAM在这两个用户上的去噪结果蓝色文本表示冷门物品交互次数最低的 20%红色文本表示热门物品交互次数最高的 20%黑色文本表示普通物品同时我们也给出了用户画像基于其历史交互偏好。 针对用户22099和19852的结果表明IADSR在用户兴趣保持与噪声抑制之间取得了更好的平衡。对于用户 22099IADSR 能够精准过滤掉无关的美发产品同时保留与其塑形偏好相关的商品而HSD与STEAM均出现误判错误去除了部分相关产品表现出一定的过度去噪倾向。对于用户 19852IADSR 仅将“Beauty Without Cruelty”乳液识别为噪声成功保留了其他与美容兴趣相关的冷门产品相比之下HSD 过度泛化误删了包括Essie 指甲油底油和芦荟胶在内的多款用户感兴趣的天然产品而 STEAM 的误判更为严重将抗皱复合物与眼部化妆品错误标记为噪声忽略了用户在抗衰老护肤与眼部产品方面的显著兴趣。这些案例表明IADSR能够在保证推荐相关性的同时兼顾推荐的多样性与覆盖率不会像传统方法那样一刀切地删除冷门物品而是通过语义信号与协同信号的结合实现更精准的噪声过滤最终推荐结果更加贴合用户的真实偏好。总结分析从整体实验来看跨模态对齐在数据稀疏和冷启动场景中发挥了关键作用序列去噪有效缓解了用户短期兴趣或随机点击带来的干扰重构正则化保证了模型不会因过度去噪而损失长期信息。因此我们提出的方法不仅在标准推荐任务中超过了现有方法还在冷启动、短序列、稀疏交互等更具挑战性的场景中表现出显著优势。 IADSR 将 LLM 语义嵌入与协同信号结合通过兴趣对齐与重构机制有效缓解了序列推荐中的过度去噪问题。实验验证了其在多数据集、多骨干模型下的优越性与稳健性尤其在冷启动场景下展现了显著优势。那么如何系统的去学习大模型LLM作为一名深耕行业的资深大模型算法工程师我经常会收到一些评论和私信我是小白学习大模型该从哪里入手呢我自学没有方向怎么办这个地方我不会啊。如果你也有类似的经历一定要继续看下去这些问题啊也不是三言两语啊就能讲明白的。所以我综合了大模型的所有知识点给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢我就曾放空大脑以一个大模型小白的角度去重新解析它采用基础知识和实战项目相结合的教学方式历时3个月终于完成了这样的课程让你真正体会到什么是每一秒都在疯狂输出知识点。由于篇幅有限⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》扫码获取~大模型学习指南路线汇总我们这套大模型资料呢会从基础篇、进阶篇和项目实战篇等三大方面来讲解。①.基础篇基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念用最易懂的方式带你入门大模型。②.进阶篇接下来是进阶篇你将掌握RAG、Agent、Langchain、大模型微调和私有化部署学习如何构建外挂知识库并和自己的企业相结合学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。③.实战篇实战篇会手把手带着大家练习企业级的落地项目已脱敏比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等从而帮助大家更好的应对大模型时代的挑战。④.福利篇最后呢会给大家一个小福利课程视频中的所有素材有搭建AI开发环境资料包还有学习计划表几十上百G素材、电子书和课件等等只要你能想到的素材我这里几乎都有。我已经全部上传到CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】相信我这套大模型系统教程将会是全网最齐全 最易懂的小白专用课