企业官网建设流程全解析

上海高端品牌网站制作,原创设计,优秀网站作品截图,网页设计版式教程笔记整理#xff1a;吕恬雯#xff0c;浙江大学研究生#xff0c;研究方向为大语言模型、AI for Science论文链接#xff1a;https://openreview.net/pdf?idrTCJ29pkuA发表会议#xff1a;ICLR 20251. 动机大型语言模型#xff08;LLMs#xff09;在处理知识图谱#…笔记整理吕恬雯浙江大学研究生研究方向为大语言模型、AI for Science论文链接https://openreview.net/pdf?idrTCJ29pkuA发表会议ICLR 20251. 动机大型语言模型LLMs在处理知识图谱KGs方面取得了进展但现有的方法存在很高的非检索率non-retrieval rate。这种限制降低了基于知识图谱问答的准确性。分析表明贪婪搜索greedy search和前向推理forward reasoning的结合是导致此问题的主要原因。非检索失败的主要原因可分为三类1误导Misdirection占68.8%即正确的路径与检索到的路径并行但模型在第一步选错后就很难再找到正确路径。2深度限制Depth Limitation占25.2%正确路径的长度超过了最大允许的推理长度。3路径缺失Path Absence占6.0%。现有方法的共同限制1基于子图的检索subgraph reasoning结构化强但理解性弱。2基于 LLM 的迭代推理LLM reasoning如 ToG理解强但路径容易走偏。两者都依赖单一步的贪心策略导致错误累积无法解决误导和深度限制问题。2. 贡献本文的主要贡献有1设计提出了超关系super-relations的概念即特定领域内一组关系的集合。使用超关系可以通过包含大量关系来进行高效推理同时增强推理路径的深度和宽度以解决非检索问题。2框架提出了一个名为ReKnoSReason over Knowledge Graphs with Super-Relations的新型推理框架。该框架集成了超关系能同时表示多条关系路径在不丢弃潜在连接的情况下显著扩展搜索空间。3实验在九个真实世界的数据集上进行了实验。结果表明ReKnoS在检索成功率和搜索空间大小方面均显著优于传统方法平均准确率提高了2.92%。3. 方法本文提出的ReKnoS框架旨在利用超关系来扩展搜索并提高检索效率。1核心概念超关系Super-Relations超关系被定义为一组更细粒度的、详细的关系的集合。例如超关系 music.featured_artist 可以包括 music.featured_artist.recordings 和 music.featured_artist.albums 等具体关系。在Wikidata等知识图谱中这种层级关系是固有的例如将第二级关系视为超关系)。2ReKnoS 框架流程框架最多包含 L 个推理步骤。步骤 0分析器Analyzer从输入问题中提取查询实体Topic Entity。步骤 1...L推理Reasoning Steps候选选择Candidate Selection在第步框架首先确定候选超关系集这些超关系必须与第步选定的超关系集中的至少一个超关系相连。评分ScoringLLM 对中的所有候选超关系进行评分范围0到1。然后框架选择得分最高的 N 个超关系组成新的超关系集。决策与实体提取Decision Entity ExtractionLLM 根据当前检索到的路径和实体决定是a从当前实体中提取答案还是b继续进行下一步推理。路径选择Path Selection框架会从多条可能的“超关系路径”中选出得分最高的 K 条路径路径得分由其包含的超关系得分之和确定。最终实体选择Final Entity Selection提取满足这 K 条最优超关系路径的最终实体集。步骤 L1积分器IntegratorLLM 汇总所有收集到的推理路径和最终实体生成最终答案。3效率优势与 ToG 等基线方法相比ReKnoS 的效率更高。ToG 需要评估的路径数随深度呈指数增长。而 ReKnoS 在每一步中LLM 评估的超关系数量最多为 N即候选集大小与深度无关显著减少了LLM的调用次数。4. 实验1数据集和基线数据集使用了9个数据集涵盖多种KGQA任务如GrailQA、CWQ、WebQSP、SimpleQA以及T-REx、HotpotQA等。基线包括IO、CoT、Self-Consistency以及SOTA的KG推理方法StructGPT、Think-on-Graph (ToG) 和 KG-Agent。度量标准主要是 Hits1精确匹配准确率。2核心结果性能对比ReKnoS 在大多数数据集上均优于所有基线尤其是在需要复杂推理的数据集上如GrailQA和CWQ 。例如在GrailQA上使用GPT-3.5时ReKnoS (71.9%) 优于 KG-Agent (68.9%)使用GPT-40-mini时ReKnoS (80.5%) 优于 KG-Agent (77.5%) 。超关系分析ReKnoS 具有明显更大的搜索空间。在GrailQA上其平均搜索空间大小即搜索过程中遇到的事实三元组数量比 KG-Agent 和 ToG 分别高出 42% 和 55%。这使得ReKnoS更有可能检索到正确的答案三元组。效率分析ReKnoS 在保持卓越性能的同时实现了最低的平均LLM调用次数。例如在WebQSP上ReKnoS 平均调用 3.7 次而 ToG 为 15.3 次。ReKnoS的调用次数与搜索宽度 N 无关而 ToG 的调用次数则依赖于 N。超参数分析增加搜索宽度 N 和最大长度 L 均能带来性能提升。当 N 从 3 降到 1 时性能显著下降例如 L3 时Hits1 从 81.1% 降至 76.2%表明 N即搜索宽度对框架性能至关重要。5. 总结本文提出了 ReKnoS 框架该框架利用“超关系”在知识图谱推理过程中包含大量关系。通过实现多关系路径的同时表示和探索ReKnoS 显著扩展了KG的推理搜索空间同时避免了有价值信息的丢失。大量实验证明ReKnoS 的性能超越了现有的SOTA基线展示了超关系在推进复杂KG推理任务方面的潜力。OpenKGOpenKG中文开放知识图谱旨在推动以中文为核心的知识图谱数据的开放、互联及众包并促进知识图谱算法、工具及平台的开源开放。点击阅读原文进入 OpenKG 网站。