企业官网建设流程全解析

信阳企业网站建设公司,为什么做网站要有自己的服务器,phpstudy2016快速搭建网站,软件开发工程师属于什么行业首先#xff0c;我们将 RAG 工作流程分为三个部分#xff0c;以增强我们对 RAG 的理解#xff0c;并优化每个部分以提高整体性能#xff1a; 预检索 在预检索步骤中#xff0c;需要准备LLM 原始训练数据集之外的新数据#xff08;也称为外部数据#xff09; #xff…首先我们将 RAG 工作流程分为三个部分以增强我们对 RAG 的理解并优化每个部分以提高整体性能预检索在预检索步骤中需要准备LLM 原始训练数据集之外的新数据也称为外部数据 并将其拆分成块然后使用向量模型对块数据进行索引该模型将数据转换为数值表示并将其存储在向量数据库中,此过程创建了 LLM 可以理解的知识库。RAG 中的预检索检索在最重要的检索步骤中用户查询被转换为称为嵌入的向量表示并使用余弦相似度从向量数据库中找到相关块。这会尝试从向量存储中找到高度相关的文档块。检索后接下来RAG 模型通过在上下文查询 上下文中添加相关检索数据来增强用户输入或提示。此步骤使用提示工程技术与 LLM 进行有效沟通。增强的提示允许大型语言模型使用给定的上下文生成对用户查询的准确答案。RAG 中的检索和后检索RAG优化思路我们的目标是通过将各种技术应用于不同部分来增强 RAG 工作流程的每个组件。检索前优化预检索技术包括提高索引数据的质量和块优化。此步骤也可以称为增强语义表示。增强数据粒度提高数据质量‘Garbage in, garbage out’数据清理在 RAG 框架中起着至关重要的作用。RAG 解决方案的性能取决于数据的清理和组织程度。删除不必要的信息例如特殊字符、不需要的元数据或文本。删除不相关的文本/文档删除所有不需要 LLM 回答的不相关文档。同时删除噪音数据包括删除特殊字符、停用词常用词如“the”和“a”和 HTML 标签。识别和纠正错误包括拼写错误、打字错误和语法错误。在分割块中用名称替换代词可以增强检索过程中的语义重要性。添加元数据添加元数据例如概念和级别标签以提高索引数据的质量。添加元数据信息包括将引用的元数据例如日期和目的集成为块以便进行过滤以及合并参考文献的章节和小节等元数据以提高检索效率。以下是元数据有用的一些场景如果你搜索项目并且以新近度为标准则可以按日期元数据进行排序。如果你搜索科学论文并且事先知道你要查找的信息始终位于特定部分例如实验部分则可以将文章部分添加为每个块的元数据并对其进行过滤以仅匹配实验。元数据很有用因为它在向量搜索上带来了额外的结构化搜索层。优化索引结构知识图谱或图神经网络索引利用,图数据索引中节点之间的关系整合图结构中的信息来捕获相关上下文。向量索引分块优化选择正确的chunk_size是一个关键的决定它可以通过多种方式影响 RAG 系统的效率和准确性相关性和粒度较小的chunk_size如 128可产生更细粒度的块。然而这种粒度存在风险重要信息可能不在检索到的顶部块中尤其是当similarity_top_k设置严格到 2 时。相反512 的块大小很可能包含顶部块中的所有必要信息从而确保查询的答案随时可用。响应生成时间随着chunk_size的增加输入到 LLM 以生成答案的信息量也会增加。虽然这可以确保更全面的背景信息但也可能会降低系统速度。挑战如果您的块太小它可能不包含 LLM 回答用户查询所需的所有信息如果块太大它可能包含太多不相关的信息使 LLM 感到困惑或者可能太大而无法适应上下文大小。任务特定分块根据下游任务需要确定块的最佳长度以及每个块希望有多少重叠。诸如总结之类的高级任务需要更大的块大小而诸如编码之类的低级任务则需要较小的块。分块技术Small2big 或父文档检索通过拆分和存储小块数据来实现 ParentDocumentRetriever 平衡。在检索过程中它首先获取小块然后查找这些块的父 ID并将这些较大的文档返回给 LLM。它在初始搜索阶段利用小文本块随后将更大的相关文本块提供给语言模型进行处理。递归检索涉及在初始检索阶段获取较小的块以捕获关键的语义含义。随后在流程的后期阶段将包含更多上下文信息的较大块提供给 LLM。这种两步检索方法有助于在效率和提供丰富的上下文响应之间取得平衡。步骤该过程涉及将原始大型文档分解为更小、更易于管理的单元称为子文档和更大的块称为父文档。它专注于为每个子文档创建嵌入这些嵌入比整个父块嵌入更丰富、更详细。它帮助框架识别包含与用户查询相关的信息的最相关子文档。一旦与子文档建立对齐它就会检索与该子文档关联的整个父文档。如图所示最终检索到了父块。检索父文档非常重要因为它为理解和响应用户的查询提供了更广泛的背景。框架现在可以访问整个父文档而不再仅仅依赖于子文档的内容。Small2big 或父文档检索分块技术句子窗口检索这种分块技术与上面的非常相似。句子窗口检索背后的核心思想是根据查询从自定义知识库中选择性地获取上下文然后利用该上下文的更广泛版本来生成更强大的文本。此过程涉及嵌入一组有限的句子以供检索这些句子周围的附加上下文称为“窗口上下文”被单独存储并与它们链接。一旦确定了最相似的句子就会在将这些句子发送到大型语言模型 (LLM) 进行生成之前重新整合此上下文从而丰富整体上下文理解。解释句子窗口检索的工作原理RAG 中的句子窗口检索分块技术检索优化这是 RAG 工作流中最重要的部分包括根据用户查询从向量存储中检索文档。此步骤也可以称为对齐查询和文档。查询重写查询重写是对齐查询和文档的语义的基本方法。在此过程中我们利用语言模型 (LLM) 功能重新表述用户的查询并再次尝试。需要注意的是两个在人类看来可能相同的问题在嵌入空间中可能看起来并不相似。多查询检索器多查询检索方法利用 LLM 针对给定的用户输入查询从不同角度生成多个查询有利于解决具有多个子问题的复杂问题。对于每个查询它会检索一组相关文档并对所有查询进行唯一联合以获得一组更大的潜在相关文档。通过对同一个问题产生多种观点多查询检索器可能能够克服基于距离的检索的一些限制并获得更丰富的结果。多查询检索器Hyde 或 Query2doc两者皆可海德和查询到文档是类似的查询重写优化。鉴于搜索查询通常很短、含糊不清或缺乏必要的背景信息LLM 可以提供相关信息来指导检索系统因为它们通过对数万亿个标记进行预训练来记忆大量的知识和语言模式。标准方法和HyDE方法之间的差异StepBack提示StepBack提示该方法鼓励语言模型超越具体的例子来思考并关注更广泛的概念和原则。**此模板复制了“后退”提示技术该技术通过首先提出“后退”问题来提高复杂问题的表现。**此技术可以与标准问答 RAG 应用程序结合使用通过检索原始问题和后退问题的信息。以下是后退提示的示例。微调嵌入微调嵌入模型会显著影响 RAG 系统中检索内容的相关性。此过程涉及自定义嵌入模型以增强特定领域上下文中的检索相关性尤其是对于处理不断发展或罕见术语的专业领域。生成用于训练和评估的合成数据集这里的关键思想是可以使用 GPT-3.5-turbo 等语言模型生成用于微调的训练数据以基于文档块提出问题。这使我们能够以可扩展的方式生成合成的正对查询、相关文档而无需人工贴标。最终数据集将是问题和文本块的对。微调嵌入在生成的训练数据集上微调任何嵌入模型使用 GPT 通过合成生成的数据集微调嵌入模型混合搜索RAG系统通过智能地集成基于关键字的搜索、语义搜索和向量搜索等各种技术来优化其性能。这种方法充分利用了每种方法的独特优势以适应不同的查询类型和信息需求确保始终如一地检索高度相关且上下文丰富的信息。混合搜索的使用是对检索策略的有力补充从而提高了 RAG 流程的整体效率。最常见的模式是将稀疏检索器如 BM25与密集检索器如嵌入相似性相结合因为它们的优势是互补的。这也被称为“混合搜索”。稀疏检索器擅长根据关键字查找相关文档而密集检索器擅长根据语义相似性查找相关文档。检索后优化重新排序在将检索结果发送到 LLM 之前对其进行重新排序显著提高了 RAG 性能。向量相似性搜索中的高分数并不意味着它总是具有最高的相关性。核心思想是通过重新排列文档记录将最相关的内容放在最前面从而限制文档的总数不仅解决了检索过程中上下文窗口扩展的问题还提高了检索效率和响应速度。增加查询引擎中的similarity_top_k来检索更多的上下文段落重新排名后可以减少到top_n。使用 Cohere Reranker 对检索到的文档进行重新排序内容压缩检索到的文档中的噪声会严重影响RAGRetrieval-Augmented Generation的性能。因此与查询最相关的信息可能被埋藏在大量无关文本中。将整个文档传递到应用程序中可能导致更昂贵的大语言模型LLM调用并生成质量较差的响应。在这种情况下重点在于压缩无关上下文、突出关键段落以及减少整体上下文长度。上下文压缩旨在解决这一问题。其核心思想很简单不是直接返回检索到的原始文档而是根据给定查询的上下文对文档进行压缩从而仅返回相关信息。这里的“压缩”既指压缩单个文档的内容也包括完全过滤掉不相关的文档。上下文压缩Doc Compressor 是一种小型语言模型用于计算用户查询和检索到的文档之间的提示互信息prompt mutual information从而评估各个元素的重要性。模块化 RAG模块化 RAG 通过整合多种方法来增强 RAG 的不同组件。例如引入搜索模块以进行相似性检索并在检索器中应用微调方法以提高性能。RAG 融合结合了两种方法多查询检索 (Multi-Query Retrieval) 利用大语言模型 (LLMs) 从不同角度为给定的用户输入查询生成多个查询。这种方法在处理包含多个子问题的复杂问题时具有优势。重排序检索文档 (Rerank Retrieved Documents) 对所有检索到的文档进行重新排序并移除相关性得分较低的文档从而提升结果的质量。图片所示技术确保了搜索结果能够匹配用户的意图无论是显而易见的还是隐含的。它帮助用户找到更具洞察力和相关性的信息。最后的一些思考本文讨论了优化 RAG 管道各个部分并增强整体 RAG 性能的各种技术。你可以在 RAG 管道中使用其中一种或多种技术使其更加准确和高效。希望这些技术能够帮助你为你的应用程序构建一个更强大的 RAG 管道。参考资料https://luv-bansal.medium.com/advance-rag-improve-rag-performance-208ffad5bb6a文章到此还没完感觉上面是比较常见的内容下面继续分享同济大学 Haofen Wang的关于检索增强生成的报告《Retrieval-Augmented Generation (RAG): Paradigms, Technologies, and Trends》 RAG 范式、技术和趋势。温故而知新https://raw.githubusercontent.com/Tongji-KGLLM/RAG-Survey/main/assets/RAG_Slide_ENG.pdfRAG 范式、技术和趋势RAG 概述为什么会有 RAG?RAG (检索增强生成)的出现主要是因为传统的LLM存在一些不足之处幻觉生成虚假信息过时的信息参数化知识效率低缺乏专业领域的深入知识推理能力弱对于企业应用来说还需要综合考虑领域支持的精准回答数据频繁更新的需求生成内容需要可追溯、可解释可控的成本隐私数据保护因此RAG的核心思想是在生成答案时首先从大量文档中检索相关信息再基于这些信息进行答案生成。通过附加外部知识库避免了为每个特定任务重新训练整个大型模型。这使得RAG特别适用于知识密集型任务。RAG 与 Fine-tuningFTRAG与Fine-tuning (FT) 的比较RAG像是为模型提供一本带有信息检索的定制教科书非常适合特定领域的查询。FT像是通过时间积累将知识内化的学生更适合模仿特定结构、风格或格式。RAG和FT不是互相排斥的而是互补的。结合使用可以提升模型的整体性能。RAG 应用场景RAG 非常适合以下场景长尾数据频繁更新的知识需要验证和可追溯性的答案专业领域知识数据隐私保护RAG 范式的演变RAG可以分为三种范式Naive RAG传统的RAG流程包括Indexing、Retrieval和Generation。Advanced RAG在传统RAG流程基础上增加了预检索和检索后处理包括query改写、routing路由、query扩展等。Modular RAG更加灵活的结构引入了具体的功能模块如查询搜索引擎、多个答案融合等结合微调、强化学习等技术。RAG 的三个关键问题检索粒度可以是token、短语、chunk、段落、实体或知识图谱。什么时候检索选择合适的时机进行检索。如何利用检索到的信息在推理过程中如何将检索到的信息集成到生成模型中。关于检索什么层级的内容我们可以从检索粒度的粗细以及数据结构化的高低来看业界研究结果。Chunk级别非结构化数据搜索会召回大量信息但是准确度低会包含冗余信息知识图谱丰富的语义和结构化数据检索效率低效果严重依赖KG的质量KNN-LMM 擅长处理长尾和跨域问题计算效率高但需要大量存储如何使用检索到的内容 在推理过程中将检索到的信息集成到生成模型的不同层中按照检索的频率从低到高有一次检索只检索一次效率高但可能导致检索结果相关度低自适应检索平衡效率和检索效果每N个token检索1次会导致检索次数过多并召回大量冗余信息RAG 技术发展树关键技术数据索引优化Small-2-Big在sentence级别进行embedding。Sliding Window滑动窗口确保覆盖整个文本避免语义歧义。Summary先通过摘要检索再从文档中提取文本块。Meta信息添加诸如页面、时间、类型、标题等meta信息以增强信息量。核心就是数据很多通过meta过滤可以减少范围提高精度。结构化检索文档库可以通过以下方式进行检索Summary → Document通过摘要检索替代文档检索增加准确性。Document → Embedded Objects检索嵌入的对象如PDF中的表格、图表等。知识图谱KG通过GraphRAG提取实体构建子图生成回答。Query 优化Query Rewriting将查询改写成多个子查询以获得更好的检索效果。Query Clarification通过澄清技术进一步优化查询。Embedding 嵌入模型优化选择合适的商业embedding供应商或使用像BAAI的BGE模型进行微调。检索流程优化Iterative检索迭代式检索。Adaptive检索自适应检索平衡效率和效果。Hybrid (RAGFine-tuning) 融合RAG和Fine-tuning可以结合使用以更好地生成和检索答案。RAG 评估方法评测方法层面可以检索和生成独立评测也可以端到端进行评测RAG 的评估办法很丰富主要包括三个质量分数上下文相关度、答案忠实度、答案相关度评估涉及四项核心能力鲁棒性、拒识能力、信息整合能力和反事实解释评估框架方面有 RGB、RECALL 等基准指标以及 RAGAS、ARES、TruLens 等自动化评估工具可以较全面地衡量 RAG 模型的性能。评估指标检索质量**Hit Rate (HR)**命中率衡量检索中相关文档的比例。**Mean Reciprocal Rank (MRR)**平均倒数排名。NDCG归一化折扣累积增益。Precision精确率。Recall召回率。R-Rate再次出现率。生成质量Context Relevance上下文相关性。Answer Faithfulness答案忠实度。Answer Relevance答案相关性。Accuracy准确性。具体来说评估方法主要围绕其两个关键组件检索Retrieval和生成Generation。评估这些组件的性能涉及到多个质量分数和能力这些分数和能力共同反映了 RAG 模型在信息检索和生成过程中的效率。核心能力鲁棒性处理错误召回内容的能力。拒识能力拒绝不相关信息的能力。信息整合能力如何整合检索到的信息。反事实解释生成结果的可解释性。评估工具RAGASARESTruLensRAG 技术栈与工业界实践当前有流行的开发框架如LangChain、LlamaIndex、AutoGen方便开发RAG应用。在工业界许多应用已经开始使用RAG技术。工业界也有很多RAG应用。在这里插入图片描述RAG 的挑战与展望RAG 技术框架未来研究热点技术框架提升检索效率多模态扩展将RAG从文本扩展到多模态。生态建设扩展RAG下游任务改善生态建设。挑战长上下文如何处理长上下文信息。与FT的协同如何将RAG和FT结合使用。RAG的鲁棒性如何处理错误召回的内容。如何应用LLM如何最大限度地利用LLM。隐私保护如何保障隐私数据。多模态扩展#将RAG从文本扩展到多模态RAG 开发生态建设扩展RAG下游任务改善生态建设学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】