企业官网建设流程全解析

做网站标题头像,五八同城网站开发了多久,连云港做网站哪里好,aspcms 手机网站一、RAG 应用的经典架构与流程在了解了 RAG 的一些基本概念与简单的应用场景后#xff0c;我们从技术层来看一个最基础、最常见的 RAG 应用的逻辑架构与流程。注意#xff1a;在这张图中仅展示了一个最小粒度的 RAG 应用的基础原理#xff0c;而在当今的实际 RAG 应用中我们从技术层来看一个最基础、最常见的 RAG 应用的逻辑架构与流程。注意在这张图中仅展示了一个最小粒度的 RAG 应用的基础原理而在当今的实际 RAG 应用中对于不同的应用场景、客观条件、工程要求会有更多的模块、架构与流程的优化设计。在通常情况下可以把开发一个简单的 RAG 应用从整体上分为数据索引 Indexing 与数据查询 Query 两个大的阶段在每个阶段都包含不同的处里阶段。这些主要的阶段用如下图表示1.1、数据索引阶段既然RAG的核心之一是通过检索来增强生成那么首先需要准备可以检索的内容。在传统的计算机检索技术中最常用的是基于关键词的检索比如传统的搜索引擎或者关系数据库通过关键词的匹配程度来对知识库中的信息进行精确或模糊的检索计算相关性按照相关性的排序输出但是在大模型的RAG应用中最常见的检索方式是借助基于向量的语义检索来获得相关的数据块并根据其相似度排序最后输出最相关的前K个数据块简称 top_K )。因此向量存储索引就成了RAG应用中最常见的索引形式。向量是一种数学表示方法它将文本、图像、音频等复杂信息转换为高维空间中的点每个维度都代表一种特征或属性。这种转换使得计算机可以理解和处理这些信息因为它们都是连续的多个数值。向量保留了词汇之间的语义关系。例如相似的词在向量空间中距离较近这样就可以进行语义相似度计算或进行聚类分析。自然语言处理中用于把各种形式的信息转换成向量表示的模型叫嵌入模型。基于向量的语义检索就是通过计算查询词与已有信息向量的相似度如余弦相似度找出与查询词在语义上最接近的信息。数据索引阶段通常包含以下几个关键阶段。(1加载 Loading ): RAG应用需要的知识可能以不同的形式与模态存在可以是结构化的、半结构化的、非结构化的、存在于互联网上或者企业内部的、普通文档或者问答对。因此对这些知识需要能够连接与读取内容。(2分割 Splitting )为了更好地进行检索需要把较大的知识内容一个 Word / PDF 文档、一个 Excel 文档、一个网页或者数据库中的表等进行分割然后对这些分割的知识块通常称为 Chunk 进行索引。当然这就会涉及一系列的分割规则比如知识块分割成多大最合适在文档中用什么标记个段落的结尾(3嵌入 Embedding )如果你需要开发 RAG 应用中最常见的向量存储索引那么需要对分割后的知识块做嵌人。简单地说就是把分割后的知识块转换为一个高维比如1024维等的向量。嵌入的过程需要借助商业或者开源的嵌入模型 Embedding Model 来完成比如 OpenAI 的text-embedding-3-small 模型。(4索引 Indexing )对于向量存储索引来说需要将嵌入阶段生成的向量存储到内存或者磁盘中做持久化存储。在实际应用中通常建议使用功能全面的向量数据库简称向量库进行存储与索引。向量库会提供强大的向量检索算法与管理接口这样可以很方便地对输入问题进行语义检索。注意在高级的 RAG 应用中索引形式往往并不只有向量存储索引这一种。因此在这个阶段很多应用会根据自身的需要来构造其他形式的索引比如知识图谱索引、关键词表索引等。1.2、数据查询阶段在数据索引准备完成后 RAG 应用在数据查询阶段的两大核心阶段是检索与生成也称为合成。(1检索 Retrieval )检索的作用是借助数据索引比如向量存储索引,从存储库比如向量库中检索出相关知识块并按照相关性进行排序经过排序后的知识块将作为参考上下文用于后面的生成。(2生成 Generation )生成的核心是大模型可以是本地部署的大模型也可以是基于 API 访问的远程大模型。生成器根据检索阶段输出的相关知识块与用户原始的查询问题借助精心设计的 Prompt 生成内容并输出结果。以上是一个经典 RAG 应用所包含的主要阶段。随着 RAG 范式与架构的不断演进与优化有一些新的处理阶段被纳入流程其中典型的两个阶段为检索前处理与检索后处理。(1检索前处理 Pre-Retrieval )顾名思义这是检索之前的步骤。在一些优化的 RAG 应用流程中检索前处理通常用于完成诸如查询转换、查询扩充、检索路由等处理工作其目的是为后面的检索与检索后处理做必要准备以提高检索阶段召回知识的精确度与最终生成的质量。(2检索后处理 Post-Retrieval )与检索前处理相对应这是在完成检索后对检索出的相关知识块做必要补充处理的阶段。比如对检索的结果借助更专业的排序模型与算法进行重排序或者过滤掉一些不符合条件的知识块等使得最需要、最合规的知识块处于上下文的最前端这有助于提高大模型的输出质量。二、RAG 应用面临的挑战尽管 RAG 用一种非常简洁且易于理解的方法在很大程度上提高了大模型在专业领域任务上的适应性极大地增强了大模型在大量应用特别是企业级应用上的输出准确性但是日益丰富的应用场景给 RAG 应用带来了更多的挑战。当然这些挑战也是促进 RAG 应用不断出现新的架构与优化方法的动力。目前传统的 RAG 应用面临的挑战如下。2.1、检索召回的精确度RAG 思想是借助临时的语义检索来给大模型补充知识营养以便让大模型能够更好地生成高质量结果。检索出的外部知识块足够精确与全面就是后面生成阶段的重要保障。自然语言具有天然的复杂性检索技术具有模糊性检索出的知识块如果带有大量的无用、噪声数据甚至矛盾的信息就会影响大模型的生成质量。2.2、大模型自身对抗干扰的能力对于检索出的上下文中携带的相关的外部知识块的干扰信息、多余信息矛盾信息等大模型需要能够尽量推理识别与区分并能够很好地按照Prompt进行输出因此大模型本身的能力是影响最终生成质量的重要因素。2.3、上下文窗口的限制大模型存在输人和输出上下文窗口的限制最大 token 数量。简单地说你与大模型一次会话的数据量是存在大小限制的。如果你需要在一个大规模约外部知识库中检索出更多的相关知识块并将其交给大模型就可能会打破这种窗口限制从而导致失败。如何在窗口限制内尽可能多地携带更多的知识块是RAG应用开发时需要注意的常见问题之一。2.4、RAG与微调的选择模型微调 Fine-tuning 是一种让大模型更好地适应领域与行业环境的常见方法。与 RAG 相比微调把垂直领域的知识变成大模型的训练语料把生成优化的时间提前到大模型使用前简化了应用架构。那么对于 RAG 与微词应该如何选择、配合、协调以便最大限度地提高大模型的输出能力呢这也是很多人经常纠结的问题之一。2.5、响应性能问题与大模型直接输出相比 RAG 应用无疑增加了更多的处理步骤且随着人们对 RAG 范式的研究深入更复杂的 RAG 范式会带来更多的处理阶段比如需要多次借助大模型完成选代优化。这样优化的 RAG 范式虽然会带来更优质的输出结果但同时与端到端的响应性能下降是矛盾的。那么在一些对延迟时间较敏感的企业级应用场景中如何兼顾最终输出的质量与较短的响应延迟时间就成了开发者的一大挑战。三、RAG应用架构的演进3.1、Naive RAG 朴素RAG或经典RAG阶段这代表了最早的经典 RAG 思想。这个阶段的 RAG 遵循传统的基础顺序流程包含3个主要的模块与阶段索引、检索与生成。 Naive RAG 的特点是只保留最简单的过程 Node 节点且顺序式执行。3.2、 Advanced RAG 高级RAG阶段Advanced RAG 在 Naive RAG 的基础上对索引、检索与生成这3个主要阶段进行了增强特别是在检索阶段增加了检索前处理与检索后处理。3.3、Modular RAG 模块化RAG阶段Native RAG 与 Advanced RAG 都是链式的、顺序式的 RAG 范式而 Modular RAG 超越了这两种传统的 RAG 范式展示了一种更灵活、更自由、具备高度扩展性的 RAG 范式。 Modular RAG 的基本思想如下将 RAG 应用中的各个阶段细分成了多个模块类代表 RAG 应用中的一个核心流程比如预检索、模块代表一个核心流程中的功能模块比如预检索中的查询转换与算法代表模块的一种实现方法比如查询转换可以有普通重写、后退式重写、 HyDE 重写等。这些模块与算法之间不再有固定的选择与顺序流程而是由使用者根据应用场景灵活组合构造更适合自己的 RAG 工作流。Modular RAG 的好处是具备了极强的扩展性与灵活性。一方面随着研究的深入和更多优化理论的出现可以出现更多的模块与算法另一方面使用作流。者可以根据自身的需要灵活地组合不同的模块和算法构造更灵活的 RAG 工来实现更复杂的 RAG 工作流从而实现特定的优化目标。普通人如何抓住AI大模型的风口领取方式在文末为什么要学习大模型目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 大模型作为其中的重要组成部分 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 为各行各业带来了革命性的改变和机遇 。目前开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景其中应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过30%。随着AI大模型技术的迅速发展相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业人工智能大潮已来不加入就可能被淘汰。如果你是技术人尤其是互联网从业者现在就开始学习AI大模型技术真的是给你的人生一个重要建议最后只要你真心想学习AI大模型技术这份精心整理的学习资料我愿意无偿分享给你但是想学技术去乱搞的人别来找我在当前这个人工智能高速发展的时代AI大模型正在深刻改变各行各业。我国对高水平AI人才的需求也日益增长真正懂技术、能落地的人才依旧紧缺。我也希望通过这份资料能够帮助更多有志于AI领域的朋友入门并深入学习。真诚无偿分享vx扫描下方二维码即可加上后会一个个给大家发大模型全套学习资料展示自我们与MoPaaS魔泊云合作以来我们不断打磨课程体系与技术内容在细节上精益求精同时在技术层面也新增了许多前沿且实用的内容力求为大家带来更系统、更实战、更落地的大模型学习体验。希望这份系统、实用的大模型学习路径能够帮助你从零入门进阶到实战真正掌握AI时代的核心技能01教学内容从零到精通完整闭环【基础理论 →RAG开发 → Agent设计 → 模型微调与私有化部署调→热门技术】5大模块内容比传统教材更贴近企业实战大量真实项目案例带你亲自上手搞数据清洗、模型调优这些硬核操作把课本知识变成真本事‌02适学人群应届毕业生‌无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。零基础转型‌非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界‌。业务赋能突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型‌。vx扫描下方二维码即可本教程比较珍贵仅限大家自行学习不要传播更严禁商用03入门到进阶学习路线图大模型学习路线图整体分为5个大的阶段04视频和书籍PDF合集从0到掌握主流大模型技术视频教程涵盖模型训练、微调、RAG、LangChain、Agent开发等实战方向新手必备的大模型学习PDF书单来了全是硬核知识帮你少走弯路不吹牛真有用05行业报告白皮书合集收集70报告与白皮书了解行业最新动态0690份面试题/经验AI大模型岗位面试经验总结谁学技术不是为了赚$呢找个好的岗位很重要07 deepseek部署包技巧大全由于篇幅有限只展示部分资料并且还在持续更新中…真诚无偿分享vx扫描下方二维码即可加上后会一个个给大家发