2026/4/18 18:03:50
网站建设
项目流程
烟台快速建站公司,环保网站建设,seo优化师就业前景,单位不能建设网站作为一名深耕后端领域十余年的研发人员#xff0c;我踏入AI赛道已有两年光景。从最初的Chat QA场景搭建#xff0c;到AI Agent开发、Multi-Agent协同#xff0c;再到AI-Native架构的深度探索#xff0c;每一步都踩着大模型技术迭代的浪潮前行。
今年第二季度#xff0c;我…作为一名深耕后端领域十余年的研发人员我踏入AI赛道已有两年光景。从最初的Chat QA场景搭建到AI Agent开发、Multi-Agent协同再到AI-Native架构的深度探索每一步都踩着大模型技术迭代的浪潮前行。今年第二季度我们团队正式将AI技术与保险核心业务深度绑定开启全面落地征程。目前自研的AI Agent已顺利跨越L1级Chatbot基础交互阶段在L2级Reasoner逻辑推理层面实现能力爆发能够处理保险条款解读、理赔核查等复杂业务场景。谈及AI浪潮下的研发心态焦虑是绕不开的话题。大模型技术的更新速度实在迅猛尤其是Cursor、JoyCode等智能开发工具普及后不仅后端研发所有业务研发人员都面临转型压力——曾经内卷的微服务、微前端架构已不是风口核心AI成为行业新的竞争焦点。这种焦虑并非后端专属模型开发领域同样如此单一Agent架构早已退出主流舞台。而我对抗焦虑的核心解法是将后端深耕多年的微服务架构思想迁移至AI领域把Agent、Planning、RAG、Evaluation、MCP、LLM、Prompt、Memory、MultiModal等核心模块拆解为独立服务通过标准化接口实现协同联动构建可扩展、高可用的AI技术体系。其中RAG检索增强生成作为解决保险业务知识密集型需求的核心技术我们的自研产品“保险Eva”已完成三轮架构迭代从基础RAG逐步升级至DeepSearch增强版最终落地融合Graph RAG、DeepSearch与持续反思验证机制的混合式检索架构这也是本文要重点拆解的内容。后端研发的 AI 突围作为一名后端研发开始AI之路已经2年从Chat QA到AI Agent的开发在到Multi-AgentAI-Native。今年Q2开始结合保险业务场景开始全面AI落地。我们的AI Agent的能力已跨过L1Chatbot在L2Reasoner全面爆发。我内心是焦虑的大模型发展的得太快尤其是在Cursor、JoyCode等产品出来后。我想不止是后端研发所有的业务研发都会焦虑因为现在风口不在卷微服务、微前端的架构全都开始卷AI了。 除了AI Infra外模型开发也一样焦虑吧单一的Agent也已是过去式。我的解药是把微服务架构应用到AI上什么Agent、Planning、RAG、Evaluation、MCP、LLM、Prompt、Memory、MultiModal都安排起来。保险Eva的RAG架构经历了三个阶段从基础RAG到Deepsearch在到混合式检索架构Graph RAG DeepSearch****持续的反思与验证)RAG架构历史首先我们回顾下什么是RAGRAGRetrieval-Augmented Generation - 检索增强生成 是一种构建基于大模型LLM应用的创新技术通过利用外部知识源为LLM提供相关上下文从而减少幻觉现象提高生成内容的准确性和可靠性。最早要追溯到2020年是由Facebook AI ResearchMeta AI提出的论文《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》基础 RAG 架构朴素的知识管理员基础 RAG 是所有RAG范式的基础包括DeepResearch、Agentic RAG、Graph RAG都是在基础RAG上进化出来的。所以我们先熟悉下基础RAG的架构它包含两个核心组件生成组件ETL Pipeline和检索组件Retrieval引入下图为例①②③④步骤都是生成组件它的核心就是文件**提取、转换、加载**我们来一步步分析。•文件提取Extract核心文件读取器常用的有doc、pdf、excel、图片等文件需要关注对中文支持和Execl单元格的处理。•文件转换Transform文件转换的核心有两个chunk和embedding。chunk阶段尤为关键是所有RAG范式的核心就像切蛋糕一样切之前就已分配好****常用的分块策略有五种固定大小分块语义分块、递归分块基于文档结构分块基于大模型分块。embedding向量化向量是为了满足相似性查找的需求比如表达“今天天气如何”这类的询问方式有很多这时我们需要将文本向量化存入到向量库中数据加载Load****数据存储我们用的Elasticsearch8ES进行混合存储当然也可以其他向量库和关系型数据库来存储。⑦③④⑤⑥步骤是检索组件它分为预处理、检索、后处理预处理核心是Query要不要做Query的扩充扩充多少带不带原始Query需不需要对Query转译预处理偏向于业务处理根据需求来相当于基础RAG的一扩展特性Agentic RAG范式沿用了这一特性。检索的核心是算法基础的检索算法“稀疏算法和稠密算法”稀疏算法可以利用LLM提取关键词embedding维度设为整个表中所有的关键词的维度维度上的值是关键词在当前文本块中的TF-IDF值。当用户查询时系统会将其转化为一个类似的TF-IDF向量通过计算用户查询向量和所有文本块向量之间的cosine找到得分最高或最相似的向量块。稠密算法常用的是BM25用户输入查询时系统会使用LLM将查询转化为一个embedding向量然后在向量数据库中进行cosine计算找到最相似的向量块。第③步中用相同的嵌入文本块模型向量化用户的查询然后将向量化的查询与数据库中现有的向量进行比较以找到最相似的信息。常规的向量检索ANN算法我们还支kNN算法向量库的表结构的基础字段索引向量块原始文本块原数据字段。TopK通过预设的k阈值我们只获取最相似的k条原始文本块返回这是rank的流程。后处理的核心是排序在精排Rerank也就是二段检索之后会进行文本拼接把结果拼接到上下文中生成Prompt最后由LLM生成最终答案Generate。Rerank不是一个必选项Rerank模型会结合查询对检索到的初始文本块列表进行评估为每个文本块分配一个相关性分数。这一过程会重新排序。最后一步是生成结果将原始的查询和检索到的文本块拼接到Prompt中由大模型生成最终的结果。倒退到2022年基础的RAG方案是很OK的。随之模型发展到现在的Agentic Agent需要解决的往往是对复杂问题的深度检索基础的RAG这时显得非常的无力但也促使RAG演进了新的范式Graph RAGAgentic RAGDeepResearch我们的RAG架构我们的RAG产品架构上包含了“保险知识库记忆库文件库智能体搜索测评”是技术驱动由算法工程数据一起完成的。算法AgenticRAG我们学习了通义DeepResearch的开源WebWeaver架构微软的开源GraphRAG结合现在火热的ZEP、REFRAG的论文架构上实现了混合式检索“Agentic RAGDeepResearch”记忆实现了“情景记忆程序记忆语义记忆时间记忆”RAG智能体矩阵实现了“RAG查询增强智能体规划师智能体工具选择器智能体反思和验证智能体基于图结构的智能体深度研究型智能体”。记忆设计语义记忆图谱程序记忆图谱情景记忆图谱工程RAG平台承上启下串联全流程承接业务Agent的检索、查询的需求提供标准接口让Agent专注于模型训练迭代工程架构分了四层智能体层业务逻辑层检索层数据层技术栈Spring AI Elasticsearch8Neo4jRedis京东云技术能力支持上支持Python Code和RAG Agent Workflow。数据架构保险知识库记忆库任务中心 组成三角矩阵保险知识库架构任务中心Chunck学习Cognee参数调优的思想提供了五种chunk策略。记忆库“语义记忆图谱程序记忆图谱情景记忆图谱”在此三类记忆上增加双时间字段保证记忆的时效性。为什么这样设计我们团队核心是一套由多智能体驱动业务的平台Eva。•我们是需要RAG是因为保险业务保司的很多数据是网上没有的并且内容很多上百页甚至大几百页的文档比比皆是。•我们是ToB业务是围绕业务发展的Agent直面经营结果(规模/利润)。•我们的RAG平台隶属于Eva基础能力之一。未来的RAG不再过多揣测未来乘风破浪即可。•Agentic RAG里面包含了DeepsearchGraph RAG基础RAG如果感兴趣我会像基础RAG一样一层层剥开和大家交流。•Python Code和RAG Agent Workflow是工程端的自研核心如果感兴趣我会像基础RAG一样一层层剥开和大家交流。•记忆库除了“语义记忆图谱程序记忆图谱情景记忆图谱”我们还在研发时间记忆图谱如果感兴趣我会像基础RAG一样一层层剥开和大家交流。•Chunck绝对是核心以至于让Cognee花了大半年时间在参数调优上我们总结一份配置手册如果感兴趣我会像基础RAG一样一层层剥开和大家交流。最后近期科技圈传来重磅消息行业巨头英特尔宣布大规模裁员2万人传统技术岗位持续萎缩的同时另一番景象却在AI领域上演——AI相关技术岗正开启“疯狂扩招”模式据行业招聘数据显示具备3-5年大模型相关经验的开发者在大厂就能拿到50K×20薪的高薪待遇薪资差距肉眼可见业内资深HR预判不出1年“具备AI项目实战经验”将正式成为技术岗投递的硬性门槛。在行业迭代加速的当下“温水煮青蛙”式的等待只会让自己逐渐被淘汰与其被动应对不如主动出击抢先掌握AI大模型核心原理落地应用技术项目实操经验借行业风口实现职业翻盘深知技术人入门大模型时容易走弯路我特意整理了一套全网最全最细的大模型零基础学习礼包涵盖入门思维导图、经典书籍手册、从入门到进阶的实战视频、可直接运行的项目源码等核心内容。这份资料无需付费免费分享给所有想入局AI大模型的朋友扫码免费领取全部内容部分资料展示1、 AI大模型学习路线图2、 全套AI大模型应用开发视频教程从入门到进阶这里都有跟着老师学习事半功倍。3、 大模型学习书籍文档4、AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5、大模型大厂面试真题整理了百度、阿里、字节等企业近三年的AI大模型岗位面试题涵盖基础理论、技术实操、项目经验等维度每道题都配有详细解析和答题思路帮你针对性提升面试竞争力。6、大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。学会后的收获• 基于大模型全栈工程实现前端、后端、产品经理、设计、数据分析等通过这门课可获得不同能力• 能够利用大模型解决相关实际项目需求 大数据时代越来越多的企业和机构需要处理海量数据利用大模型技术可以更好地处理这些数据提高数据分析和决策的准确性。因此掌握大模型应用开发技能可以让程序员更好地应对实际项目需求• 基于大模型和企业数据AI应用开发实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能 学会Fine-tuning垂直训练大模型数据准备、数据蒸馏、大模型部署一站式掌握• 能够完成时下热门大模型垂直领域模型训练能力提高程序员的编码能力 大模型应用开发需要掌握机器学习算法、深度学习框架等技术这些技术的掌握可以提高程序员的编码能力和分析能力让程序员更加熟练地编写高质量的代码。扫码免费领取全部内容这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】