企业官网建设流程全解析

视频直播网站怎么做,汽车网站源码,门户网站 建设 投入,下载小程序到微信1 什么是Embedding 在大模型中#xff0c;embedding指的是将某种类型的输入数据#xff08;如文本、图像、声音等#xff09;转换成一个稠密的数值向量的过程。这些向量通常包含较多维度#xff0c;每一个维度代表输入数据的某种抽象特征或属性。Embedding 的…1 什么是Embedding在大模型中embedding指的是将某种类型的输入数据如文本、图像、声音等转换成一个稠密的数值向量的过程。这些向量通常包含较多维度每一个维度代表输入数据的某种抽象特征或属性。Embedding 的目的是将实际的输入转化为一种格式使得计算机能够更有效地处理和学习在这里插入图片描述文本Embedding在自然语言处理NLP中文本embedding是一个常见的概念。是将文字或短语转换成数值向量的过程。这些向量捕捉了单词的语义特征例如意义、上下文关系等。比如使用词嵌入技术如Word2Vec、GloVe或BERT模型可以将具有相似意义的词映射到向量空间中的相近位置。- 图像Embedding对于图像embedding过程通常涉及使用卷积神经网络CNN等模型来提取图像中的特征并将这些特征转换为一个高维向量。这样的向量可以代表图像的内容、风格、色彩等信息从而用于图像识别、分类或检索任务。- 声音Embedding在声音处理领域embedding通常指的是将音频信号转换为一个表示其特征的向量这包括音调、节奏、音色等。通过这样的转换可以进行声音识别、音乐生成等任务。2 为什么使用EmbeddingEmbedding的主要优势是能够将实体转换为计算机易于处理的数值形式同时减少信息的维度和复杂度。有助于提高处理效率而且也使得不同实体之间的比较如计算相似度变得可行。embedding通常通过大量数据的训练而得到能够捕捉到复杂的模式和深层次的关系这是传统方法难以实现的有需要的小伙伴可以V扫描下方二维码免费领取3 数据向量化的处理流程1. 收集这一步骤是数据收集阶段涉及到从不同的来源如数据库、网站、文档等收集需要分析的文本数据。这些数据可以是文章、评论、报告等形式。重点是确定数据源并确保数据的相关性和质量。2. 切块对于大型文档直接处理可能会因为模型的输入限制如Token数量限制而变得不可行。在这种情况下需要将大文档分割成更小的部分。这些部分应该尽可能保持语义的完整性例如按段落或章节切分。切块的目的是确保每块文本的大小适合模型处理同时尽量减少上下文信息的丢失。3. 嵌入在切块后每个文本块将被转换为数值向量即通过OpenAI的embedding API进行嵌入。这一步涉及调用API将文本数据发送到OpenAI的服务器服务器会返回文本的向量表示。这些向量捕捉了文本的深层语义特征使得文本之间的比较、搜索和分析变得可能。4. 结果存储嵌入向量生成后需要将它们存储起来以便于后续的检索和分析。对于大型数据集推荐使用专门的向量数据库如Faiss、Annoy、Elasticsearch等这些数据库优化了向量的存储和相似性搜索操作。存储不仅要保证数据的可检索性也要考虑查询效率和存储成本4 Embedding实战演示是通过OPENAI的embedding进行根据最新的api测试在这里插入图片描述测试代码如下代码语言javascript复制responseopenai.embeddings.create(inputabc s da d asd a da d ,modeltext-embedding-ada-002# 选择一个合适的模型如ada)print(测试数据,response.data[0].embedding)文本转化向量在这里插入图片描述- 如何计算两个向量的相似度余弦相似度是一种用来衡量两个向量方向上的相似性的方法。在文本分析中它常用于比较两段文本的语义相似性。当我们使用向量化模型如OpenAI的text-embedding-ada-002模型将文本转化为向量后每个向量的维度表示某种语义特征向量中的值反映了相应特征的强度。余弦相似度的计算公式为在这里插入图片描述其中vec1⋅vec2表示两个向量的点积|vec1|和|vec2|分别是这两个向量的欧几里得范数即向量的长度。 这个比例的本质是测量两个向量之间夹角的余弦值范围从-1到1 当余弦值为1时表示两个向量方向完全相同。 当余弦值为0时表示两个向量正交即在高维空间中不相关。 当余弦值为-1时表示两个向量方向完全相反。 在文本相似度测量中如果两个文本的向量化表示在方向上更接近它们的余弦相似度就更高这意味着它们在语义上更相似。因此通过计算向量之间的余弦相似度我们可以有效地评估两段文本的相似性。这种方法适用于处理高维空间中的数据如自然语言处理中的文本数据。整体实战代码 文本检索匹配代码语言javascript复制importtime from typingimportListimportosimportpandasaspd # 导入 tiktoken 库。Tiktoken 是 OpenAI 开发的一个库用于从模型生成的文本中计算 token 数量。importtiktoken from openaiimportOpenAIimportnumpyasnp os.environ[OPENAI_API_KEY]sk-api-0REliWJkobjeqQlObLN0T3BlbkFJ0j4bHtDhEEQGEAboNYahopenaiOpenAI()defembed_text(text): 使用OpenAI API将文本向量化 responseopenai.embeddings.create(inputtext,modeltext-embedding-ada-002# 选择一个合适的模型如ada)returnresponse.data[0].embedding defcosine_similarity(vec1,vec2): 计算两个向量之间的余弦相似度 returnnp.dot(vec1,vec2)/(np.linalg.norm(vec1)*np.linalg.norm(vec2))deffind_top_similar_texts(input_text,text_list,top_n3): 找出与输入文本最相似的top_n个文本 input_vecembed_text(input_text)similarities[]fortextintext_list:text_vecembed_text(text)similaritycosine_similarity(input_vec,text_vec)similarities.append((text,similarity))# 按相似度排序并返回最高的top_n个结果 similarities.sort(keylambda x:x[1],reverseTrue)returnsimilarities[:top_n]# 示例文本库 text_corpus[The quick brown fox jumps over the lazy dog.,A fast brown fox leaps over a sleepy dog.,Exploring the mountains of the moon.,Data science involves the analysis of large amounts of data.,The capital of France is Paris.,Programming in Python is fun and versatile.]# 输入文本 input_textPython is# 执行查找 top_similar_textsfind_top_similar_texts(input_text,text_corpus)# 打印结果fortext,similarityintop_similar_texts:print(fText: {text}\nSimilarity: {similarity:.2f}\n)# # # 示例文本 # text1The quick brown fox jumps over the lazy dog.# text2A fast brown fox leaps over a sleepy dog.# text3Exploring the mountains of the moon.# # # 向量化文本 # vec1embed_text(text1)# vec2embed_text(text2)# vec3embed_text(text3)# # # 计算相似度 # similarity12cosine_similarity(vec1,vec2)# similarity13cosine_similarity(vec1,vec3)# #print(fSimilarity between text 1 and text 2: {similarity12:.2f})#print(fSimilarity between text 1 and text 3: {similarity13:.2f})responseopenai.embeddings.create(inputabc s da d asd a da d ,modeltext-embedding-ada-002# 选择一个合适的模型如ada)print(测试数据,response.data[0].embedding)结果在这里插入图片描述最终检索到匹配度前三的文本向量 后续会使用到向量数据库 完成知识库的搭建那么我们该如何学习大模型作为一名热心肠的互联网老兵我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。一、大模型全套的学习路线学习大型人工智能模型如GPT-3、BERT或任何其他先进的神经网络模型需要系统的方法和持续的努力。既然要系统的学习大模型那么学习路线是必不可少的下面的这份路线能帮助你快速梳理知识形成自己的体系。L1级别:AI大模型时代的华丽登场L2级别AI大模型API应用开发工程L3级别大模型应用架构进阶实践L4级别大模型微调与私有化部署一般掌握到第四个级别市场上大多数岗位都是可以胜任但要还不是天花板天花板级别要求更加严格对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。以上的AI大模型学习路线不知道为什么发出来就有点糊高清版可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】二、640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。三、大模型经典PDF籍随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。四、AI大模型商业化落地方案作为普通人入局大模型时代需要持续学习和实践不断提高自己的技能和认知水平同时也需要有责任感和伦理意识为人工智能的健康发展贡献力量。