企业官网建设流程全解析

怎么查找一个网站开发时间,外贸网站建设平台哪个好,谷歌网站流量统计,南通网站建设公司ms-swift模型导出指南#xff1a;将微调结果发布到ModelScope 1. 引言 在完成大模型的微调后#xff0c;如何将训练成果高效地分享和部署是每个开发者关心的问题。ms-swift作为魔搭社区推出的一站式轻量级微调框架#xff0c;不仅支持600纯文本大模型与300多模态大模型的训…ms-swift模型导出指南将微调结果发布到ModelScope1. 引言在完成大模型的微调后如何将训练成果高效地分享和部署是每个开发者关心的问题。ms-swift作为魔搭社区推出的一站式轻量级微调框架不仅支持600纯文本大模型与300多模态大模型的训练、推理、评测与量化还提供了便捷的模型导出功能能够一键将LoRA等轻量微调权重发布至ModelScope平台。本文将详细介绍如何使用swift export命令将你在本地训练好的微调结果如LoRA适配器打包并推送到ModelScope实现模型成果的共享与复用。无论你是通过命令行还是Web-UI完成训练都可以轻松完成这一步骤。你将学会如何准备模型导出所需的参数如何获取并配置ModelScope的访问令牌如何执行模型推送命令推送后的模型如何被他人加载和使用整个过程无需手动整理文件结构或编写复杂脚本只需一条命令即可完成。2. 准备工作在执行模型导出前需要确保以下几项准备工作已完成2.1 确认已完成微调任务确保你已经成功运行了微调任务并生成了包含适配器权重的检查点目录。例如在使用如下命令进行LoRA微调后swift sft \ --model Qwen/Qwen2.5-7B-Instruct \ --train_type lora \ --dataset AI-ModelScope/alpaca-gpt4-data-zh#500 \ --output_dir output系统会在指定的output目录下生成类似checkpoint-xxx的文件夹其中包含了训练得到的LoRA权重adapter_model.bin、配置文件adapter_config.json以及训练参数记录args.json。你可以通过查看输出目录确认是否存在这些关键文件ls output/checkpoint-50/ # adapter_config.json adapter_model.bin args.json training_args.json2.2 安装最新版ms-swift为确保导出功能正常工作请升级到最新版本的ms-swiftpip install ms-swift[all] -U -i https://pypi.tuna.tsinghua.edu.cn/simple如果你是从源码安装的请拉取最新代码并重新安装git clone https://github.com/modelscope/ms-swift.git cd ms-swift pip install -e .[llm]2.3 获取ModelScope SDK Token要将模型推送到ModelScope你需要一个有效的访问令牌Token。请按以下步骤获取访问 ModelScope官网登录你的账号点击右上角头像 → “个人设置” → “API Tokens”生成一个新的Token建议命名为swift-export以便管理复制该Token并妥善保存这个Token将在后续的导出命令中用于身份验证。2.4 创建目标模型ID可选虽然可以在导出时直接指定模型ID但建议提前在ModelScope上创建一个空模型空间。操作步骤如下进入 ModelScope模型发布页面点击“发布模型”填写模型名称如my-qwen2-lora、描述、标签等信息选择“未上传模型文件”完成创建这样你就拥有了一个可以推送的目标地址格式为用户名/模型名例如your-name/my-qwen2-lora3. 执行模型导出与推送ms-swift提供了一个统一的swift export命令来处理模型导出和上传任务。以下是完整的导出流程。3.1 基本导出命令结构swift export \ --adapters checkpoint_path \ --push_to_hub true \ --hub_model_id your-model-id \ --hub_token your-sdk-token各参数说明如下参数说明--adapters指定微调生成的检查点路径如output/checkpoint-50--push_to_hub是否推送到ModelScope默认为false--hub_model_id目标模型ID格式为用户名/模型名--hub_tokenModelScope的SDK Token3.2 实际导出示例假设你的微调结果位于output/vx-123/checkpoint-100你想将其推送到名为my-lora-finetune的模型空间中完整命令如下swift export \ --adapters output/vx-123/checkpoint-100 \ --push_to_hub true \ --hub_model_id yourname/my-lora-finetune \ --hub_token xxxxxxxxxxxxxxxxxxxxxx执行后系统会自动完成以下动作读取args.json中的原始模型信息如Qwen/Qwen2.5-7B-Instruct构建包含LoRA权重和配置的模型包使用提供的Token登录ModelScope将模型文件上传至指定ID对应的空间自动生成README文档包含训练参数摘要3.3 导出过程日志解读成功执行后你会看到类似以下的日志输出[INFO:swift] Pushing model to hub: yourname/my-lora-finetune [INFO:swift] Uploading file: adapter_config.json [INFO:swift] Uploading file: adapter_model.bin [INFO:swift] Uploading file: README.md [INFO:swift] Model successfully pushed to https://modelscope.cn/models/yourname/my-lora-finetune这意味着你的模型已成功上线3.4 高级导出选项除了基本参数外swift export还支持多个可选参数以满足不同需求自定义模型元数据--model_author swift-user \ --model_name custom-lora-model用于自定义模型作者和名称便于在推理时识别。指定是否合并LoRA权重--merge_lora false默认不合并LoRA权重保持增量更新形式。若设为true则会尝试合并为主模型。使用Hugging Face Hub--use_hf true如果你想同时推送到Hugging Face而非ModelScope启用此选项即可。添加版本标签--revision v1.0为本次推送添加Git风格的版本号便于后续迭代管理。4. 验证与使用导出的模型一旦模型成功推送任何人都可以通过标准方式加载和使用它。4.1 在ModelScope页面查看模型访问https://modelscope.cn/models/你的用户名/模型名即可查看你发布的模型页面。页面将自动展示以下内容模型卡片README训练参数摘要文件列表含adapter_model.bin下载量与收藏数统计在线体验Demo如果配置了Web UI4.2 使用命令行加载微调模型其他用户可通过以下命令直接加载你发布的LoRA模型进行推理swift infer \ --model Qwen/Qwen2.5-7B-Instruct \ --adapters yourname/my-lora-finetune \ --stream true \ --max_new_tokens 2048注意--model仍需指定基础模型--adapters指向你发布的LoRA模型。4.3 使用Python API调用开发者也可以在代码中加载该模型from swift import PtEngine engine PtEngine( model_id_or_pathQwen/Qwen2.5-7B-Instruct, adapters[yourname/my-lora-finetune] ) resp_list engine.infer([ {role: user, content: 介绍一下你自己} ], max_tokens512) print(resp_list[0].choices[0].message.content)4.4 合并LoRA权重可选如果你希望生成一个独立的、无需依赖基础模型的完整模型可以先合并LoRA权重再导出swift export \ --adapters output/vx-123/checkpoint-100 \ --merge_lora true \ --output_dir merged_model \ --push_to_hub true \ --hub_model_id yourname/qwen2-full-merged \ --hub_token xxxx此时导出的是一个完整的模型目录可直接通过--model加载而无需额外指定--adapters。5. 常见问题与解决方案5.1 推送失败认证错误现象HTTPError: 401 Client Error: Unauthorized for url...原因Token无效或过期。解决方法重新生成新的SDK Token确保复制时没有多余空格检查是否拼写错误5.2 推送失败模型ID不存在现象Model not found: yourname/nonexistent-model解决方法确保已在ModelScope上创建了同名模型或去掉--hub_model_id让系统自动创建需有权限5.3 导出时找不到适配器文件现象FileNotFoundError: No such file or directory: output/checkpoint-100/adapter_config.json原因检查点路径错误或训练未生成LoRA文件。解决方法检查--output_dir输出目录确认--train_type lora已正确设置查看训练日志是否报错5.4 模型上传后无法加载可能原因基础模型名称变更导致不匹配LoRA target modules与原模型不兼容建议做法在README中注明所基于的基础模型版本提供测试样例帮助使用者验证效果6. 总结通过本文介绍你应该已经掌握了如何使用ms-swift框架将微调结果一键发布到ModelScope的完整流程。我们回顾一下关键步骤完成微调使用swift sft训练并生成LoRA检查点准备环境安装最新版ms-swift并获取ModelScope Token执行导出使用swift export命令推送模型验证使用在线查看或通过API加载新模型ms-swift的设计理念是“开箱即用”从训练到部署全程自动化。你不再需要手动处理模型格式转换、文件组织或接口封装所有繁琐细节都被封装在一条简洁命令背后。更重要的是当你把模型分享出去时也促进了AI社区的知识流动和技术进步。无论是教学示范、项目复现还是工业应用一个公开可用的微调模型都具有极高的价值。现在就动手试试吧把你训练出的专属模型发布出去让更多人受益于你的工作成果获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。