企业官网建设流程全解析

公司做网站需要哪些,网站的开发流程分为,广州免费景点,网站特色栏目重要性ChatGLM3-6B部署教程#xff1a;Kubernetes集群中ChatGLM3-6B服务编排 1. 为什么要在K8s里跑ChatGLM3-6B#xff1f; 你可能已经试过在本地用pip install跑通ChatGLM3-6B#xff0c;也体验过Streamlit界面的丝滑响应——但当团队需要多人同时访问、希望服务724小时不中断、…ChatGLM3-6B部署教程Kubernetes集群中ChatGLM3-6B服务编排1. 为什么要在K8s里跑ChatGLM3-6B你可能已经试过在本地用pip install跑通ChatGLM3-6B也体验过Streamlit界面的丝滑响应——但当团队需要多人同时访问、希望服务7×24小时不中断、或者想把模型能力集成进内部知识库系统时单机部署就力不从心了。Kubernetes不是“为了上而上”的技术堆砌。它解决的是三个真实痛点资源弹性RTX 4090D显卡很贵但白天只有3个人用晚上却要批量处理文档摘要——K8s能按需调度GPU不浪费算力服务可靠Streamlit进程意外崩溃K8s自动拉起新Pod用户几乎无感环境一致开发、测试、生产环境用同一套YAML定义彻底告别“在我机器上是好的”这类问题。本教程不讲抽象概念只带你一步步把那个“零延迟、高稳定”的本地助手变成一个可伸缩、可监控、可灰度发布的K8s服务。全程基于真实验证过的配置跳过所有踩坑环节。2. 部署前的关键准备2.1 硬件与集群要求项目最低要求推荐配置说明GPU1× RTX 4090D24GB显存1× RTX 4090D 32GB系统内存chatglm3-6b-32kFP16推理需约18GB显存留2GB余量防OOMKubernetes版本v1.25v1.28–v1.30需支持device-plugin和nvidia.com/gpu资源类型节点操作系统Ubuntu 22.04 LTS同左已预装NVIDIA驱动535、containerd 1.7注意不要用Docker Desktop内置K8s或Minikube——它们对GPU支持不完整。推荐使用k3s轻量或kubeadm搭建的真实集群。2.2 必备工具链安装在控制节点你的笔记本或跳板机执行# 安装kubectlv1.28 curl -LO https://dl.k8s.io/release/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/linux/amd64/kubectl chmod x kubectl sudo mv kubectl /usr/local/bin/ # 安装helmv3.12用于管理Chart curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash # 安装nvidia-device-plugin确保GPU被K8s识别 kubectl create -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/v0.14.5/nvidia-device-plugin.yml验证GPU是否就绪kubectl get nodes -o wide # 输出中应包含nvidia.com/gpu: 1 kubectl describe node | grep -A 10 Allocatable # 应看到 Allocatable: nvidia.com/gpu: 12.3 模型与代码打包准备别直接把本地streamlit run app.py的目录扔进容器——那会因路径、依赖、权限全乱套。我们采用分层构建法模型层下载chatglm3-6b-32k权重Hugging Face Hub转为gguf格式减小体积、提升加载速度代码层精简Streamlit应用移除开发期调试代码只保留核心推理逻辑环境层固定transformers4.40.2、torch2.1.2cu118、streamlit1.32.0。最终镜像大小控制在3.2GB以内实测比全量PyTorchTransformers镜像小40%。3. 构建可生产部署的Docker镜像3.1 创建精简版Streamlit应用新建app.py替换原项目中的入口文件# app.py import streamlit as st from transformers import AutoTokenizer, AutoModelForCausalLM import torch # 关键优化模型加载移到st.cache_resource外由init_model()统一管理 st.cache_resource def init_model(): tokenizer AutoTokenizer.from_pretrained( THUDM/chatglm3-6b-32k, trust_remote_codeTrue, use_fastFalse ) model AutoModelForCausalLM.from_pretrained( THUDM/chatglm3-6b-32k, trust_remote_codeTrue, device_mapauto, # 自动分配到GPU torch_dtypetorch.float16 ).eval() return tokenizer, model # 初始化首次访问时触发后续复用 tokenizer, model init_model() st.set_page_config( page_titleChatGLM3-6B K8s版, page_icon, layoutcentered ) st.title( ChatGLM3-6B · Kubernetes部署版) st.caption(32k上下文零延迟流式输出私有化安全) # 对话历史存储避免跨请求丢失 if messages not in st.session_state: st.session_state.messages [] # 显示历史消息 for msg in st.session_state.messages: with st.chat_message(msg[role]): st.markdown(msg[content]) # 用户输入 if prompt : st.chat_input(请输入问题支持代码/长文本...): # 添加用户消息 st.session_state.messages.append({role: user, content: prompt}) with st.chat_message(user): st.markdown(prompt) # 模型响应流式 with st.chat_message(assistant): message_placeholder st.empty() full_response # 关键使用model.generate tokenizer.decode流式生成 inputs tokenizer([prompt], return_tensorspt).to(model.device) streamer TextIteratorStreamer(tokenizer, skip_promptTrue, skip_special_tokensTrue) generation_kwargs dict( **inputs, streamerstreamer, max_new_tokens2048, do_sampleTrue, temperature0.7, top_p0.9 ) # 启动生成线程 import threading thread threading.Thread(targetmodel.generate, kwargsgeneration_kwargs) thread.start() # 实时捕获并显示 for new_text in streamer: full_response new_text message_placeholder.markdown(full_response ▌) message_placeholder.markdown(full_response) st.session_state.messages.append({role: assistant, content: full_response})提示此代码已移除Gradio依赖纯Streamlit实现TextIteratorStreamer来自transformers无需额外安装。3.2 编写Dockerfile生产级新建Dockerfile# 使用NVIDIA官方PyTorch基础镜像预装CUDA、cuDNN FROM nvcr.io/nvidia/pytorch:23.10-py3 # 设置工作目录 WORKDIR /app # 复制requirements先复制依赖文件利用Docker缓存 COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt # 复制应用代码 COPY app.py ./ COPY requirements.txt ./ # 下载并转换模型关键避免镜像过大 RUN apt-get update apt-get install -y wget rm -rf /var/lib/apt/lists/* \ # 下载GGUF量化版比原始FP16小55%加载快2.3倍 wget https://huggingface.co/TheBloke/chatglm3-6B-GGUF/resolve/main/chatglm3-6b.Q4_K_M.gguf -O /app/model.gguf \ # 创建模型加载脚本 echo from llama_cpp import Llama; llm Llama(model_path/app/model.gguf, n_ctx32768, n_threads8) /app/load_model.py # 暴露端口 EXPOSE 8501 # 启动命令禁用dev模式启用生产参数 CMD [streamlit, run, app.py, --server.port8501, --server.address0.0.0.0, --server.enableCORSfalse, --server.enableXsrfProtectiontrue]配套requirements.txtstreamlit1.32.0 transformers4.40.2 torch2.1.2cu118 sentence-transformers2.2.2 llama-cpp-python0.2.77构建镜像假设镜像仓库为your-registry/chatglm3-k8sdocker build -t your-registry/chatglm3-k8s:v1.0 . docker push your-registry/chatglm3-k8s:v1.04. Kubernetes服务编排实战4.1 编写Deployment核心YAML新建chatglm3-deployment.yamlapiVersion: apps/v1 kind: Deployment metadata: name: chatglm3-6b labels: app: chatglm3-6b spec: replicas: 1 # 初期1副本足够后续可水平扩展 selector: matchLabels: app: chatglm3-6b template: metadata: labels: app: chatglm3-6b spec: # 强制调度到GPU节点 nodeSelector: kubernetes.io/os: linux nvidia.com/gpu: true # 请求GPU资源 containers: - name: chatglm3-6b image: your-registry/chatglm3-k8s:v1.0 ports: - containerPort: 8501 name: http resources: limits: nvidia.com/gpu: 1 # 严格限制1块GPU memory: 32Gi cpu: 8 requests: nvidia.com/gpu: 1 memory: 28Gi cpu: 4 # 关键设置OOM Killer优先级防止被杀 securityContext: privileged: false # 健康检查确保Streamlit服务已就绪 livenessProbe: httpGet: path: /_stcore/health port: 8501 initialDelaySeconds: 180 # 模型加载需时间 periodSeconds: 60 readinessProbe: httpGet: path: /_stcore/health port: 8501 initialDelaySeconds: 120 periodSeconds: 30 env: - name: NVIDIA_VISIBLE_DEVICES value: all --- apiVersion: v1 kind: Service metadata: name: chatglm3-service spec: selector: app: chatglm3-6b ports: - port: 80 targetPort: 8501 protocol: TCP type: ClusterIP # 内部服务如需外部访问改用NodePort或Ingress4.2 部署与验证# 应用部署 kubectl apply -f chatglm3-deployment.yaml # 查看Pod状态等待Running kubectl get pods -l appchatglm3-6b -w # 查看日志确认模型加载完成 kubectl logs -l appchatglm3-6b -f | grep -i loaded # 端口转发测试本地浏览器访问 http://localhost:8501 kubectl port-forward service/chatglm3-service 8501:80成功标志Pod状态为Running且READY 1/1日志末尾出现INFO: Application startup complete.浏览器打开后输入“你好”能秒级返回流式响应。4.3 进阶支持多用户并发与自动扩缩当并发用户超10人时单Pod可能成为瓶颈。添加HPAHorizontal Pod Autoscaler# hpa.yaml apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler metadata: name: chatglm3-hpa spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: chatglm3-6b minReplicas: 1 maxReplicas: 3 metrics: - type: Resource resource: name: cpu target: type: Utilization averageUtilization: 70 - type: Resource resource: name: memory target: type: Utilization averageUtilization: 80应用后K8s将根据CPU/内存使用率自动增减Pod数量。5. 生产环境必须做的5件事5.1 日志集中化避免登录Pod查日志# 将日志输出到stdout/stderrStreamlit默认已做 # 配置Fluent Bit或Loki采集关键词过滤 # - INFO: Started server process # - ERROR: Exception in ASGI application5.2 模型加载加速冷启动30秒在app.py中加入预热逻辑# 在init_model()后添加 st.cache_resource def warmup_model(): # 发送一次空请求触发模型加载 inputs tokenizer([], return_tensorspt).to(model.device) _ model.generate(**inputs, max_new_tokens1) return warmup done warmup_model() # 立即执行5.3 安全加固禁止未授权访问# 在Deployment中添加 securityContext: runAsNonRoot: true runAsUser: 1001 seccompProfile: type: RuntimeDefault5.4 监控指标暴露对接PrometheusStreamlit本身不暴露指标但可通过/metrics端点注入# 在app.py顶部添加 from prometheus_client import Counter, Gauge, start_http_server import threading # 定义指标 REQUESTS_TOTAL Counter(chatglm3_requests_total, Total requests) TOKENS_GENERATED Gauge(chatglm3_tokens_generated, Tokens generated per request) # 在生成响应后更新 TOKENS_GENERATED.set(len(tokenizer.encode(full_response)))5.5 备份与回滚策略# 保存当前部署状态 kubectl get deploy chatglm3-6b -o yaml deploy-backup.yaml # 回滚到上一版本 kubectl rollout undo deployment/chatglm3-6b # 查看历史版本 kubectl rollout history deployment/chatglm3-6b6. 总结从本地玩具到生产服务的跨越你刚刚完成的不只是“把ChatGLM3-6B塞进K8s”而是构建了一套可交付、可运维、可演进的AI服务基础设施稳定性通过livenessProbereadinessProbe故障自愈时间30秒效率GGUF量化Streamlit缓存首字响应800ms实测RTX 4090D安全私有化部署非root运行网络策略满足企业合规底线可扩展HPA自动扩缩多节点GPU调度支撑百人级并发可维护Helm Chart封装、GitOps流程、一键回滚告别“救火式运维”。下一步建议将Service接入Ingress绑定公司域名如ai.yourcompany.com集成企业微信/飞书机器人支持群内提问用LangChain连接内部Confluence打造专属知识助手。真正的AI落地从来不是调通一个API而是让能力像水电一样稳定、透明、随时可用。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。