适合个人与小型团队先把模型跑起来；Linux 服务器或 32GB 统一内存 Mac 均可。
| 步骤 | 命令 / 操作 | 说明 |
|---|---|---|
| ① 装框架 | curl -fsSL https://ollama.com/install.sh | sh | Linux 一键安装；Mac 直接装桌面版。 |
| ② 拉模型 | ollama run qwen3.8:27b | 首次下载约 18GB，之后进入对话即本地推理。 |
| ③ 接业务 | http://localhost:11434/v1 | Ollama 自动提供 OpenAI 兼容接口，存量应用改 base_url 即可接入。 |
Apple Silicon 可选 qwen3.8:27b-mlx 变体；生产环境并发服务建议转 vLLM 路线（见部署方式页）。
单卡 24GB / 高配 Mac → Ollama 路线，十分钟出第一个内网推理接口。
Linux + NVIDIA → vLLM 路线，官方 FP8 权重、高吞吐批处理，扛业务并发。
16GB 级显存/内存 → llama.cpp GGUF 量化路线，CPU+GPU 混合推理。
多机集群 → FP8 大规格部署（Qwen3.8-2.4T-A95B）或多副本 27B 池。
| 型号 | 定位 | 上下文 | 许可 | 本地推荐度 |
|---|---|---|---|---|
| Qwen3.8-27B | 稠密开源旗舰 | 262K → 1M | Apache-2.0 | 主力，单卡 24GB 起步 |
| Qwen3.5-35B-A3B | MoE（激活约 3B） | 见模型卡 | 以仓库为准 | 大参数本地化的经济解 |
| Qwen3.5-9B / 4B / 2B / 0.8B | 入门与边缘 | 见模型卡 | 以仓库为准 | 笔记本到边缘盒 |
| Qwen3.8-Flash-Next | 轻量 MoE（6B 激活） | 262K → 1M | 以仓库为准 | 在线服务为主 |
| Qwen3.8-2.4T-A95B | 数据中心旗舰 | 262K → 1M | 以仓库为准 | 集群级 |
| Qwen3-ASR / Qwen-Image-2.1 | 语音 / 图像 | — | 以仓库为准 | 可本地，配主模型组成业务闭环 |
数据引自 Qwen 官方 HuggingFace 模型卡（2026-11 查证）；逐款介绍见 可部署型号 页。
推理服务只绑内网地址，外层加鉴权与访问控制；OpenAI 兼容接口默认无认证，务必加网关。
记录调用方、prompt 摘要与 token 消耗，出问题可回溯；敏感行业按行业规范留存。
本地模型同样要配敏感词与输出审核层，合规红线不因私有化而豁免。
Qwen3.8-27B 为 Apache-2.0 可商用；各代许可不同，上线前把所用模型的 LICENSE 存档备查。