Skip to content

模型库

浏览玄武支持的所有模型。

快速筛选

全部QwenDeepSeekGLMKimi多模态

Qwen 通义千问系列


DeepSeek 系列

DeepSeek-V3.2

deepseek-ai

HOT
参数:685B MoE大小:~1.3TB
BF16FP8W8A8MindIEMLGuiderVLLM

DeepSeek 最新旗舰模型,685B MoE 架构,性能对标 GPT-4o

DeepSeek-V3.2-Exp

deepseek-ai

NEW
参数:685B MoE大小:~1.3TB
BF16FP8MindIEMLGuiderVLLM

V3.2 实验版本,包含最新优化,推理速度更快

DeepSeek-V3.1

deepseek-ai

参数:671B MoE大小:~1.2TB
BF16INT8W8A8MindIEMLGuiderVLLM

稳定版本,经过大规模生产验证

DeepSeek-Distill-Qwen-32B

deepseek-ai

参数:32B Dense大小:~64GB
BF16INT8W4A8MindIEMLGuiderVLLM

基于 Qwen 架构的蒸馏模型,继承 DeepSeek 能力,推理更高效


Qwen 多模态系列

Qwen3-VL-MoE

Qwen (阿里云)

VL
参数:72B MoE大小:~144GB类型:Vision
BF16INT8MindIEMLGuiderVLLM

视觉语言 MoE 模型,支持图像理解和 OCR

Qwen3-VL-32B

Qwen (阿里云)

VL
参数:32B Dense大小:~64GB类型:Vision
BF16INT8W8A8MindIEMLGuiderVLLM

32B 视觉语言模型,平衡效果与效率

Qwen2.5-VL

Qwen (阿里云)

VL
参数:72B Dense大小:~144GB类型:Vision
BF16INT8MindIEMLGuiderVLLM

Qwen2.5 视觉语言模型,图像理解能力强


GLM 智谱系列

GLM-4.5

智谱 AI (ZhipuAI)

NEW
参数:32B Dense大小:~64GB
BF16INT8W8A8MindIEMLGuiderVLLM

智谱最新一代基座模型,综合能力出色

GLM-4.7-Flash

智谱 AI (ZhipuAI)

参数:9B Dense大小:~18GB
BF16INT8W4A8MindIEMLGuiderVLLM

轻量快速版本,适合低延迟场景


Kimi 月之暗面系列

Kimi-K2-0905

月之暗面 (Moonshot AI)

HOT
参数:1T MoE大小:~2TB
BF16FP8MindIEMLGuiderVLLM

Kimi 旗舰模型,万亿参数 MoE,长文本能力顶尖

Kimi-K2.5

月之暗面 (Moonshot AI)

参数:MoE大小:~1TB
BF16INT8MindIEMLGuiderVLLM

K2 系列优化版,推理效率提升


量化格式说明

格式精度显存占用适用场景
BF16100%最佳效果,显存充足时首选
FP8较高~50%大模型推荐,精度损失小
INT8 / I8~50%通用量化,平衡效果和效率
W8A8~50%权重和激活都量化
INT4 / I4较低~25%极致压缩,适合资源受限场景

推理引擎说明

引擎类型说明
MindIE华为原生默认引擎,昇腾硬件官方支持,稳定性最佳
MLGuider玄武自研深度优化引擎,部分模型性能最优
VLLM开源社区功能丰富,支持多种优化技术
SGLang开源社区高性能推理引擎,支持结构化生成

基于 Apache 2.0 许可发布