架构设计

本节带您详细了解当前玄武CLI的架构设计，让您更好地了解玄武CLI的工作原理和行为。

系统架构

玄武CLI采用分层模块化架构：

多引擎架构

玄武CLI支持多个推理引擎，根据模型和硬件自动选择最优后端。

引擎隔离

每个引擎运行在独立子进程中，相互之间独立，并与主进程隔离，从而可以实现：

• 崩溃隔离 - 单个引擎故障不影响系统
• 依赖解耦 - 避免库版本冲突
• 资源效率 - 未使用的引擎不占用资源

自动路由

玄武CLI团队已提前验证模型-芯片-引擎矩阵，并自动根据当前硬件和模型选择对应引擎。用户也可以通过--engine 指定引擎，或可以通过玄武CLI的config文件（默认在~/.xw）来修改玄武CLI的默认行为。

存储结构

~/.xw/
├── data
│   ├── models
│   │   └── model-name
│   │       └── tag
│   │           └── modelfiles
│   └── server.conf
├── devices.yaml
├── models.yaml
└── runtime_params.yaml

设计特点

• 轻量快捷 - 10MB 包体，Golang 开发
• 低门槛 - 简单易用的 CLI
• 国产原生 - 深度适配国产硬件