Update docs/vllm_deployment_guide_cn.md
Browse files- docs/vllm_deployment_guide_cn.md +10 -18
docs/vllm_deployment_guide_cn.md
CHANGED
|
@@ -44,12 +44,13 @@ git clone https://huggingface.co/MiniMaxAI/MiniMax-M1-80k
|
|
| 44 |
为确保部署环境的一致性和稳定性,我们推荐使用 Docker 进行部署。
|
| 45 |
|
| 46 |
⚠️ **版本要求**:
|
| 47 |
-
- 基础要求:vLLM 版本必须 ≥ 0.
|
| 48 |
-
-
|
| 49 |
-
-
|
| 50 |
-
- 将 `config['architectures'] = ["MiniMaxM1ForCausalLM"]` 修改为 `config['architectures'] = ["MiniMaxText01ForCausalLM"]`
|
| 51 |
|
| 52 |
1. 获取容器镜像:
|
|
|
|
|
|
|
| 53 |
```bash
|
| 54 |
docker pull vllm/vllm-openai:v0.8.3
|
| 55 |
```
|
|
@@ -72,21 +73,12 @@ sudo docker run -it \
|
|
| 72 |
--name $NAME \
|
| 73 |
$DOCKER_RUN_CMD \
|
| 74 |
$IMAGE /bin/bash
|
| 75 |
-
```
|
| 76 |
-
|
| 77 |
-
|
| 78 |
-
### 方案二:直接安装 vLLM
|
| 79 |
-
|
| 80 |
-
如果您的环境满足以下要求:
|
| 81 |
-
|
| 82 |
-
- CUDA 12.1
|
| 83 |
-
- PyTorch 2.1
|
| 84 |
|
| 85 |
-
|
| 86 |
-
|
| 87 |
-
|
| 88 |
-
|
| 89 |
-
pip install
|
| 90 |
```
|
| 91 |
|
| 92 |
💡 如果您使用其他环境配置,请参考 [vLLM 安装指南](https://docs.vllm.ai/en/latest/getting_started/installation.html)
|
|
|
|
| 44 |
为确保部署环境的一致性和稳定性,我们推荐使用 Docker 进行部署。
|
| 45 |
|
| 46 |
⚠️ **版本要求**:
|
| 47 |
+
- 基础要求:vLLM 版本必须 ≥ 0.9.2,以确保对 MiniMax-M1 模型的完整支持
|
| 48 |
+
- 特殊说明:如果使用低于 0.9.2 的 vLLM 版本,会遇见无法支持该模型或者精度不正确的情况:
|
| 49 |
+
- 详情见:[Fix minimax model cache & lm_head precision #19592](https://github.com/vllm-project/vllm/pull/19592)
|
|
|
|
| 50 |
|
| 51 |
1. 获取容器镜像:
|
| 52 |
+
|
| 53 |
+
目前 vLLM 官方还未推出v0.9.2版本 docker,我们以 v0.8.3 为例子进行手动编译 vLLM:
|
| 54 |
```bash
|
| 55 |
docker pull vllm/vllm-openai:v0.8.3
|
| 56 |
```
|
|
|
|
| 73 |
--name $NAME \
|
| 74 |
$DOCKER_RUN_CMD \
|
| 75 |
$IMAGE /bin/bash
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 76 |
|
| 77 |
+
# 编译 vLLM
|
| 78 |
+
cd $CODE_DIR
|
| 79 |
+
git clone https://github.com/vllm-project/vllm.git
|
| 80 |
+
cd vllm
|
| 81 |
+
pip install -e .
|
| 82 |
```
|
| 83 |
|
| 84 |
💡 如果您使用其他环境配置,请参考 [vLLM 安装指南](https://docs.vllm.ai/en/latest/getting_started/installation.html)
|