update sglang guide cn
Browse files
docs/sglang_deploy_guide_cn.md
CHANGED
|
@@ -32,7 +32,7 @@
|
|
| 32 |
|
| 33 |
建议使用虚拟环境(如 **venv**、**conda**、**uv**)以避免依赖冲突。
|
| 34 |
|
| 35 |
-
建议在全新的 Python 环境中安装 SGLang
|
| 36 |
```bash
|
| 37 |
git clone -b v0.5.4.post3 https://github.com/sgl-project/sglang.git
|
| 38 |
cd sglang
|
|
@@ -55,7 +55,7 @@ python -m sglang.launch_server \
|
|
| 55 |
--host 0.0.0.0 \
|
| 56 |
--trust-remote-code \
|
| 57 |
--port 8000 \
|
| 58 |
-
--mem-fraction-static 0.
|
| 59 |
```
|
| 60 |
|
| 61 |
8 卡部署命令:
|
|
@@ -66,11 +66,11 @@ python -m sglang.launch_server \
|
|
| 66 |
--tp-size 8 \
|
| 67 |
--ep-size 8 \
|
| 68 |
--tool-call-parser minimax-m2 \
|
| 69 |
-
--reasoning-parser minimax-append-think \
|
| 70 |
-
--host 0.0.0.0 \
|
| 71 |
--trust-remote-code \
|
|
|
|
|
|
|
| 72 |
--port 8000 \
|
| 73 |
-
--mem-fraction-static 0.
|
| 74 |
```
|
| 75 |
|
| 76 |
## 测试部署
|
|
@@ -101,7 +101,7 @@ export HF_ENDPOINT=https://hf-mirror.com
|
|
| 101 |
|
| 102 |
### MiniMax-M2 model is not currently supported
|
| 103 |
|
| 104 |
-
|
| 105 |
|
| 106 |
## 获取支持
|
| 107 |
|
|
|
|
| 32 |
|
| 33 |
建议使用虚拟环境(如 **venv**、**conda**、**uv**)以避免依赖冲突。
|
| 34 |
|
| 35 |
+
建议在全新的 Python 环境中安装 SGLang:
|
| 36 |
```bash
|
| 37 |
git clone -b v0.5.4.post3 https://github.com/sgl-project/sglang.git
|
| 38 |
cd sglang
|
|
|
|
| 55 |
--host 0.0.0.0 \
|
| 56 |
--trust-remote-code \
|
| 57 |
--port 8000 \
|
| 58 |
+
--mem-fraction-static 0.85
|
| 59 |
```
|
| 60 |
|
| 61 |
8 卡部署命令:
|
|
|
|
| 66 |
--tp-size 8 \
|
| 67 |
--ep-size 8 \
|
| 68 |
--tool-call-parser minimax-m2 \
|
|
|
|
|
|
|
| 69 |
--trust-remote-code \
|
| 70 |
+
--host 0.0.0.0 \
|
| 71 |
+
--reasoning-parser minimax-append-think \
|
| 72 |
--port 8000 \
|
| 73 |
+
--mem-fraction-static 0.85
|
| 74 |
```
|
| 75 |
|
| 76 |
## 测试部署
|
|
|
|
| 101 |
|
| 102 |
### MiniMax-M2 model is not currently supported
|
| 103 |
|
| 104 |
+
请升级到最新的稳定版本, >= v0.5.4.post3.
|
| 105 |
|
| 106 |
## 获取支持
|
| 107 |
|