diff --git "a/docs/user-guide/\351\203\250\347\275\262\346\214\207\345\215\227/CPU\346\216\250\347\220\206\346\250\241\345\236\213\351\203\250\347\275\262\346\214\207\345\215\227.md" "b/docs/user-guide/\351\203\250\347\275\262\346\214\207\345\215\227/CPU\346\216\250\347\220\206\346\250\241\345\236\213\351\203\250\347\275\262\346\214\207\345\215\227.md" index 03a109ae1d85162cb9ce7cfa6395df0c2568d54e..2ad06ecef9cb31069b79878fdc8715002f8e7682 100644 --- "a/docs/user-guide/\351\203\250\347\275\262\346\214\207\345\215\227/CPU\346\216\250\347\220\206\346\250\241\345\236\213\351\203\250\347\275\262\346\214\207\345\215\227.md" +++ "b/docs/user-guide/\351\203\250\347\275\262\346\214\207\345\215\227/CPU\346\216\250\347\220\206\346\250\241\345\236\213\351\203\250\347\275\262\346\214\207\345\215\227.md" @@ -70,17 +70,23 @@ wget https://hf-mirror.com/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-4bit/resolve docker pull hub.oepkgs.net/neocopilot/oe_openai_server@sha256:7d7d35e6e7a7eb43c31cebe093ae47b4f8fdcad67d36722b6e5a88522158f318 ``` +## EulerCopilot轻量化部署 +### 轻量化部署视图 -## 部署openai服务接口 +轻量化部署视图如下,接入Copilot需要切换至CPU大模型,具体如下: -### 接口部署 +![轻量化部署视图](./pictures/CPU推理部署/轻量化部署视图.png) + +### 部署openai服务接口 + +#### 接口部署 ```shell # 查看鲲鹏系列服务器逻辑核分布情况,下面以某鲲鹏服务器为例 lscpu ``` -CPU逻辑核心分布图 +![CPU逻辑核心分布图](./pictures/CPU推理部署/CPU逻辑核心.png) ```shell # 以鲲鹏服务器为例进行绑核,逻辑核总数设置numa节点的倍数,绑核按numa节点平均分配 @@ -93,7 +99,7 @@ docker run -it \ ./server /app/Baichuan2-13B-Chat-Q4_0.gguf -t 0.0 -n 4096 ``` -### 接口功能测试 +#### 接口功能测试 按照openai官方文档构建的python脚本,用于验证功能,验证无误后可接入EulerCopilot。 @@ -121,19 +127,29 @@ for chunk in completion: 接口测试成功返回如下图所示: -测试接口成功图 +![测试接口成功图](./pictures/CPU推理部署/测试接口成功.png) + +### EulerCopilot部署更改 + +更改`deploy/chart/euler_copilot/values.yaml`下的`llm`选项,具体如下: + +![Copilot大模型部署差异](./pictures/CPU推理部署/Copilot大模型部署差异.png) + +其他部分EulerCopilot正常部署。 + + -## 对接EulerCopilot效果 +### 对接EulerCopilot效果 接入效果图1: -接入copilot效果图1 +![接入copilot效果图1](./pictures/CPU推理部署/接入copilot效果图1.png) 接入效果图2: -接入copilot效果图2 +![接入copilot效果图2](./pictures/CPU推理部署/接入copilot效果图2.png) 接入效果图3: -接入copilot效果图3 +![接入copilot效果图3](./pictures/CPU推理部署/接入copilot效果图3.png) diff --git "a/docs/user-guide/\351\203\250\347\275\262\346\214\207\345\215\227/pictures/CPU\346\216\250\347\220\206\351\203\250\347\275\262/Copilot\345\244\247\346\250\241\345\236\213\351\203\250\347\275\262\345\267\256\345\274\202.png" "b/docs/user-guide/\351\203\250\347\275\262\346\214\207\345\215\227/pictures/CPU\346\216\250\347\220\206\351\203\250\347\275\262/Copilot\345\244\247\346\250\241\345\236\213\351\203\250\347\275\262\345\267\256\345\274\202.png" new file mode 100644 index 0000000000000000000000000000000000000000..8f1de7892e04be698310691d2cfdeb07cbfa579d Binary files /dev/null and "b/docs/user-guide/\351\203\250\347\275\262\346\214\207\345\215\227/pictures/CPU\346\216\250\347\220\206\351\203\250\347\275\262/Copilot\345\244\247\346\250\241\345\236\213\351\203\250\347\275\262\345\267\256\345\274\202.png" differ diff --git "a/docs/user-guide/\351\203\250\347\275\262\346\214\207\345\215\227/pictures/CPU\346\216\250\347\220\206\351\203\250\347\275\262/\350\275\273\351\207\217\345\214\226\351\203\250\347\275\262\350\247\206\345\233\276.png" "b/docs/user-guide/\351\203\250\347\275\262\346\214\207\345\215\227/pictures/CPU\346\216\250\347\220\206\351\203\250\347\275\262/\350\275\273\351\207\217\345\214\226\351\203\250\347\275\262\350\247\206\345\233\276.png" new file mode 100644 index 0000000000000000000000000000000000000000..e793608e479549ef228fffb4b4e3236aaabe782f Binary files /dev/null and "b/docs/user-guide/\351\203\250\347\275\262\346\214\207\345\215\227/pictures/CPU\346\216\250\347\220\206\351\203\250\347\275\262/\350\275\273\351\207\217\345\214\226\351\203\250\347\275\262\350\247\206\345\233\276.png" differ