# Learn-LLM-Deploy-Easily

**Repository Path**: sz2280389/learn-llm-deploy-easily

## Basic Information

- **Project Name**: Learn-LLM-Deploy-Easily
- **Description**: 轻松学AI系列之： 轻松学习LLM大语言模型部署
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 2
- **Created**: 2025-10-10
- **Last Updated**: 2025-10-10

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README


---

# Learn LLM Deploy Easily

一个系统化的 **大模型私有化部署学习项目**，涵盖了从 **智算服务器环境准备** 到 **主流推理框架 (Ollama / vLLM / Xinference)** 的完整部署流程。
适合 **LLM 工程入门者** 和 **企业本地化应用开发者**，提供了详细的环境搭建手册、部署教程和可视化指南。

---

## 📚 项目结构

```bash
.
├── 01_智算服务器准备
│   ├── 01_GPU通识                  # GPU 硬件与行业背景
│   ├── 02_服务器准备               # 系统、驱动、CUDA、Anaconda、Docker 等环境安装
│   └── 03_服务器速查手册           # Linux / Shell / Docker / CUDA 常用命令速查
│
├── 02_大模型私有化部署
│   ├── 00_为什么要本地化部署.md
│   ├── 01_看懂开源模型.md
│   └── 02_大模型主流推理框架.md
│
├── 03_ollama                       # Ollama 框架部署
│   └── 开源模型的本地部署-ollama.md
│
├── 04_vllm                         # vLLM 框架部署
│   ├── 开源模型的本地部署-vllm.ipynb
│   └── 开源模型的本地部署-vllm.md
│
├── 05_xinference                   # Xinference 框架部署
│   └── 开源模型的本地部署-xinference.md
│
├── assets                          # 图片、可视化资源
└── README.md                       # 项目说明文档
```

---

## 🚀 快速开始

### 1. 克隆项目

```bash
git clone git clone https://gitee.com/coderwillyan/learn-llm-deploy-easily.git
cd learn-llm-deploy-easily
```

### 2. 创建虚拟环境

推荐使用 **Python 3.10+**：

```bash
conda create -n env_vllm python=3.10 -y
conda activate env_vllm

pip install ipykernel
python -m ipykernel install --user --name=env_vllm --display-name "Python3 (env_vllm)"
```

---

## 🧩 学习模块

### 🔹 01\_智算服务器准备

* GPU 基础与硬件对比（NVIDIA、国产 GPU）
* Ubuntu 系统、驱动、CUDA、cuDNN 配置
* Anaconda、Docker、WSL 环境搭建
* 常用命令速查表（Linux / Shell / CUDA / NVIDIA-SMI）

### 🔹 02\_大模型私有化部署

* 为什么企业需要本地化部署
* 如何选择与理解开源模型（LLaMA、Qwen、ChatGLM）
* 主流推理框架对比与选型

### 🔹 03\_Ollama

* 本地快速运行开源模型
* WebUI 接入与多模型管理

### 🔹 04\_vLLM

* 高性能推理框架部署
* Notebook 实战部署与优化

### 🔹 05\_Xinference

* 分布式推理框架部署
* 模型注册与调用流程

---

## 🔧 环境要求

* Python 3.10+
* CUDA 11.7 / 12.x
* Conda
* Docker
* 其他依赖见 `requirements.txt`

---

## 📌 参考资料

* [Ollama 官方文档](https://ollama.ai/)
* [vLLM 官方仓库](https://github.com/vllm-project/vllm)
* [Xinference 官方文档](https://inference.readthedocs.io/)
* [NVIDIA CUDA Toolkit](https://developer.nvidia.com/cuda-toolkit)

---

## 📝 License

本项目仅用于学习与研究目的，不得用于商业用途。

---