KuiperLLama(KuiperInfer)是一个开源的深度学习推理框架,主要用于在边缘设备上高效运行深度学习模型。它采用C++语言开发,支持从视觉模型(如ResNet、YOLOv5)到大语言模型(如Llama2、Qwen2.5)的推理任务,具备CUDA加速和Int8量化功能。 该框架的设计目标是帮助开发者深入理解推理框架的底层机制,掌握模型在运行时的算子调度、内存布局和输入处理等核心原理。
CUDA GPT-2 推理引擎(个人项目)| CUDA / C++ / pybind11 从零手搓 GPT-2 推理引擎,覆盖 PagedAttention、Prefill/Decode 分离、LRU 抢占调度三大机制
GPU 编程入门 — 从 CUDA 内核原理到大模型推理/训练加速的完整实践路线(docs 笔记 + code 案例)