@li-kuner
李坤儿 暂无简介
KuiperLLama(KuiperInfer)是一个开源的深度学习推理框架,主要用于在边缘设备上高效运行深度学习模型。它采用C++语言开发,支持从视觉模型(如ResNet、YOLOv5)到大语言模型(如Llama2、Qwen2.5)的推理任务,具备CUDA加速和Int8量化功能。 该框架的设计目标是帮助开发者深入理解推理框架的底层机制,掌握模型在运行时的算子调度、内存布局和输入处理等核心原理。