KuiperLLama(KuiperInfer)是一个开源的深度学习推理框架,主要用于在边缘设备上高效运行深度学习模型。它采用C++语言开发,支持从视觉模型(如ResNet、YOLOv5)到大语言模型(如Llama2、Qwen2.5)的推理任务,具备CUDA加速和Int8量化功能。 该框架的设计目标是帮助开发者深入理解推理框架的底层机制,掌握模型在运行时的算子调度、内存布局和输入处理等核心原理。
KuiperLLama(KuiperInfer)是一个开源的深度学习推理框架,主要用于在边缘设备上高效运行深度学习模型。它采用C++语言开发,支持从视觉模型(如ResNet、YOLOv5)到大语言模型(如Llama2、Qwen2.5)的推理任务,具备CUDA加速和Int8量化功能。 该框架的设计目标是帮助开发者深入理解推理框架的底层机制,掌握模型在运行时的算子调度、内存布局和输入处理等核心原理。
Contributions last year: 0
Max continuous contributions: 0
Recent contributions: 0
Commits, issues, and pull requests will appear on your contribution graph. Only when the email address used for the commits in local configuration is associated with your GitOSC account, the commits' contribution will be counted.