李坤儿

@li-kuner

李坤儿 暂无简介

所有 个人的 我参与的
Forks 暂停/关闭的

    李坤儿 / KuiperLLama

    KuiperLLama(KuiperInfer)是一个开源的深度学习推理框架,主要用于在边缘设备上高效运行深度学习模型。它采用C++语言开发,支持从视觉模型(如ResNet、YOLOv5)到大语言模型(如Llama2、Qwen2.5)的推理任务,具备CUDA加速和Int8量化功能。 该框架的设计目标是帮助开发者深入理解推理框架的底层机制,掌握模型在运行时的算子调度、内存布局和输入处理等核心原理。

搜索帮助