wxya（个人网站）PowerInfer
PowerInfer
SJTU-IPADS • Updated May 22, 2024
上海交大团队最新推出了超强 CPU/GPU LLM 高速推理引擎 PowerInfer。
这个推理引擎速度有多快？在单个 NVIDIA RTX 4090 GPU 上运行 LLM ，PowerInfer 的平均 token 生成速率为 13.20 tokens/s，峰值为 29.08 tokens/s，仅比顶级服务器 A100 GPU 低 18%，可适用于各种 LLM。
不仅如此，PowerInfer 与最先进的本地LLM推理框架 llama.cpp 相比，在单个 RTX 4090 (24G) 上运行 Falcon (ReLU)-40B-FP16，实现了 11 倍多的加速，还能保持模型的准确性。
具体来说，PowerInfer 是一个用于本地部署 LLM 的高速推理引擎。与那些采用多专家系统（MoE）不同的是，PowerInfer 通过利用 LLM 推理中的高度局部性，巧妙的设计了一款 GPU-CPU 混合推理引擎。
它的工作原理是这样的，将频繁激活的神经元（即热激活，hot-activated）预加载到 GPU 上以便快速访问，而不常激活的神经元（冷激活，cold-activated）（占大多数）则在 CPU 上计算。
这种方法显著减少了 GPU 内存需求和 CPU-GPU 数据传输。
Loading...