应用介绍
部署大模型推理服务，往往要背上整套 PyTorch 和 Python 依赖，镜像动辄十几 GB。PegaInfer 是一个纯 Rust 加 CUDA 实现的大模型推理引擎，完全不依赖 PyTorch。
它提供 OpenAI 兼容接口，支持从 Qwen3 到 Kimi-K2 的多种模型，并做了 KV 缓存等优化。
无 PyTorch：纯 Rust。
CUDA 内核：高性能。
OpenAI 兼容：直接替换。
多模型：Qwen3 到 Kimi-K2。
它提供 OpenAI 兼容接口，支持从 Qwen3 到 Kimi-K2 的多种模型，并做了 KV 缓存等优化。
软件功能
无 PyTorch：纯 Rust。
CUDA 内核：高性能。
OpenAI 兼容：直接替换。
多模型：Qwen3 到 Kimi-K2。
