应用介绍
想在本地跑开源大模型,看到一堆 7B、14B、各种量化版本,根本不知道自己的显卡和内存能带得动哪个。llmfit 自动检测 CPU、内存、显卡和显存,对照数百个模型和量化方案,告诉你哪些能流畅运行。
它在终端界面里列出推荐结果,还能下载模型、实测每秒生成速度并把结果贡献回项目,让同样配置的人拿到真实数据。支持 NVIDIA、Apple Silicon、AMD 和 Intel。
硬件检测:识别 CPU、内存、独显与核显、显存和统一内存架构。
模型匹配:按参数量、上下文长度和量化方式评估可运行性。
实测基准:下载运行模型,测量真实 tok/s。
社区数据:测试结果可提交,让同配置用户直接参考。
它在终端界面里列出推荐结果,还能下载模型、实测每秒生成速度并把结果贡献回项目,让同样配置的人拿到真实数据。支持 NVIDIA、Apple Silicon、AMD 和 Intel。
软件功能
硬件检测:识别 CPU、内存、独显与核显、显存和统一内存架构。
模型匹配:按参数量、上下文长度和量化方式评估可运行性。
实测基准:下载运行模型,测量真实 tok/s。
社区数据:测试结果可提交,让同配置用户直接参考。

