Strata

Strata

游戏本跑1250亿参数本地大模型

AI官网

应用介绍

想在自己电脑上跑一个能写代码、能看图的大模型,通常卡在两步:显存不够,装环境又折腾半天。1250 亿参数的模型,一般得上服务器,谁会想到一台打游戏的主机也能带得动。

Strata 把这件事做成了“下载、打开、点安装”。它跑的是 Qwen3.8-Flash-Next,内存加显存合起来 32 GB 就能起步,推理引擎自己判断哪些层放显卡、哪些放内存,内存更紧时还会自动切到低内存模式。作者在 RTX 5070(12 GB 显存加 64 GB 内存)上测到最小的 Q2_0 档每秒出 94 个 token,读提示词每秒 2650 个。

装好之后它在本机开一个 OpenAI 和 Anthropic 兼容的接口,Claude Code、Codex CLI、OpenCode 这类编程助手直接连上就能用,聊天和文件都不出你的电脑,MIT 协议,无账号无遥测。

软件功能



一键安装包:给 Windows、Linux、Mac 分别提供安装文件,NVIDIA、AMD、Intel Arc 和 Apple Silicon 都有对应版本;模型下载 40 到 70 GB,中断后可续传。

按内存推荐模型:App 会按你的内存推荐尺寸,32 GB 起步有 Gyro-S 和针对代码的 Coder,64 GB 可以跑 IQ3_S,更大内存能上更接近原模型的量化版本。

本地兼容接口:在本机提供 OpenAI 和 Anthropic 风格的 API,编程助手和各类应用无需改动就能接入,也能通过 MCP 服务器让 AI 工具自己安装、启动和停止 Strata。

图片输入:默认开启,可以把截图和图片直接丢给模型读。

终端模式:`strata launch` 一步步问你模型、上下文、图片和谁能访问,然后开始服务;`strata monitor` 实时看速度、显卡、内存和请求。从 0.2.4 起终端还能跑 DeepSeek V4.1-Flash。

内置对话与工作区:桌面端带聊天、监控和模型页,聊天可以在你指定的文件夹里工作,手动模式下改文件或运行命令前会先问你;联网搜索只会把搜索词发出去。

应用截图