显存只有 12GB 也想跑 125B？Strata 把内存和固态一起当显存用，19 天拿下 2.3 万星

说实话，我对”消费级显卡跑大模型”这句话已经快免疫了。

每隔一阵就冒出来一个项目，告诉你手上这张卡也能跑某某大模型。装完呢，要么生成速度慢得像幻灯片，要么刚加载就弹一句显存不足然后退出。到头来所谓的本地大模型，多半只是云端 API 的一层皮。

直到我刷到 Strata。它没有继续在”怎么把模型压得更小”这条路上死磕，而是换了一个问题：这台电脑上一共有多少地方可以放参数。

仓库 Niko1221/Strata，MIT 许可，C++ 写的本地推理引擎，2026 年 9 月 24 日建库。到写这篇的时候，22,875 星、2,248 个 fork、900 个 open issue，最新版本 v0.1.43.1 发布于 2026 年 10 月 12 日。

先搞清楚：它跟你见过的本地推理不是一回事

大部分本地推理方案的思路是压缩。量化、蒸馏、剪枝，目的只有一个，把模型压到能塞进显卡为止。真塞不下的部分往内存里溢一点，溢出来的那部分慢到你不想等。

答案是三层。显卡里只留最热的几千个专家；系统内存里常驻全部 24,576 个专家；固态硬盘上放一张约 29GB 的查找表。每生成一个 token，显卡算自己有的那部分，CPU 同时并行算没命中的那部分，两边拼起来。

官方的比喻是厨房：天天用的东西放在台面上，其余的进储藏室，做菜的时候再去拿。区别是，这个储藏室有人跑腿，而且跑得不算慢。

说白了，Strata 不是”更快的推理引擎”，它是一个调度器。

这么一来，”显存不够”从一个只能靠买卡解决的硬件问题，变成了能靠调度优化的软件问题。

再顺带说一句它的迭代速度，有点吓人：10 月 8 日到 12 日，四天发了五个版本。v0.1.42 在 NVIDIA 单卡上解码快 13% 到 16%，CPU 比 PCIe 快的机器最高 30%；v0.1.43 在 16GB Radeon 上最高快 38%；v0.1.43.1 是热修复，双卡批量又快约 35%。

更值得记一笔的是 v0.1.42 说明里那份诚实的取舍：两个新默认会轻微改变输出，每个都有开关可以关掉。提速可以，偷偷改答案不行。

STRATA_ROUTE_TAIL_SKIP=7 的意思是：显存里没有、且整个校验窗口里排名都在第 7 位以后的专家，直接跳过不算。另一个是自动实测出来的 PCIe 分担比例。

24,576 个专家，一个 token 只叫醒 10 个

上面那套调度能成立，前提是模型本身足够稀疏。

Strata 跑的是 Qwen3.8-Flash-Next，125B 参数的 MoE，一共 24,576 个专家。听起来是个庞然大物，但每个 token 只激活大约 10 个。

10 对 24576。这个比例就是全部秘密。

密集模型必须整块加载，少一个参数都没法算。MoE 不一样，每次只要一小撮专家。既然只用这么点，就没必要让全部专家都挤在显存里排队。

这之上还叠了一层”先猜后验”，也就是投机解码：小助手模型先猜几个词，大模型一次性批量校验。官方称输出不变，速度提升 1.6 到 1.8 倍。

长文本方面，一次读最多 8,192 个 token，读取速度超过 1,000 tokens/s。

稀疏性不是什么优化技巧，它是这套方案的地基。

24,576 个专家分三层：最热的几千个常驻显存，全部专家睡在内存里，查找表躺在固态上

装之前先看这张表：你的内存决定你能跑哪个

先泼一盆冷水。Strata 不是什么电脑都能跑，硬件门槛写得挺清楚。

显卡：NVIDIA RTX 20 到 50 系，或 AMD RX 6800/6900、7800 XT、7900 XT/XTX、9060 XT、9070/9070 XT，需 12GB 及以上显存
内存：32GB 起步，64GB 可以跑全部尺寸
硬盘：约 80GB 空间，官方建议用 SSD
系统：Windows 10/11 或 Linux，需要较新的 NVIDIA/AMD 驱动

支持两三张卡分摊。老卡（GTX 10 系、Tesla P40/V100、Radeon VII）、Intel Arc、Strix Halo 属于实验性支持，别抱太高期待。

然后是最关键的一张表。决定你能跑哪个尺寸的，是内存而不是显存。

内存	选哪个
32GB	Coder，专为代码优化
48GB	IQ2_XS（或 Q2_0，最快）
64GB	IQ2_XS（推荐），或 IQ3_XXS / IQ3_S
96GB 及以上	IQ3_S，或 Unsloth UD-IQ4_XS

如果你只有 32GB 内存，选 Coder；有 64GB，推荐 IQ2_XS；想要质量就上 IQ3_S，代价是它最慢。

Coder 版要单独说一句。它砍掉一半专家，按模型作者自测能达到完整模型 SWE-bench Verified 分数的 91%，好处是能塞进 32GB 内存。代价同样明确：代码之外能力偏弱，包括中文和其他 CJK 文字（官方 issue #438）。拿它聊天、写中文稿，老实回去选 Q2_0 或 IQ3_S。

再说速度。下面是官方自测数据，机型和配置一并标清楚，别拿来对号入座自己那台机器。

机型 A：RTX 5070（12GB）+ Ryzen 5 7600 + 64GB 内存

尺寸	生成速度	读取 prompt
Q2_0	94 tok/s	2,650 tok/s
IQ2_XS	79 tok/s	2,090 tok/s
IQ3_XXS	62 tok/s	1,750 tok/s
IQ3_S	53 tok/s	1,620 tok/s
Coder	55 tok/s	2,180 tok/s

换成 AMD 的 RX 9070 XT（16GB）配 Ryzen 9 3900X 和 47GB 内存，Q2_0 是 60 tok/s，IQ2_XS 是 52 tok/s，Coder 是 44 tok/s。

官方还补了一句：24GB 显存的 RTX 3090 大概能到 100 到 140 tok/s。一个 token 约等于四分之三个词，60 tok/s 已经比你读得快。

第三方口径也放一个：有技术博客（eyestech.in）称，同样 125B MoE 在 12GB 显存加 64GB 内存上，标准 llama.cpp CPU 卸载只有 5.2 tok/s，Strata 单张 RTX 4070 能到 42.8 tok/s。这不是官方发布的对比，看个趋势就行。

这类”把大模型塞进消费级硬件”的活儿最近不少，中国电信 Xing4.0 把 29B 塞进一张 4090 走的是另一条路子，可以对照着看。

一个本地服务，三个端点：浏览器、OpenAI 兼容接口、Responses API

三步跑起来：从解压到吐出第一个字

官方把安装做得挺简单，就三步。

第一步，解压，跑启动脚本。Windows 下载解压后双击 START-HERE.bat；Linux 在 Strata 目录执行 ./setup.sh。

第二步，回答三个问题。安装程序会问：选哪个模型和尺寸、上下文开多大、要不要读图。一路回车就取推荐值。然后开始下载约 70GB 的模型文件。

第三步，打开浏览器。访问 http://127.0.0.1:8080，开始对话。

有一条官方警告必须照说：启动那 1 到 3 分钟里电脑可能变卡甚至像死机（首次最长），因为 Strata 要把 35 到 55GB 载入内存并锁定一部分给显卡。这是正常的，等着，别关窗口。

下次再跑就轻松了：再双击 START-HERE.bat（或 ./setup.sh），秒起而且不会重复下载。关掉那个窗口就停止模型。

还有几个命令值得记一下。

升级：UPDATE.bat（Linux ./update.sh），只升级不启动
跑分：BENCH.bat（Linux ./bench.sh），5 到 10 分钟，会生成一份可分享的报告
之后想加别的模型：SETUP.bat（Linux ./setup.sh –setup）

懒得自己动手的话，把这句话粘给你的 AI 编程助手。

Set up Strata on this PC for me: https://github.com/Niko1221/Strata - follow docs/AI_SETUP.md in that repository.

另外 Strata 还带一个 MCP server，AI 工具可以通过它来安装、启动、停止 Strata。

接上你手里的 AI 工具：三个端点对号入座

端点一，浏览器。打开 http://127.0.0.1:8080，有 Chat、实时 Monitor（看模型、显卡、CPU、内存）、About 三个页。

端点二，OpenAI 兼容接口。base URL 填 http://127.0.0.1:8080/v1，按官方说法 API key 和模型名随便填都能通。用 Anthropic API 的应用填 http://127.0.0.1:8080/v1/messages，Claude Code 设 ANTHROPIC_BASE_URL=http://127.0.0.1:8080。

端点三，Responses API。Codex CLI 这类用 OpenAI Responses API 的工具，走 /v1/responses。

几个迟早会用到的开关。