RWKV：把 RNN 与 Transformer 缝合的开源 LLM 架构，线性时间常数显存

官方背景

RWKV 是一种开源的 LLM 架构，由彭博（BlinkDL）等人提出，现为 Linux Foundation AI & Data 基金会托管项目，采用 Apache 2.0 协议。它把 RNN 的线性时间 / 恒定显存与 Transformer 的并行训练 / 强表达力缝合在一起，目标是绕开 Transformer 的 KV Cache 与平方级注意力瓶颈，让长序列推理又便宜又稳。

核心能力

① 线性时间复杂度：推理随序列长度线性增长，不爆显存；② 恒定显存、无 KV Cache：长上下文成本极低；③ RWKV-7 Goose：当前最强线性时间架构之一，效果逼近同参 Transformer；④ G 系列推理模型（RWKV-G1）媲美主流推理模型；⑤ 2.9B 版本效果对标 Qwen2.5-3B；⑥ 训练 / 推理框架开源（rwkv.cpp / LightningThunder）；⑦ 支持本地部署、低资源跑长文本。

应用场景

在消费级显卡上跑超长上下文（文档 / 代码库 / 书）；对推理成本极敏感的服务端；端侧 / 边缘设备本地大模型；需要读很长的东西但不爆内存的检索与 Agent。RWKV-7-G0a3（13.3B / 7.2B）已于 2025 年 10–11 月发布。

定价与可及性

完全免费开源（Apache 2.0，rwkv.cn / rwkv.com），模型权重与代码公开，自付算力。提供 Hugging Face 权重、rwkv.cpp 本地推理、云端推理 API 与社区训练好的系列模型，个人与企业均可商用改造。

立即体验 RWKV →

RWKV · RWKV 是一种开源的 LLM 架构，由彭博（BlinkDL）等人…