RWKV共1篇
RWKV:把 RNN 与 Transformer 缝合的开源 LLM 架构,线性时间常数显存-圈圈AI一站式AI资源分享平台

RWKV:把 RNN 与 Transformer 缝合的开源 LLM 架构,线性时间常数显存

官方背景 RWKV 是一种开源的 LLM 架构,由彭博(BlinkDL)等人提出,现为 Linux Foundation AI & Data 基金会托管项目,采用 Apache 2.0 协议。它把 RNN 的线性时间 / 恒定显存与 Transformer ...
圈圈的头像-圈圈AI一站式AI资源分享平台钻石会员圈圈8月3日 09:27
027973