RWKV项目原作解读：在Transformer时代重塑RNN

机器之心

2023-06-04 12:26发布于北京机器之心官方账号

机器之心最新一期线上分享邀请到了新加坡国立大学博士侯皓文，现 RWKV Foundation 成员，为大家分享他们团队的开源项目 RWKV。

Transformer 已经彻底改变了几乎所有自然语言处理（NLP）任务，但其在序列长度上的内存和计算复杂度呈二次方增长。相比之下，循环神经网络（RNN）在内存和计算需求上呈线性扩展，但由于并行化和可扩展性的限制，难以达到 Transformer 相同的性能。

基于此，该研究团队提出了一种新颖的模型架构，即 Receptance Weighted Key Value（RWKV），将 Transformer 的高效可并行训练与RNN的高效推理相结合。该方法利用了线性注意机制，并使得模型既可以作为 Transformer，也可以作为 RNN 来构建，从而实现了在训练过程中的计算并行化，并在推理过程中保持恒定的计算和内存复杂度，这使得它成为第一个可以扩展到数百亿参数的非 Transformer 架构。

实验结果显示，RWKV 的性能与大小相似的 Transformer 相当，这表明未来的工作可以利用这种架构创建更高效的模型。这项工作在平衡序列处理任务中的计算效率和模型性能之间的权衡方面迈出了重要的一步。

分享主题：新型RNN模型RWKV，结合Transformer的并行化训练优势和RNN的高效推理

分享嘉宾：2017 年毕业于新加坡国立大学，获得博士学位。随后，加入腾讯担任应用研究员，致力于搜索、自然语言处理和多模态领域的研究和实践。目前，作为RWKV Foundation 的成员，继续在相关领域进行研究和贡献.

分享摘要：本次分享主要围绕 RWKV 的论文进行，介绍 RWKV 的核心理念和公式，展示 RWKV 并行化训练优势和高效推理。展示实验结果，证明了 RWKV 的性能与规模相近的 Transformer 相当，也是首个效果接近 Transformer 的线性注意力模型。