PSSA: A non-transformer language model written from scratch in Rust
AI 摘要PSSA,即塑料状态空间架构,是一个用Rust从头开始编写的非Transformer语言模型。它在包含198,939个未见标记的保留切片上表现出优于Transformer的性能。具体来说,PSSA的交叉熵为3.997,而Transformer为4.429;PSSA的困惑度为54.4,而Transformer为83.8;PSSA的下一个标记准确率为24.1%,而Transformer为18.0%。这些数据表明PSSA具有更好的泛化能力,而非更强的记忆能力。项目欢迎贡献,尤其是在内核性能和现代循环基线方面。