UC伯克利研究人员提出新AI技术RingAttention,可降低Transformer内存需求
币界网报道:据站长之家报道,UC 伯克利研究人员提出了一项名为 RingAttention 的新方法,以解决深度学习模型中内存需求的挑战。在最新的研究中,研究人员探讨了 Transformer 模型在处理长序列时面临的问题,特别是由于自注意力机制引发的内存需求。RingAttention 通过将自注意力和前馈网络计算块块地分布在多个设备上,实现了内存高效,允许训练超过 500 倍长度的序列。研究人员的实验证明,RingAttention 可以将 Transformer 模型的内存需求降低,使其能够训练比以前的内存高效方法长 500 倍以上的序列,而不需要对注意力机制进行近似。此外,RingAttention 还允许处理长度超过 1 亿的序列,为处理大规模数据提供了可能性。
上一篇:
币安将上线RIF1-50倍U本位永续合约
推荐专栏
热门币种
更多
币种
美元价格
24H涨跌幅
热搜币种
更多
币种
美元价格
24H涨跌幅
最新快讯
更多
2024-05-14 08:05:51
2024-05-14 08:04:24
2024-05-14 08:02:50
2024-05-14 08:01:15
2024-05-14 08:00:35
2024-05-14 08:00:31
2024-05-14 08:00:02