UC,优世界 U WORLD

据 IT 之家 11 月 14 日报道，谷歌近日携手加州大学伯克利分校（UC Berkeley），研发出了可取代扩散模型（Diffusion Models）的全新生成式 AI 方法“幂等生成网络（IGN）”。 包括生成对抗网络（GAN）、扩散模型（Diffusion Models）和今年 3 月 OpenAI 发布的一致性模型（Consistency Models）在内，当前主流生成式 AI 模型都是随机噪点、草图或者低分辨率或其他损坏的图像等输入，映射到与给定目标数据分布相对应的输出（通常是自然图像）来生成图像。以扩散模型为例，在训练期间学习目标数据分布，然后通过多个步骤执行“去噪”处理。 谷歌研究团队提出了名为幂等生成网络（IGN）的全新生成模型，从任何形式的输入中生成合适的图像，理想情况下只需一步即可完成。该模型可以想象为一种“全局投影仪”，将任何输入数据投射到目标数据分布上，和现有其它模型算法不同，不会限于特定的输入。

据站长之家报道，UC 伯克利研究人员提出了一项名为 RingAttention 的新方法，以解决深度学习模型中内存需求的挑战。在最新的研究中，研究人员探讨了 Transformer 模型在处理长序列时面临的问题，特别是由于自注意力机制引发的内存需求。RingAttention 通过将自注意力和前馈网络计算块块地分布在多个设备上，实现了内存高效，允许训练超过 500 倍长度的序列。 研究人员的实验证明，RingAttention 可以将 Transformer 模型的内存需求降低，使其能够训练比以前的内存高效方法长 500 倍以上的序列，而不需要对注意力机制进行近似。此外，RingAttention 还允许处理长度超过 1 亿的序列，为处理大规模数据提供了可能性。