MIT 博士生发现新方法“LASER”,无需额外训练可提升模型 30% 性能

来源: 巴比特2024-01-01
据量子位报道,MIT 博士生发现,只需对 Transformer 的特定层进行一种非常简单的修剪,即可在缩小模型规模的同时显著提高模型性能。效果主要体现在文本理解任务上,最高可达 30%。除了文本理解,它也适用于强化学习。这个操作只需在模型训练完成之后进行,不需要额外的参数和数据。 该方法全称“Layer-Selective Rank Reduction”,简称“LASER”。这是一种选择性地去除 LLM 权重矩阵高阶组件(components)的干预措施,操作就在 Transformer 模型的特定权重矩阵和层中进行。研究发现,即使完全去除 90% 以上,模型性能一般也不会下降。
利好利好
0
利空利空
0
交易平台最新公告查看更多>
成交额排行榜
  • 交易所
  • 币种
排名 交易所 成交额
1 币安网币安网 ¥6,793.34亿
2 欧易OKX欧易OKX ¥2,590.66亿
3 火币全球站火币全球站 ¥187.99亿
4 抹茶抹茶 ¥405.07亿
5 芝麻开门芝麻开门 ¥491.87亿
6 库币库币 ¥190.36亿
7 Coinbase ProCoinbase Pro ¥193.14亿
8 bitFlyerbitFlyer ¥8.36亿
9 BitMEXBitMEX ¥0
10 BitstampBitstamp ¥19.88亿