全世界最大的超算 Frontier 使用 3072 块 AMD GPU 训完超万亿参数 LLM
来源: 巴比特2024-01-14
据新智元 1 月 13 日报道,用AMD的软硬件系统也能训练GPT-3.5级别的大模型了。 位于美国橡树岭国家实验室(Oak Ridge National Laboratory)的全世界最大的超算Frontier,集合了37888个MI250X GPU和9472个Epyc7A53CPU。最近,研究人员只使用了其中8%左右的GPU,就训练了一个GPT-3.5规模的模型。研究人员成功地使用ROCM软件平台在AMD硬件上成功地突破了分布式训练模型的很多难点,建立了使用ROCM平台在AMD硬件上为大模型实现最先进的分布式训练算法和框架。 成功地在非英伟达和非CUDA平台上为高效训练LLM提供了可行的技术框架。 训练完成后,研究人员将在Frontier上训练大模型的经验的总结成了一篇论文,详细描述了期间遇到的挑战以及克服的困难。
热门新闻
- 110 张图揭示加密市场现状:BTC 市占率超 52%,一季度稳定币供应量上涨 14%
- 2本周值得重点参与的3个链游项目:MapleStory Universe、AI ARENA、My Neighbor Alice「GameFi 猎手」
- 3AI 代币另一面:多数项目忙于金融利益,而非现实影响
- 4香港现货ETF即将上市,还有哪些「香港概念」项目值得关注?
- 5牛市如何暴富?关于加密市场的6点思考
- 6加密货币文化的无限潜力
- 7Movement Labs完成3800万美元A轮融资,旨在将MoveVM引入以太坊
- 8Gate.io创始人韩林TOKEN2049周边活动演讲:基础设施是区块链大规模采用的关键
- 9Bitget研究院:Runes协议上线导致BTC网络费用激增,BONK领涨Solana Meme
交易平台最新公告查看更多>