MLPerf放榜!AI芯片公司墨芯人工智能再夺MLPerf大模型推理三项冠军

发布时间:2023-09-15 浏览量:160

最新MLPerf推理测试结果公布,墨芯人工智能再次夺冠,其S30计算卡在GPT-J大模型的单卡、4卡、8卡推理性能均位居第一。此前墨芯已在MLPerf上连续两届夺冠。在60亿参数GPT-J模型上,墨芯通过独创的双稀疏算法与硬件协同设计,实现了高达1.8倍于4nm制程英伟达H100的性能优势。墨芯的成绩证明,稀疏计算技术是大模型时代的关键,可减少模型计算量,缓解算力需求激增、功耗过大等痛点,为大模型
豆绘AI(douhuiai.com)09月15日 消息:

最新MLPerf推理测试结果公布,墨芯人工智能再次夺冠,其S30计算卡在GPT-J大模型的单卡、4卡、8卡推理性能均位居第一。此前墨芯已在MLPerf上连续两届夺冠。

在60亿参数GPT-J模型上,墨芯通过独创的双稀疏算法与硬件协同设计,实现了高达1.8倍于4nm制程英伟达H100的性能优势。

墨芯的成绩证明,稀疏计算技术是大模型时代的关键,可减少模型计算量,缓解算力需求激增、功耗过大等痛点,为大模型在参数量层面取得飞跃提供可能。墨芯已推出支持多种大模型的AI计算平台,性能高、效率优。

业界认为,墨芯等稀疏计算创新,将引领大模型应用深入各行各业。MLPerf成绩是对墨芯产品实力的肯定,也印证稀疏计算将助力大模型算力实现根本性变革。


声明: 本站所有文章,如无特殊说明或标注,均为网友发布。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

最新热文 7天