英伟达H100霸榜权威AI性能测试 11分钟搞定基于GPT-3的大模型训练

admin1年前生活百科4
󦘖

微信号

KTV115116

添加微信

  财联社

  当地时间周二,机器学习及人工智能领域开放产业联盟MLCommons披露两项MLPerf基准评测的最新数据,其中英伟达H100芯片组在人工智能算力表现的测试中,刷新了所有组别的纪录,也是唯一一个能够跑完所有测试的硬件平台。

英伟达H100霸榜权威AI性能测试 11分钟搞定基于GPT-3的大模型训练

  MLPerf是由学术界、实验室和产业组成的人工智能领袖联盟,是目前国际公认的权威AI性能评测基准。Training v3.0包含8种不同的负载,包括视觉(影像分类、生物医学影像分割、两种负载的物体侦测)、语言(语音识别、大语言模型、自然语言处理)和推荐系统。简单来说,就是由不同的设备供应商提交完成基准任务所需要的时间。

英伟达H100霸榜权威AI性能测试 11分钟搞定基于GPT-3的大模型训练

  在投资者比较关注的“大语言模型”训练测试中,英伟达和GPU云算力平台CoreWeave提交的数据为这项测试设定了残酷的业界标准。在896个英特尔至强8462Y+处理器和3584个英伟达H100芯片的齐心协力下,仅仅花了10.94分钟就完成了基于GPT-3的大语言模型训练任务。

  除了英伟达外,只有英特尔的产品组合在这个项目上获得评测数据。由96个至强8380处理器和96个Habana Gaudi2 AI芯片构建的系统中,完成同样测试的时间为311.94分钟。横向对比,使用768个H100芯片的平台跑完这个测试也只需要45.6分钟。

英伟达H100霸榜权威AI性能测试 11分钟搞定基于GPT-3的大模型训练

  对于这个结果,英特尔也表示仍有上升空间。理论上只要堆更多的芯片,运算的结果自然会更快。英特尔AI产品高级主管Jordan Plawner对媒体表示,接下来Habana的运算结果将会呈现1.5倍-2倍的提升。Plawner拒绝透露Habana Gaudi2的具体售价,仅表示业界需要第二家厂商提供AI训练芯片,而MLPerf的数据显示英特尔有能力填补这个需求。

  而在中国投资者更熟悉的BERT-Large模型训练中,英伟达和CoreWeave将数据刷到了极端的0.13分钟,在64卡的情况下,测试数据也达到了0.89分钟。BERT模型中的Transformer结构正是目前主流大模型的基础架构。

相关文章

【ETF操盘提示】新一轮“降息潮”启动,大行存款利率进入“2时代”?银行ETF(512800)早盘震荡攀升涨逾1%

【ETF操盘提示】新一轮“降息潮”启动,大行存款利率进入“2时代”?银行ETF(512800)早盘震荡攀升涨逾1%

  据证券时报消息,多家国有大行近日将下调部分存款利率,开启新一轮“降息潮”。消息称,人民币活期存款利率调降5个基点,部分定期存款利率下调10个基点;美元定期存款根据不同期限和不同规模亦有调降,5万美...

诺诚健华:傅欣获委任为首席财务官

诺诚健华:傅欣获委任为首席财务官

  诺诚健华(09969)发布公告,诺诚健华医药有限公司董事会宣布,根据公司章程与相关适用规则,经公司行政总裁提名及董事会薪酬委员会建议,并经公司董事会审议通过,傅欣获委任为公司首席财务官,自202...

简繁体字转换-简化繁体字如何转换?

简繁体字转换-简化繁体字如何转换?

本文目录一览: 1、简化繁体字如何转换? 2、简体字转繁体字 3、简体怎么转繁体? 4、简转繁体字转换 5、繁体字怎么转换简体字 简化繁体字如何转换? 以网页转换简繁体为例子简繁体字...

广州浪奇股价上穿BBI均线,多头能否坚守?

广州浪奇股价上穿BBI均线,多头能否坚守?

今日广州浪奇(维权)股价上穿BBI指标,趋势指标正向反馈,后市或走向多头行情。点击咨询广州浪奇如何操作 策略之王监测到,广州浪奇股价向上穿破了BBI指标线,指明价格走势的运行方向。BBI指标是MA均线...

资产规模超3100亿元银行官宣:公开招聘总行行长!

资产规模超3100亿元银行官宣:公开招聘总行行长!

  每经编辑 杜宇   央企集团旗下城商行,公开招聘总行行长!   5月4日,华润招聘微信公众号发布消息显示,珠海华润银行总行行长正在公开招聘。   来看看其任职条件:   作为央企集团下属的银...

木瓜汤-介绍几种木瓜炖汤的做法,家常点的

木瓜汤-介绍几种木瓜炖汤的做法,家常点的

本文目录一览: 1、介绍几种木瓜炖汤的做法,家常点的 2、木瓜汤的做法与功效与作用 3、木瓜汤怎么做 4、木瓜炖汤的做法大全集 5、木瓜煲汤100种做法 6、木瓜汤怎么煲才好一点...

微信号复制成功

打开微信,点击右上角"+"号,添加朋友,粘贴微信号,搜索即可!