剑指AI算力霸主英伟达 Cerebras发布自研超算训练的开源大模型

admin2年前生活百科14
󦘖

微信号

KTV115116

添加微信

  财联社

  当地时间周二,硅谷AI芯片公司Cerebras Systems发布7款类似于GPT的大语言模型。除了发布开源大模型外,展现了一条不用英伟达GPU、不接OpenAI接口也能实现“大模型自由”的道路。

剑指AI算力霸主英伟达 Cerebras发布自研超算训练的开源大模型

  单纯从数据来看,这次Cerebras发布的7个大模型参数量介于1.11亿至130亿之间。作为对比,谷歌的多模态视觉语言模型PaLM-E具有5620亿个参数;同样在本月发布的GPT-4模型虽然尚未公布确切数据,但有媒体援引内部人士透露,参数量大约是GPT-3(1750亿)的6倍。

  按照目前人类对AI的认知,模型越大,最终能够满足的需求就更加复杂。当然,规模较小的模型也有自己的用武之地,例如可以配置在手机、智能音箱中。同时也有研究显示,规模较小的模型如果经过多次训练,准确率反倒能变得更高。

  但如同上文所述,Cerebras本身是一家芯片公司,所以训练模型用的是自家的Andromeda AI超级计算机,其中部署了16套CS-2系统。非常具有记忆点的是,Cerebras生产的AI芯片WSE-2的尺寸约为英伟达A100芯片的56倍,核心数量达到85万个,同样是A100芯片的123倍。这块芯片使用的是台积电7nm工艺,售价超过200万美元。

剑指AI算力霸主英伟达 Cerebras发布自研超算训练的开源大模型

  所以周二发布的多款模型,本身也是Cerebras向AI算力霸主英伟达发出的战书。在OpenAI的ChatGPT点燃全球科创圈子的热情后,虽然有许多芯片公司试图撬动英伟达牢牢占据的市场,但取得实际成果的并不多。许多知名企业,也通过直接用英伟达的全套服务来训练自家的AI产品,从而快速取得成绩。

  面向潜在的客户,Cerebras也强调自己的芯片具有训练时间短、同等预算下准确率高等优点,是目前世界上已经公开的大模型中生产性价比最高的方案。公司CEO Andrew Feldman也确认,使用Cerebras训练出来的模型,未来也能在英伟达的系统中继续训练和定制化。

  多少有些嘲讽OpenAI发布GPT-4后不再开源的做法,Cerebras也在周二宣布公司训练出来的7个大模型全部在Apache-2.0许可的条件下向研究社区开放,包括模型本身、训练算法和权重,以此打造行业开源的标杆。

  Cerebras表示,任何人只需要向这些高度精准的预训练模型输入一定数量的数据,就能以很少的工作量,开发出功能强大垂直行业应用程序。

相关文章

胖胖圆圆可爱的字体-网络上很像小孩子写的字的那种是什么字体,谁能告诉我啊

胖胖圆圆可爱的字体-网络上很像小孩子写的字的那种是什么字体,谁能告诉我啊

本文目录一览: 1、网络上很像小孩子写的字的那种是什么字体,谁能告诉我啊 2、有没有像琥珀字体一样胖胖的,很可爱的字体? 3、这是什么字体啊?还有类似的字体吗?胖胖的 4、圆圆的字体怎么写...

和谐健康保险福建分公司因财务数据不真实被罚13.5万元

  8月11日金融一线消息,据国家金融监督管理总局网站发布的行政处罚信息公开表显示,和谐健康保险股份有限公司福建分公司因财务数据不真实,被处以罚款13.5万元;此外,胡慧被处以警告,并处罚款2万元。...

麦卡锡众议长之位摇摇欲坠 民主党领袖表态支持罢免

  麦卡锡的众议长之位摇摇欲坠,美国民主党领袖表示,不会帮助他对付党内“叛乱”。   在即将就罢免动议进行表决前,众议院民主党领袖Hakeem Jeffries周二表示,民主党领导人不会投票支持麦卡锡...

中国平安(601318.SH):前10个月保费收入合计为6873.64亿元

来源:格隆汇 格隆汇11月13日丨中国平安(601318.SH)公布,2024年1月1日至2024年10月31日,子公司中国平安财产保险股份有限公司原保险合同保费收入2493.96亿元,同比增长1.5...

海星股份一阳穿四线,数据回测持有5日上涨概率较大,技术面值得关注!

海星股份一阳穿四线,数据回测持有5日上涨概率较大,技术面值得关注!

策略之王发现,2024年09月18日收盘海星股份出现一阳穿四线(出水芙蓉)形态,是捕捉股价底部启动很好的参照物。海星股份如何操作? 股票市场中有人把一阳穿四线的大阳线称之为“出水芙蓉”,具有扭转一轮跌...

亚马逊在投诉后退还了部分卖家资金

亚马逊在投诉后退还了部分卖家资金

  在许多英国和欧盟卖家抱怨资金被意外扣留后,亚马逊已开始将部分卖家的资金退还给他们。   这一政策的改变导致一些卖家的业务几近崩溃。亚马逊告诉一些卖家,现在将把暂时扣款推迟到2024年1月。   ...

微信号复制成功

打开微信,点击右上角"+"号,添加朋友,粘贴微信号,搜索即可!