百度文心4.0训练史上最大参数模型,推理成本增加10倍

admin1年前生活百科3
󦘖

微信号

KTV115116

添加微信

  近日,有媒体报道称,百度正加紧训练文心大模型4.0,这将是文心大模型3.5版本后又一个重磅版本。据报道,文心大模型4.0进展比预期快很多,将是基础模型的大升级,理解、生成、逻辑、记忆核心能力都将提升,特别是在逻辑推理、代码和数学等方面提升最明显。

  10月10日,记者从百度内部人士基本确认了该消息,据悉,即将推出的文心大模型4.0的参数量、训练数据量以及推理成本等都比3.5高出一个数量级。

  最近关于百度文心大模型4.0的消息一直不断,小道消息跟GPT-4发布前媒体的报道可以说只多不少。不管是发布时间、模型的参数量,还是成本,都被爆出不少猛料。

  据爆料,文心大模型4.0的推理成本相比文心大模型3.5增加很多,有传闻是8-10倍,也有说法是至少翻了10倍。

  早前,据华尔街日报爆料:微软用户量高达150万的AI编程工具GitHub Copilot,平均每个月在每个用户身上都要倒贴20美元,最高能达80美元。也就是说,微软自做出Copilot以来,光是一个月在它上面亏损就高达3000万美元,一年下来亏损直接过亿。同时,Copilot也不是免费的,会员每月还得交10美元“使用费”。

  有大模型行业专家透露,大模型的推理成本跟三个因素相关:模型的网络结构和参数规模、推理部署方式、芯片和集群架构。

  从已经爆出来的信息看,文心大模型4.0的参数规模要大于目前所有公开发布参数的大语言模型,预计可能突破万亿级别。换句话说,文心4.0的神经网络结构将变得更复杂、参数规模更大,这必然带来更大的计算量,推理成本增加也就顺理成章。

  推理部署一直是百度的强项,尤其是在自家框架飞桨的支持下,并行推理、量化推理和变长优化等等都是飞桨在大模型推理上很好用的工具。在模型参数量变大的情况下,不知道通过飞桨和文心的联合优化能不能找补回来一点。

  最后就是芯片和集群了,使用什么样的芯片型号,用多大的规模和集群架构进行推理都会影响大模型的推理成本。以GPT-4为例,据爆料,GPT-4推理运行在由 128 个 GPU 组成的集群上。在不同地点的多个数据中心存在多个这样的集群。文心大模型4.0在这方面,不知是否也遇到了挑战。

  虽然大模型领域的“摩尔定律”(Scaling Laws)已经开始发挥作用,随着未来能源和计算成本快速下降,更强大的AI能力将会出现。

  但现实是,随着大语言模型的不断升级迭代,参数量突破万亿、模型能力越来越强、用户使用量激增,推理成本都是大模型厂商需要持续优化的地方。

  今年3月16日,百度官宣新一代大语言模型“文心一言”启动邀测,8月31日正式面向公众开放服务。如今,文心大模型即将再度升级发布4.0版,如此迅速的大模型升级速度,在国内尚属唯一。只不过,快速升级的背后,文心大模型4.0快速攀升的参数量、数据量所带来的训练和推理成本提升,也正在成为大模型商业化过程中需要考虑的重点。

相关文章

手机屏幕闪烁-手机屏幕闪烁是什么原因?

手机屏幕闪烁-手机屏幕闪烁是什么原因?

本文目录一览: 1、手机屏幕闪烁是什么原因? 2、手机屏幕闪烁是什么原因 3、手机屏幕闪烁是怎么回事? 4、手机屏幕闪烁怎么回事? 5、手机屏幕闪烁怎么办? 手机屏幕闪烁是什么原因?...

招银理财再推黄金理财产品,将考虑“雪球”等场外期权工具

招银理财再推黄金理财产品,将考虑“雪球”等场外期权工具

  界面新闻记者 | 韩宇航   招银理财上一只黄金理财产品“招睿目标盈稳金24月封闭1号”发布不足三个月,明天将又一次推出黄金理财产品“招睿目标盈稳金2号”,该产品认购期为1月18日至1月24日。...

韵达快递寄丢20万物品仅赔1000元 因人员流失无力分拣?

韵达快递寄丢20万物品仅赔1000元 因人员流失无力分拣?

  新浪科技讯 6月15日下午消息,有用户向新浪科技反馈,韵达快递将其近20万元的物品寄丢,但仅赔偿1000元,并且官方处理态度推诿,迟迟不予开丢失证明。   据陈先生描述,2024年12月13日,他...

个人邮箱怎么注册-如何申请个人邮箱

个人邮箱怎么注册-如何申请个人邮箱

本文目录一览: 1、如何申请个人邮箱 2、个人邮箱怎么注册申请 3、如何注册电子邮箱帐号? 4、怎么创建个人电子邮箱? 5、怎么申请个人邮箱,怎么注册? 如何申请个人邮箱 现在网上可...

中信证券明明:部分资管机构在高点新发产品,导致基民在市场最高点持有基金

中信证券明明:部分资管机构在高点新发产品,导致基民在市场最高点持有基金

专题:2024三亚·财经国际论坛   “2024三亚·财经国际论坛”于12月16日-17日在三亚举办。中信证券首席经济学家明明出席并演讲。   在被问及股市为何目前在3000点徘徊时,明明称,今年股...

九芝堂股价站上5日均线,“阳包阴”形态短期看涨??看15次回测数据

九芝堂股价站上5日均线,“阳包阴”形态短期看涨??看15次回测数据

行情显示,九芝堂今日出现阳包阴形态,多方力量一举收复失地。该组合持有九芝堂相关个股,点击跟踪查看 “策略之王”发现, 九芝堂出现阳包阴的同时,股价站上5日均线,表示短期多方强势,上涨信号得到了进一步的...

微信号复制成功

打开微信,点击右上角"+"号,添加朋友,粘贴微信号,搜索即可!