高校为何难出大模型

admin1年前生活百科4
󦘖

微信号

KTV115116

添加微信

  作者: 金叶子

  [ 和团队率先在国内发布了具备 ChatGPT 能力语言模型MOSS的复旦大学计算机学院教授邱锡鹏表示,大模型更顶尖的研究机构在业界,这是一个不可回避的事实。从DeepMind再到OpenAI,都是如此。美国的很多著名高校,从研究实力上看已经落后于这些顶级的研究院了。 ]

  ChatGPT诞生至今已过去9个多月,大模型在产业界和学界的最新进展有哪些?

  在8月24日举行的2024世界人工智能大会(WAIC)青年优秀论文奖颁奖仪式暨青年科学家论坛上,谈到大模型为何难以首先诞生在高校,同济大学计算机系副主任何良华教授认为,学界之所以很难出现ChatGPT这样的模型,主要是算力和数据的问题。

  何良华说,大模型非常吃算力,高校也难以去购买大量的算力。而有了算力之后,要把参数训练得比较成熟,需要海量的数据,但是学界是拿不到这么多数据的。除了这两个问题,还和学界自身的需求有关。“我们都期望在理论上做一些创新。比如我的学生如果跟我说现在需要几千张卡(算力)来做一个事情,我所有的经费给他也不够,课题也难以立项。因为它既不是应用,又不是理论,找不到这样一笔经费,研究只能中断。”

  和团队率先在国内发布了具备 ChatGPT 能力语言模型MOSS的复旦大学计算机学院教授邱锡鹏表示,大模型更顶尖的研究机构在业界,这是一个不可回避的事实。从DeepMind再到OpenAI,都是如此。美国的很多著名高校,从研究实力上看已经落后于这些顶级的研究院了。

  邱锡鹏解释,学校和研究院的差异还是在于自由的探索。对于很多研究院来讲,长期的目标还是奔着盈利,包括国内很多企业之前也建了很多研究院,过不了几年就发现可能面临着盈利、变现的压力,导致做的研究不是特别纯粹。在他看来,OpenAI的团队是一个以前没有出现过的形态,这种制度设计非常好,能使团队既能坚持本心做研究,同时也没有那么大的压力。

  “在学校的话还是要发挥学校的长处,做的研究没有太多的盈利要求或面临短期变现的压力,也可以思考得更长远。特别在如今高算力要求的情况下,在学术界和产业界的研究院之间,还是可以发挥学术界的优势。”他说。

  上海科技大学生物医学工程学院常任助理教授钱学骏则认为,工业界做出的很多创新性和比较有影响力的工作,可能不是学界追求的主要目标。“学界可能更想(发明)一种思路上的想法,而不是通过大算力、大数据,集中各方面的优势做出来的,对学界来说这些也不够有优势,无法获得大量数据。”

  华为诺亚方舟实验室AI研究员谢恩泽说,怎么构建高质量的数据集,可能是对于大模型一个很重要的补充。模型本身来说,用多大的模型配多大的数据以及用多长时间,这也是很重要的,而这些只有在大厂才有机会接触一些资源。

  今年以来,生成式人工智能的发展成为地方政府和科技大厂瞄准的关键词。科技部人工智能发展研究中心5月底发布的《中国人工智能大模型地图研究报告》显示,当前国内10亿参数规模以上的大模型已发布79个。

  在不久前的浦江基础科学发展论坛上,清华大学人工智能研究院常务副院长孙茂松教授对第一财经表示,我国乃至全球发展大模型最终的突破关键,是基础科学的突破。

  他说,对于大模型,当前的问题在于并不清楚OpenAI的机理是如何运作的,就连推出ChatGPT的OpenAI公司首席执行官萨姆·奥特曼也表示,虽然做出了GPT但也不清楚发生的原理,“实际上就是对这个机理还不清楚”。他认为,现有的人工智能模型已经能做到说话通顺,但这个问题的内在实现逻辑仍然十分复杂。如果弄清楚了大模型里的规律、ChatGPT背后的机理,就有可能克服现有人工智能大模型的局限性,建立下一代人工智能的理论和模型。

相关文章

抵押物价值调查不到位 江西广丰农村商业银行被罚40万元

抵押物价值调查不到位 江西广丰农村商业银行被罚40万元

  7月25日金融一线消息,据国家金融监督管理总局网站发布的行政处罚信息公开表显示,江西广丰农村商业银行因抵押物价值调查不到位,被中国银保监会上饶监管分局罚款40万元;   同时,徐华、杨磊二人对该行...

大森控股(01580.HK)拟1万元出售大森(菏泽)生物质能源全部股份

来源:格隆汇 格隆汇12月21日丨大森控股(01580.HK)公告,于2024年12月21日,卖方大森(香港)控股有限公司(公司的间接全资附属公司)、买方山东福联商业有限公司、目标公司大森(菏泽)生物...

丽珠医药注册资本将减少至9.39亿元

丽珠医药注册资本将减少至9.39亿元

  丽珠医药(01513)发布公告,在该公司注销完成回购的A股股份609.38万股后,公司总股本由9.45亿股(其中A股股本为 6.25亿股,H股股本为3.2亿股)减少至9.39亿股(其中A股股本为...

上海复旦(01385.HK):8月31日南向资金减持75.2万股

上海复旦(01385.HK):8月31日南向资金减持75.2万股

8月31日北向资金减持75.2万股上海复旦(01385.HK)。近5个交易日中,获南向资金减持的有4天,累计净减持138.1万股。近20个交易日中,获南向资金减持的有13天,累计净减持223.9万股。...

灿瑞科技(688061.SH):首次回购3.71万股

来源:格隆汇 格隆汇1月5日丨灿瑞科技(688061.SH)公布,2024年1月5日,公司通过集中竞价交易方式首次回购股份37,080股,占公司总股本114,889,391股的比例为0.03%,回购成...

8月30日基金净值:中信保诚丰裕一年持有期混合A最新净值0.9797,跌0.07%

8月30日基金净值:中信保诚丰裕一年持有期混合A最新净值0.9797,跌0.07%

8月30日,中信保诚丰裕一年持有期混合A最新单位净值为0.9797元,累计净值为0.9797元,较前一交易日下跌0.07%。历史数据显示该基金近1个月下跌1.11%,近3个月上涨1.72%,近6个月下...

微信号复制成功

打开微信,点击右上角"+"号,添加朋友,粘贴微信号,搜索即可!