2023年初股市杠杆平台,ChatGPT掀起大模型热潮,国内互联网厂商也纷纷下场“手捏模型”,“百模大战”风起云涌。
但到了2024下半年,狂热开始慢慢褪去,科技界、学界到投资界进入冷静阶段——反思生成式AI如何落地、商业化,大模型的能力边界和迭代方向。
“从国内的整体发展看,到今年7月底,中央网信办批准的大模型大概有200个,其中只有三分之一是通用大模型,三分之二是行业大模型。我预测未来通用大模型的数量和占比会越来越小,行业大模型会越来越多。”香港科技大学校董会主席、美国国家工程院外籍院士、英国皇家工程院外籍院士沈向洋在2024大湾区科学论坛上说道。
简言之,通用大模型会逐渐往行业方向收敛,这意味着人工智能和产业的结合会越来越紧密,对实体经济的赋能也会愈加显著。在民营经济活跃的粤港澳大湾区,可以如何挖掘人工智能的新一轮机遇?
11月16—18日,2024大湾区科学论坛在广州南沙举行,包括诺贝尔奖得主、国家最高科学技术奖获得者、菲尔兹奖获得者在内的百余位顶尖科学家齐聚于此,对人工智能等前沿科技话题展开热烈讨论。
资料图片
从通用到行业模型
业界普遍把大模型训练形容为“炼丹”——在Transformer架构基础上,堆百亿、千亿级别的参数,达到一定阈值后,模型的语言理解、推理、生成能力出现一个明显跃升,也就是常说的“涌现”。
但这个过程需要耗费大量算力,烧钱自然不在话下。据国盛证券估计,GPT-3训练一次的成本约为140万美元。OpenAI的财务数据显示,到2029年都恐难实现盈利,到2026年亏损可能达140亿美元,当中大部分的花费要投入到模型训练中。
不止OpenAI,烧钱基本是大模型公司的常态,因而如何实现盈利、完成商业转化,成为横亘在这些公司面前的现实问题。而对业界来说,也要回答大模型除了用于对话、还能拿来干嘛的问题。
“中国训练大模型的速度很快,最后国内会剩下几家企业具备万卡算力,来做真正底层的基座大模型。一旦有这样的通用大模型后,实际上更有意思的是行业大模型。”沈向洋指出,未来在医疗、金融等垂直赛道,有千张显卡就可以做行业大模型。每个企业肯定也要做自己的大模型,在行业大模型、通用大模型基础上加上自己的数据,几百张卡就可以做一个企业大模型,对内提高效率,对外可以提高产品的可用性。
Gartner的问卷调查发现,70%的公司正在投资于生成性AI研究,并将其纳入其业务战略。
今年以来,谷歌、微软和Meta都在开发自己的专有定制模型,为客户提供个性化的服务。通过特定领域的预训练、模型对齐、监督微调,来应用于特定行业。
加拿大工程院院士、欧洲科学院院士、香港科技大学计算机科学与工程系讲座教授郭嵩向21世纪经济报道记者表示,学术界在做0-1的科学发现,不一定能直接产出经济效益。这些年,自己团队通过联合实验室的方法和大型企业建立了密切联系,也和医学院、大型医院建立了合作,对医疗医学建立了更深刻的理解。在这个基础上,才能做出精准的垂类大模型,不久前团队刚发布了四个医疗的大模型,引起了不小反响。这是一种长期的方法,就是把AI的技术、科学计算的公式融入行业,和特定领域的知识融会贯通,这样或许能够产生真正有效的大模型。
大模型正在“向下扎根”,这无疑是产业生态活跃的大湾区优势所在。
中国科学院院士、深圳大学校长毛军发认为,珠三角最重要的优势就是民营经济非常活跃,创新创业的氛围应该说是全中国乃至全世界最好的地区之一。人工智能技术产业化无非就是两种模式,一种是AI+X,另外一种是X+AI,X就是产业应用,而且毛军发认为X+AI可能更重要,应该由各行各业的企业、企业家对人工智能提出需求,并寻找到相关应用落地。
应用层正是大湾区人工智能的主要发力领域。就以广州为例,丰富的应用场景已经吸引了一大批人工智能企业,涌现出云从科技、文远知行、极飞科技等明星企业,它们在自动驾驶、智能农业等不同领域走出差异化发展之路。
关注“卖铲子的人”
业界常言,人工智能的发展有三要素——数据、算力、算法。算法决定模型的准确性和效率,数据是养料,决定内容输出的质量,算力则是铲子,是训练大模型的基础。
沈向洋提及了一组数据,从2019年到现在,每一年出来的最新大模型所需要的算力和前一年相比,刚开始是以每年翻六七倍的规模在增长,最近几年稳定下来,大概以每年翻四倍的增速在增长。可以想象,算力需求一年翻几倍,十年下来这个数字会非常夸张。因为大模型对应大量参数,需要的数据量也在增加,训练模型的算力需求也会激增。所以在整个AI浪潮中,最大的赢家是英伟达。
“这几年我经常讲一句话,叫‘讲卡伤感情,没卡没感情’,算力是人工智能发展的门槛。”沈向洋点出。
过去两年,英伟达市值翻了10倍,一度登顶全球市值之王,足见算力在人工智能江湖里的地位。
但业界也知道,依赖单一一个“卖铲子”的人是有风险的,因为它可以垄断供货、操纵价格。
分析来看,美元指数的持续强势已成为近期抑制金价上涨的主要因素。自特朗普胜选以来,美元指数显著攀升,连续刷新近期高点,目前攀升至106点以上,接近5月份的阶段性峰值,能否进一步上涨,需密切关注晚间美国消费者价格指数(CPI)以及明日的生产者价格指数(PPI)数据,并留意数据对美联储降息预期产生重要影响。
人工智能与数字经济广东省实验室(深圳)协理副主任黄哲学表示,我们面临的一大挑战是,英伟达限制GPU出口,以前有卡可以建大规模集群,现在不一定建得了。要解决这个问题,还是得走自力更生的道路,立足于国产算力。所以我们鹏城云脑,从II到III都是由华为供应自主芯片的。
同时,解决国产算力问题最主要的还是生态问题。黄哲学进一步指出,我们现在用的很多大模型、开源软件都是从国外来的,大部分是基于英伟达的。自主创新之后,因为芯片改变了,底层的一些算法就不一样了,所以我们要开发类似英伟达CUDA的系统,可以适配国外的软件,同时也可以自主研发自己的创新应用,这样来解决算力的问题。
着眼大湾区,深圳正大力建设国家超算深圳中心、鹏城云脑、腾讯云等算力基础设施。此前IDC发布的《全球计算力指数评估报告》显示,中国的算力产业规模和多样性目前正持续高速增长,2018年至2022年,深圳的算力规模位居全国前三。
去年5月,鹏城实验室首次对外发布了中国算力网计划。这次大湾区科学论坛上,中国工程院院士、鹏城实验室主任高文介绍,作为国家重大科技基础设施,鹏城云脑Ⅱ已在IO500全球总榜单中连续8次夺得魁首,建设中的鹏城云脑Ⅲ建成后,算力规模将达到16000P,相当于832万台家用电脑算力之和。
“大模型并非无所不能”
今年6月,牛津大学发布研究报告《Theory is all you need》,标题上和大模型的开山之作《Attention Is All You Need》相呼应,但牛津的报告则抨击了大模型为代表的AI局限性问题。该报告指出,人类认知的本质是“理论驱动”的,人类不仅能够通过现有数据得出合理推论,更能基于假设、直觉以及跨领域的联想,提出具有前瞻性的创新想法。但大模型的本质更接近于对已有知识的模仿,而非对新知识的原创性探索。
沈向洋也认为,大模型虽然做出来了,但是不可解释,也不稳定,就出很多的问题。人们认为智能有限,似乎大模型出来之后,智能就出来了。但同时,很多人也在怀疑,现在这样的一套体系是不是真的可以走很远。去年,自己也在香港科技大学组织了一批科学家去探讨,“涌现”背后的数学原理到底是什么,试图打开大模型的“黑盒”。
清华大学教授李宗鹏也向21世纪经济报道记者表示,大模型出来后,很多人以为它可以用来做很多事情,颠覆整个经济形态,但是实际上大模型并非无所不能。就说AI幻觉这个点,从数学的角度看,这是大模型永远摆脱不了的问题,因为自然语言处理是基于概率生成和输出内容的,从这一点看,就没办法确保百分百准确。所以AI可以做艺术、文本创作,但是在做需要特别精确的事情时,肯定会存在局限性。
现阶段,大模型依然在沿着规模法则(scaling law)在发展,也就是堆叠的参数、投喂的数据越多,模型就越强大。但质疑的声音不时出现,即使互联网的数据浩如烟海,但迟早会有用完的一天,而且靠堆参数训练模型,这样的方法会越来越不经济。规模法则还是一条可行的路吗?
在郭嵩看来,从目前来看,顶级的科技公司还是非常坚信规模法则,相信随着参数、数据有指数级的增长,涌现的能力也会有显著增强,也就是说投入和产出大致还是成比例的。至于未来要如何去颠覆、下一个规律是什么,就要有待科学界和业界去探索了。但可以关注的是,李飞飞教授提出来的空间智能,她认为这是AI的下一个方向。简单而言就是股市杠杆平台,现在的大模型还停留在语言层面,但语言是离散的,也难以形成对物理世界的真正理解,所以结合对空间、时间等深层尺度的理解,才能往通用人工智能(AGI)更近一步。
上一篇:按天配资利息 北京海淀发力量子信息产业 争夺量子产业第一城
下一篇:没有了
Powered by 股票配资门户_在线炒股配资_最专业股票配资平台 @2013-2022 RSS地图 HTML地图