大模型似乎没那么“热”了。今年6月,ChatGPT访问量环比下滑9.7%,为其推出以来首次下滑。从全球范围看,尽管不断有企业发布或更新大模型,但媒体和公众似乎没那么“上头”了。在昨天举行的2023世界人工智能大会青年优秀论文奖颁奖仪式暨青年科学家论坛上,复旦大学计算机科学技术学院教授邱锡鹏直言,虽说是“百模大战”,但各家大模型之间同质化严重,实质性的创新比较少。事实上,大模型远未到变成一个单纯的工程问题的时候,距离人们理想中的通用人工智能,其本身还有许多科学问题亟待解决。
“百模大战”其实是“一张脸”
(相关资料图)
“大模型还有科学价值吗?”邱锡鹏在开场白中似乎就给大模型浇了一盆冷水。大模型的爆火并非偶然,是几十年科研不断推进的结果,但在ChatGPT爆火后,一个明显的变化是这一领域中科学进步少了,大家都寄希望于通过工程手段“大力出奇迹”。
比如,现在几乎所有的大模型预训练都基于Transformer架构,这固然是一个非常好用的架构,但其弊端也愈发显现,它所耗费的计算资源非常庞大,需要超级算力的支撑。
另外,生成范式成为主流,这使得想要使用大模型,就必须将自己的任务变成生成式的,即便是那些非常复杂的结构化预测问题也都要用生成式方法解决。甚至,连生成式范式也在趋向统一,原先还有Seq2Seq(一种用于序列到序列的深度学习模型)和LM(语言模型)两大类,现在只剩下后者。
而且,研究领域也在萎缩。邱锡鹏说,以自然语言处理(NLP)为例,2015年之前,这个领域还有多个不同方向,比如对话、问答、机器翻译等,那时的学者各自有着自己的研究,并从别的研究领域中获得灵感,而现在大家都涌向大语言模型这条单一赛道。
大模型面临“十大科学挑战”
尽管大模型展现出通往通用人工智能的潜力,但这条路并不好走。邱锡鹏列出了大模型亟需解决的“十大科学挑战”,包括架构设计、思维链、幻觉、多模态延展、自动化评价、平民化等。其中,大模型的架构创新是当务之急。邱锡鹏说,大模型之所以称为大模型,是因为其庞大的数据量使其拥有了涌现的能力,虽然人们至今不知道涌现是如何发生的,但是否有涌现是区别大模型与小模型的主要特征。换言之,想要大模型更智能,继续扩大其规模是一条显而易见的路。
但是,当下主流的Transformer架构已经制约了模型的进一步扩大。这是因为Transformer的复杂度是输入字符长度的平方级,每多输入一个字符,计算量就会以指数级增长。因此,“只有找到更高效的新架构,才能支持未来模型规模的进一步扩张。”
另一个对大模型发展至关重要的问题是评价体系。尽管当下有许多测评大模型优劣的榜单,但业内对此并没有形成统一标准。而且对于擅长“刷题”的大模型来说,很多数据集上的表现已不足以衡量其真实能力。
颠覆性创新常在“冷门”处
深入研究创新规律不难发现,越是扎堆的“热门”圈子,往往难出颠覆性创新成果,ChatGPT本身就是个“冷门选手”爆火的案例。在其火遍全球之前,在大语言模型领域,谷歌的“理解与生成相结合”的路线是绝对的主流,在这种情况下,研发ChatGPT的OpenAI公司仍然选择坚持走自己的路。
现在,原本默默无闻的生成式AI成为了“顶流”。当人们一哄而上投入其中时,仍有一部分人还在坚持以IBM沃森机器人为代表的“AI符号主义”技术路线。以“爆款”常偏爱“冷门”的创新规律来看,或许未来的“核爆点”会奖励默默坚持的“少数派”。
事实上,获得今年世界人工智能大会最高奖项SAIL奖(卓越人工智能引领者奖)的论文《机器学习结合阻抗谱技术预测锂电池老化》,就不是一个关于大模型的研究。文章作者、中山大学物理学院副教授张云蔚说,她只采集了2万个电化学阻抗谱,就实现了AI精准建模。比起海量数据,更重要的是思路。就是这样一个小模型,将过去需要花费几天才能实现的电池寿命预测缩短到了15分钟,且检测精度是原来的10倍。
在大模型爆火的半年多时间里,大家似乎形成了一种共识,即只有资金雄厚和数据储备充足的大厂才有进军大模型的资格。对此,邱锡鹏认为,大模型还有大量科学问题需要攻关,这些问题除了预训练阶段需要耗费大算力外,在对齐、指令微调等方面所需的算力并不高。而随着算法的优化,3090显卡足以能完成大模型的研究,这是一条小公司也能“出奇迹”的赛道。(记者 沈湫莎)
-
双肺纹理增重是什么意思?双肺纹理增强能自己慢慢好吗?双肺纹理增重,是影像学检查的一种描述。通常通过肺部的X光检查,或者是肺部CT检查,对肺纹理进行描述,即肺纹理增重或肺纹理...
-
支气管肺炎鉴别诊断?支气管肺炎需要住院吗?支气管肺炎是发生在支气管和肺实质的炎症性疾病,表现为咳嗽、咳痰,病人出现发热等感染症状。如果是病毒感染所造成的支气管...
-
肺部纤维灶是怎么回事?怎样治好肺纤维灶?肺部纤维灶是肺部过去的炎症,或者其他因素导致肺部结构破坏。炎症控制后肺部遗留纤维组织增生、纤维母细胞浸润,所形成的纤...
-
打鼾吃什么药最有效?打呼噜声音特别大怎么治疗?针对打鼾病人来讲,引起打鼾的原因可能多种多样,在药物方面有不同选择。如果病人打鼾是鼻腔问题,如鼻甲肥大、鼻中隔偏曲、...
-
间质性肺病的最佳治疗方法?间质性肺疾病能活多久?间质性肺病的最佳治疗方法,是由间质性肺病的病因所决定。引起间质性肺病的原因其实很多,有感染性因素和非感染性因素,具体...
-
双肺纹理增重是什么意思?双肺纹理增强能自己慢慢好吗?
2023-06-15 13:56:42
-
支气管肺炎鉴别诊断?支气管肺炎需要住院吗?
2023-06-15 13:55:22
-
肺部纤维灶是怎么回事?怎样治好肺纤维灶?
2023-06-15 13:54:26
-
打鼾吃什么药最有效?打呼噜声音特别大怎么治疗?
2023-06-15 13:52:18
-
间质性肺病的最佳治疗方法?间质性肺疾病能活多久?
2023-06-15 13:41:40
-
大模型“爆火”后,不妨再来点冷思考
2023-08-25 09:20:03
-
无线充电:行车充电两不误 未来续航不焦虑
2023-08-25 09:31:55
-
“黑科技”应用层出不穷 技术创新稳步突破——第七届未来网络发展大会观察
2023-08-25 09:29:01
-
网络平台加强经典影视作品修复工作 用高科技留存影像记忆
2023-08-25 09:31:19
-
建设机器人产业集聚区
2023-08-25 09:24:56
-
下好产业升级“先手棋” 跑出高质量发展“加速度”
2023-08-25 09:27:37
-
南阳市宛城区:产业振兴促进移民村乡村振兴
2023-08-25 09:23:50
-
来自大凉山的少年,到北大报到了(温情网事)
2023-08-25 09:28:52
-
邬雪晨:九岁女孩展示古典舞的美
2023-08-25 09:31:23
-
丰富的暑期生活
2023-08-25 09:32:55
-
我国科研团队发布水稻完整参考基因组
2023-08-25 09:20:19
-
第三届全国高校教师教学创新大赛举办
2023-08-25 09:20:53
-
南阳市宛城区:产业振兴促进移民村乡村振兴
2023-08-25 09:25:19
-
一图读懂丨第五届中国粮食交易大会有哪些看点?
2023-08-25 09:21:19
-
特朗普就佐治亚州大选案在富尔顿县自首
2023-08-25 09:27:11
-
碘盐不能防辐射!专家提示没必要囤盐
2023-08-25 09:20:19
-
@乘客朋友,郑州地铁俩车站出入口有变化
2023-08-25 09:26:14
-
全国第三批城市一刻钟便民生活圈试点地区名单公布,洛阳为全省唯一入选城市
2023-08-25 09:19:38
-
强化专业培训 提升资本运作能力
2023-08-25 09:22:02
-
徐衣显与中国建材股份有限公司副总裁王兵举行工作会谈
2023-08-25 09:23:53
-
市人大常委会副主任夏磊组织召开洛邑古城立法工作座谈会
2023-08-25 09:32:36
-
我市组织年轻干部深入开展调研实践活动,提升能力素质,助推产业发展
2023-08-25 09:23:06
-
硅片价格持续上涨 光伏产业链迎来价格拐点?
2023-08-25 09:30:16
-
动力电池装机量持续提升 相关上市公司业绩有望受益
2023-08-25 09:22:34
-
脑机接口让失语者以意念准确“发声”
2023-08-25 09:25:17
-
让金融阳光照进大山深处——中原银行平顶山分行普惠金融服务乡村振兴纪实
2023-08-25 09:27:43
-
学思想 强党性 重实践 建新功 整改进行时丨为现代化河南建设点燃创新引擎
2023-08-25 09:27:23
-
追星被骗35万元 小粉丝何以成了“鲜嫩的韭菜”
2023-08-25 09:31:15
-
教育部部署做好秋季开学安全准备工作
2023-08-25 09:31:53
-
漯河:外贸进出口增势强劲
2023-08-25 09:19:08