港科大校董会主席沈向洋：通用大模型会越来越少，行业大模型会越来越多

郭美婷

2024-11-18 08:30:04

来源: 时代周报

一旦有了这个通用大模型后，接下来发展的就是行业大模型。

“讲卡伤感情，没卡没感情。”11月17日电，今日上午，2024大湾区科学论坛开幕式和主论坛在广州南沙国际会展中心主会场召开。香港科技大学校董会主席、美国国家工程院外籍院士、英国皇家工程院外籍院士沈向洋在会上笑谈智能时代的机遇与挑战。

香港科技大学校董会主席、美国国家工程院外籍院士英国皇家工程院外籍院士沈向洋，图源：主办方供图

“算力是关键，算力是生产力。”沈向洋表示，大模型数量爆发式增长的当下，GPU算力每年以4倍的速度增长，10年后预计将增长100万倍。在这个过程中，英伟达成为最大的赢家，去年该公司的下单量至少是15万张。

作为大模型发展的另一关键要素，数据也被沈向洋频频提及：“GPT3用了大概2万亿Token，到GPT4时，一开始讲的是12万亿的数据，但是在不断训练中，我们预计大概是用了20T的数据……这基本是把互联网上能公开搜到的数据都拿了下来，洗干净后的数据量。”

沈向洋表示，OpenAI希望训练出GPT5，其中的难点就在于要使用更大的数据来训练更有效的模型。他预测，若GPT5面世，其使用的数据量大概是200T，这其中可能加入了多模态或合成的数据。

“有意思的是，互联网经历了40年，大家将数据放到网上，最后好像就是为了这样一个‘ChatGPT的时刻’。”沈向洋笑言。

对于中国而言，AI大模型会沿着什么样的道路发展？

沈向洋认为，第一层是发展通用大模型，需要至少万卡甚至十万卡的算力来做这件事。一旦有了这个通用大模型后，接下来发展的就是行业大模型。这样的大模型只需几千张算力卡，未来每家企业都要做自己的大模型，提高效率、增强产品，如同今天所有企业都要向数字化、智能化转型一般。再下一层，就是个人大模型了。未来，PC、手机等都是大模型的重要载体。

“从国内的整体发展来看，是到7月底，中央网信办批准的大模型大概有 200 个，其中只约有1/ 3是通用大模型，2/3是行业大模型。我预测未来通用大模型的数量会越来越少，占比越来越小，而行业大模型数量会越来越多。”沈向洋表示。

他补充道，未来AI最大的超级应用就是AI智能体，即人类提出问题，AI就能解决掉。这个超级应用一直都存在，只不过在技术上尚未突破。

AI也将给人类社会GDP带来巨大的增量。沈向洋表示，工业革命以前，人类社会GDP增长只有0.1%～0.2%，工业革命后增长到1%～2%，信息社会则到了3%～4%，而到了人工智能时代，AI智能体有望使人类社会的GDP增速变为10%～20%。但在这样的经济增长下，人类仍要警惕AI对社会、公司和监管造成的冲击，AI的治理刻不容缓。

“我们今天对人工智能的理解还是远远不够的。大模型虽然被做出来，但确实不可理解、不鲁棒（稳定）的，这让人怀疑，现在一套体系是不是真的能走远。人们认为智能有限，似乎大模型出来之后，智能就出来了。”沈向洋提到，去年，他在香港科技大学组织了一批科学家，正在试图解开AI涌现出来背后的数学原理的谜题。