江棋生:Sora之横空出世 仅仅是大力出奇迹吗?




2024.02.27


Share






评论 | 江棋生:Sora之横空出世 仅仅是大力出奇迹吗?2023年12月8日,美国波士顿一台计算机显示器上显示的OpenAI 徽标以及由ChatGPT的Dall-E 文本到图像模型生成的图像。
 (美联社)







jiang.jpg2024年2月15日,基于生成式AI基础大模型、并在超强算力的加持下,美国人工智能公司OpenAI的文生视频模型Sora横空出世,大放异彩。

在Sora造成的震撼冲击波中,有人微笑着用五个字道出了他所悟到的“天机”:大力出奇迹。所谓大力,就是烧钱多、数据大、算力强;没有大力,焉有Sora——这不是明摆着的事么?

不过我认为,将Sora之横空出世归结为大力出奇迹,只是知其一。

我当然认可,没有大力,出不了Sora奇迹。但是我要说,没有原创(驱动)力,更是出不了Sora奇迹。这叫知其二。

巨大的算力靠什么?靠英伟达芯片。然而,英伟达的高阶芯片从何而来?不是靠烧钱,靠大力,而是靠原创力。

英伟达曾是一家困难重重、处于破产边缘的小公司,它预见到人工智能的开拓进展将会改变一切后,大胆尝试发明一种全新的技术,搞出了如今独领风骚、一片难求的GPU芯片。事情很清楚,没有原创力,就没有英伟达芯片;而没有英伟达芯片,所谓大力也就无从谈起。

Sora奇迹的出现,还离不开基础大模型中的Transformer网络架构。这个深度学习的神经网络AI架构从何而来?同样不是靠烧钱,靠大力,而是靠原创力。

谷歌公司于2017年提出Transformer网络架构,其革命性原创是:摒弃基于循环神经网络的编码器-解码器结构,整个架构以自注意力机制为核心。在这一全新机制下,能够实现并行计算,从而大幅提升了运行速度。现在,几乎所有主流AI大模型的构建,都是基于性能出色的Transformer网络架构。

事情很清楚,没有原创力,就没有先进的算法——基础大模型中的Transformer;而正是先进的算法,给所谓大力提供了用武之地。

顺便多说一句,Sora奇迹的出现,还离不开OpenAI公司运用原创力对Transformer的匠心微调和创新应用。

原创力,是开创全新科技、全新产业的能力。原创力的强劲与否,和两个要素呈正相关:一是思想自由的土壤厚度,二是勇于冒险的精神丰度。在自由充沛的社会中,人的好奇心青春永驻,想象力长期保鲜,特别适合于人们探索未知、去做别人没做过的事。而在前景不确定的创新事业中要捷足先登,就需要豪气干云、敢冒风险,并韧劲十足、败中求胜。

先进的算法在自由度和冒险度双双占优、因而原创力强劲的美国出现,乃是一件顺理成章之事。而强劲的算力能在美国首先出现,则除了上述“双优”之外,还得益于美国独有的惠顾风险投资的发达金融市场。

不过,在以人工智能为代表的第四次工业革命中要居于领先地位,不仅需要在算法的先进和算力的强劲上更胜一筹,也需要采集和标注的海量数据具有合格的质量,以及模型训练中的客观、全面与充分。这后面两件事,与信息自由和表达自由息息相关。

不妨试想一下,某个AI公司在信息不自由的局域网中如何采集数据和进行模型训练。

由于电子柏林墙的存在,这家AI公司收集不到墙外真实的数据;出于恐惧,它不敢收集某些墙内真实的数据;大概率地,它会收集到虚假及注水的数据。而面对如此质差量小、十分拉胯的数据,这家公司纵然算法先进,算力强劲,又能管什么用?成什么事?

再说模型训练。由于表达不自由,这家AI公司不能或不敢放开用户提问。或许它不是很担心用户充满好奇、富有想象的提问,但它一定担心用户毫无顾忌、触碰红线的提问。此外,它也不希望看到AI解码器童言无忌、大胆妄议,输出使它不寒而栗的回答。在模型训练如此不客观、不全面与不充分的前提下,即便算法再先进,算力再强劲,这家公司充其量能得到的,也就一墙内观天的侏儒AI智慧体而已。这样的AI公司,注定只能被坐拥质优量大之数据、模型训练踏实靠谱的OpenAI公司甩开不知多少条大街。

应当说,美国原创力之强劲,并非自今日始。在人类第三次工业革命中形成的信息时代中,绝大部分新科技和新产业,都是由美国所开创。例如半导体、光电子、计算机、互联网、移动通讯、社交网络、商务平台、区块链、生物芯片等等。2月15日Sora之横空出世,只是其原创力在AI领域的最新靓丽展示。与此类似的原创力展示,还有马斯克的火箭一级助推器成功回收、脑机接口技术的突破和人形机器人的迭代进化等。

在以人工智能为代表的人类第四次工业革命中,目前美国走在最前沿,且一骑绝尘、遥遥领先。人家的“非常厉害”和“风景独好”,绝非鸣笛所造成的虚拟现实,而是有目共睹的不争事实。对此,你可以不服,但不能不信。

2024年2月27日 于北京家中

(文章只代表特约评论员个人的立场和观点)

文章来源:RFA

民主中国 | minzhuzhongguo.org

江棋生:Sora之横空出世 仅仅是大力出奇迹吗?




2024.02.27


Share






评论 | 江棋生:Sora之横空出世 仅仅是大力出奇迹吗?2023年12月8日,美国波士顿一台计算机显示器上显示的OpenAI 徽标以及由ChatGPT的Dall-E 文本到图像模型生成的图像。
 (美联社)







jiang.jpg2024年2月15日,基于生成式AI基础大模型、并在超强算力的加持下,美国人工智能公司OpenAI的文生视频模型Sora横空出世,大放异彩。

在Sora造成的震撼冲击波中,有人微笑着用五个字道出了他所悟到的“天机”:大力出奇迹。所谓大力,就是烧钱多、数据大、算力强;没有大力,焉有Sora——这不是明摆着的事么?

不过我认为,将Sora之横空出世归结为大力出奇迹,只是知其一。

我当然认可,没有大力,出不了Sora奇迹。但是我要说,没有原创(驱动)力,更是出不了Sora奇迹。这叫知其二。

巨大的算力靠什么?靠英伟达芯片。然而,英伟达的高阶芯片从何而来?不是靠烧钱,靠大力,而是靠原创力。

英伟达曾是一家困难重重、处于破产边缘的小公司,它预见到人工智能的开拓进展将会改变一切后,大胆尝试发明一种全新的技术,搞出了如今独领风骚、一片难求的GPU芯片。事情很清楚,没有原创力,就没有英伟达芯片;而没有英伟达芯片,所谓大力也就无从谈起。

Sora奇迹的出现,还离不开基础大模型中的Transformer网络架构。这个深度学习的神经网络AI架构从何而来?同样不是靠烧钱,靠大力,而是靠原创力。

谷歌公司于2017年提出Transformer网络架构,其革命性原创是:摒弃基于循环神经网络的编码器-解码器结构,整个架构以自注意力机制为核心。在这一全新机制下,能够实现并行计算,从而大幅提升了运行速度。现在,几乎所有主流AI大模型的构建,都是基于性能出色的Transformer网络架构。

事情很清楚,没有原创力,就没有先进的算法——基础大模型中的Transformer;而正是先进的算法,给所谓大力提供了用武之地。

顺便多说一句,Sora奇迹的出现,还离不开OpenAI公司运用原创力对Transformer的匠心微调和创新应用。

原创力,是开创全新科技、全新产业的能力。原创力的强劲与否,和两个要素呈正相关:一是思想自由的土壤厚度,二是勇于冒险的精神丰度。在自由充沛的社会中,人的好奇心青春永驻,想象力长期保鲜,特别适合于人们探索未知、去做别人没做过的事。而在前景不确定的创新事业中要捷足先登,就需要豪气干云、敢冒风险,并韧劲十足、败中求胜。

先进的算法在自由度和冒险度双双占优、因而原创力强劲的美国出现,乃是一件顺理成章之事。而强劲的算力能在美国首先出现,则除了上述“双优”之外,还得益于美国独有的惠顾风险投资的发达金融市场。

不过,在以人工智能为代表的第四次工业革命中要居于领先地位,不仅需要在算法的先进和算力的强劲上更胜一筹,也需要采集和标注的海量数据具有合格的质量,以及模型训练中的客观、全面与充分。这后面两件事,与信息自由和表达自由息息相关。

不妨试想一下,某个AI公司在信息不自由的局域网中如何采集数据和进行模型训练。

由于电子柏林墙的存在,这家AI公司收集不到墙外真实的数据;出于恐惧,它不敢收集某些墙内真实的数据;大概率地,它会收集到虚假及注水的数据。而面对如此质差量小、十分拉胯的数据,这家公司纵然算法先进,算力强劲,又能管什么用?成什么事?

再说模型训练。由于表达不自由,这家AI公司不能或不敢放开用户提问。或许它不是很担心用户充满好奇、富有想象的提问,但它一定担心用户毫无顾忌、触碰红线的提问。此外,它也不希望看到AI解码器童言无忌、大胆妄议,输出使它不寒而栗的回答。在模型训练如此不客观、不全面与不充分的前提下,即便算法再先进,算力再强劲,这家公司充其量能得到的,也就一墙内观天的侏儒AI智慧体而已。这样的AI公司,注定只能被坐拥质优量大之数据、模型训练踏实靠谱的OpenAI公司甩开不知多少条大街。

应当说,美国原创力之强劲,并非自今日始。在人类第三次工业革命中形成的信息时代中,绝大部分新科技和新产业,都是由美国所开创。例如半导体、光电子、计算机、互联网、移动通讯、社交网络、商务平台、区块链、生物芯片等等。2月15日Sora之横空出世,只是其原创力在AI领域的最新靓丽展示。与此类似的原创力展示,还有马斯克的火箭一级助推器成功回收、脑机接口技术的突破和人形机器人的迭代进化等。

在以人工智能为代表的人类第四次工业革命中,目前美国走在最前沿,且一骑绝尘、遥遥领先。人家的“非常厉害”和“风景独好”,绝非鸣笛所造成的虚拟现实,而是有目共睹的不争事实。对此,你可以不服,但不能不信。

2024年2月27日 于北京家中

(文章只代表特约评论员个人的立场和观点)

文章来源:RFA