陆奇最新演讲审定版：大模型带来的新范式和新机会
Length: • 2 mins
Annotated by howie.serious
奇绩创坛创始人兼CEO陆奇。
“在大模型技术高速发展的时代,一个重要的趋势是:我们每一个人,除非你有独特的见解、独特的认知、独特的问题解决能力,否则你能做的,大模型都可以做到。”奇绩创坛创始人兼CEO陆奇认为,“人的脑力劳动将以形成非常独到的见解和发展独特的认知能力为主。这个时代的典型职业将是创业者、科学家和艺术家。”
5月7日,在奇绩创坛举办的以《新范式 新时代 新机会》为主题的分享活动中,陆奇详细分析了OpenAI的组织结构革新,本次范式变化的本质,及其带来的新时代特征,最后系统性分析了我们该如何把握好这个时代带来的机会。
陆奇和ChatGPT的开发机构OpenAI渊源深厚,他所创立的奇绩创坛前身就是YC中国(美国著名创业孵化器Y Combinator的中国分支),而他当时加入Y Combinator就是受到时任YC掌门人的山姆·奥特曼(Sam Altman,OpenAI CEO)的力邀。陆奇先后任职于IBM、雅虎、微软、百度,曾任微软全球执行副总裁、百度集团总裁兼首席运营官。
经奇绩创坛授权,澎湃科技(www.thepaper.cn)整理了陆奇在这个分享活动中的演讲实录,为方便阅读,在不影响表达主旨的情况下做了删减。
第一部分:新范式
当前,我们正面临一场非常大的技术变革,这是一场范式的变革,它展现出了一个全新的范式。
每次范式变革都带来更多的机遇和挑战,因为它既要改变人们做事的方式,也要改变人们的思考方式。这一次,范式的变革影响更广、更深、更全面。
从数字化产业发展维度看新范式
从产业发展的维度来分析,这一次范式的变更带来了哪些影响?“三位一体”是我们分析这次范式变革所用的稳定的内在结构体系,它包括:1. 信息子系统(subsystem of information),体系必须从环境中获得信息。2. 模型子系统(subsystem of model),用模型对信息进行表达。它必须充分有效地表达信息,这种表达方式让它可以做推理、做分析、做规划。3. 行动子系统(subsystem of action) ,根据推理和规划与环境互动,来达到这个复杂体系的目的。
第一个拐点:信息变得无处不在
在信息子系统这条线上有大量的公司,包括IBM、微软,1995年至1996年间出现了一个大的拐点。这个拐点之后,信息系统呈爆发式增长,诞生了许多伟大的企业,如谷歌、苹果、亚马逊等,世界因此而改变。为什么会有这个拐点?它背后的机制是什么?
信息系统的拐点,是信息的生产和获取成本从边际成本转向固定成本。每次使用时的边际成本越来越低,但是一次性投入越来越高,这是一个结构性的变化。
我在卡内基梅隆大学刚刚毕业时(1995、1996年左右),那个时候买一张地图需要3美元,信息获取成本曾经相当高。在今天,我要找一张地图,网上搜索谷歌地图不到300毫秒,谷歌花费的成本不到1美分,我可以免费获得。而谷歌一年大约花了10亿美元的固定成本才做到此。地图是需要成本的,这个成本没有消失,只不过有一系列的技术降低了获取和分发地图信息的成本,从每次都要付很多,变成(google地图)一次性付很多。
谷歌使得地图可以无处不在,其他大量的信息也无处不在,商业模式简单,伟大的公司却就此诞生了,以谷歌和苹果为代表的移动互联网时代和以亚马逊为代表的云时代,都是一系列可以高度浓缩信息并分发信息的核心技术驱动的。
所以拐点出现的核心原因,是信息的获取成本从边际移向固定成本,使得信息变得无处不在。世界因此而变得扁平。
现在的拐点:模型将无处不在
现在我们看到2022年和2023年在模型子系统上,由OpenAI和微软引领,以及其他创业公司共同参与创造的拐点。这个拐点的背后是“模型”的成本发生了类似的结构性变化,即模型成本从边际成本发展为固定成本。这背后的原因是我们有一项新的基础技术出现了,它叫大模型。
为什么模型的结构性成本这么重要?
因为模型就是知识。我们做任何一件事情都需要知识,知识的力量是无穷的,相比于信息时代,模型的产能更强大,发展的速度一定会比过去更快。
另一方面,模型与每个人都有关。从我们的社会互动和社会产业价值角度来讲,我们每个人都由以下三组模型组合而成:1. 认知模型,我们能听、能看、能说、能思考。2. 任务模型,我们每个人都能爬楼梯、剥番茄,做各种各样的动作来完成任务。3. 领域模型,有些人是律师,有些人是医生,有些人是科学家等等,我们人的社会价值都是这些模型体现出来的。
另外,人类社会中每一件事情都由模型来表达和驱动。例如,要运营一家公司需要一组模型,包括战略、营销、研发等等;城市管理,需要一组模型;国家治理,也需要一组模型;每个社会层面需要解决的问题,都是由相应的领域模型、任务模型和人组合完成的。
在大模型技术高速发展的时代,一个重要的趋势是:我们每一个人,除非你有独特的见解、独特的认知、独特的问题解决能力,否则你能做的,大模型都可以做到。
这一次的拐点,它攀升的速度一定会比1995年、1996年还要快。模型将无处不在,知识将无处不在。今天我们打开手机、打开任何一个设备,信息过来了;以后打开任何一个设备,是模型过来了。医生诊断是模型,律师服务是模型,设计师是模型,艺术家是模型,方方面面它都无处不在。
同时,一系列伟大的公司会因此诞生,他们将付出固定成本,他们将发明新的商业模式,最后我们整个产业+变革,产生新的世界。
这个拐点的发展只是时间问题,而且这个发展的时间会非常非常快,比我们的想象还快。
下一个拐点:行动将无处不在
基于三位一体的结构,我们可以自然地回答下一个拐点是什么,毫无疑问,下个拐点是行动系统。
今天的大模型时代是个生成模型,它能有效地控制操作各种设备;下一个拐点将是机器人、自动驾驶和空间计算的组合为基础。今天采取行动的成本很高,但借助大模型的互动,未来采取行动与环境互动以满足人的需求的成本将会越来越低,行动将无处不在。
要引领下一个拐点,特斯拉目前处在非常优势的地位,因为它在机器人技术、自动驾驶技术、人工智能技术方面的整体布局相当完整。其他公司会不会参与下一波,抢占下一个拐点?我们拭目以待。
未来的可能:数字化技术和人类社会一起共同进化
通过数字化三位一体的结构性分析判断,我们可以看清今天的新范式,它的终局是数字化技术将达到三位一体,与人类社会共同进化,这一共同进化从长期看,将带来真正的智能系统。
真正意义上的智能系统,必须具备四个核心环节:第一,它能够涌现(应当具备自我组织和自我优化的能力,能够在特定环境中自发地形成和调整结构,而非由某个中心控制器编程或设计)。第二,它有代理能力,能够自主决策(它可以代表用户或实体独立地进行决策和执行任务,而不仅仅是简单地响应外部指令)。第三,它功能可见,有 affordence(Affordence 是一种设计原则,强调让用户直观地理解如何与产品或系统进行交互)。第四,它是具象的(既有形象、直观的表现形式,便于用户理解、感知和操作)
从技术驱动人类发展的维度看新范式
接着,我们看这次范式变更的第二个维度:它在人类以技术驱动社会发展的进程中扮演的多维度的重要角色。
科学范式进入第四(第五)范式
上图左下角(科学的范式)表达的是人类无尽地追求知识、能力和财富的过程。这一过程有三大要素:
第一是科学。科学是解释和预测现象。科学发展从第一范式经验主义,到第二范式系统性地做实践,再到第三范式大理论做模拟,第四范式数据驱动,第五范式数据加技术驱动。人类社会进步最根本的生产力是科学的进步,这次的技术变革直接驱动了新一代的科学发展范式。科学高速进入第四的数据驱动、第五的计算驱动即大模型驱动阶段,这是这个新范式对人类发展结构里的第一个根本影响。
第二是技术。技术的本质是人基于科学开发的能力去改变自然现象,用信息转化能源去满足人的需求。
第三是经济。人类的经济发展体系是技术驱动的。技术驱动的社会经济发展到目前为止,只有三种大的模式,这三种模式都是信息和能源的组合决定的:农业社会主要靠光合作用;工业社会靠化石能源加上机械设备、电气设备,电子设备;数字化,用信息越来越有效地转化能源。
数字化范式变更:加速数字化的能源转化
图中右下角指的是当代技术驱动人类发展的体系。我们现在所处的是第三代,是数字化时代这条蓝色的曲线。
这张图表达了两层含义:一方面,数字化时代根本意义上是用数字化、可编程的能力更有效地转化能源;
另一方面,数字化是人的延伸,数字化是人自我的认知和能力的延伸。
在这个时代,数字化是核心驱动力。这次数字化范式的变更,将直接驱动模型和行动体系,加速数字化转化能源的能力。进而,我们可以更有效地去改造世界,满足人的需求。
人类改造世界范式变更:探索进入更远更深更广阔
要改造世界,满足人的需求,有几个组成部分:1. 我们需要能源,要转化能源,要新的可持续的能源,用技术来驱动;2. 转化能源只有两条通路:一种是用生命体系来转化,另一种是用物理体系转化;相应的,我们在高速发展新生命科学和新材料科学;3. 能源转化必须要有物理空间,我们在高速发展新空间技术去去创造价值。
整合在一起,我们可以看到的人类在认识世界,改造世界,为我所用的路程,将直接和间接地被今天的新范式进一步驱动。
经济发展范式变更:更多的企业成为科技公司
今天的经济核心生产力,基本还是以设备、劳工、资本、大众商品、原材料、能源等。未来技术将越来越多地成为直接生产力,越来越多的企业将成为科技企业。
什么是科技企业?举一个例子,为什么特斯拉是大家公认的一家科技公司?科技公司与非科技公司的根本区别在于什么?
因为特斯拉用信息、用软件、用人工智能,能源转化效率越来越高,它每设计一个新的车子、每研发一个新的设置、每制造一个新的设备,效益都在越来越高。而老一代汽车企业它的核心生产力,还是以前的流水线、工人、设备等。本质上,它让“信息更有效地转化能源”,让技术驱动创新成为直接的生产力。
新范式的社会影响
很多人说这一次的变革堪比工业革命,本质上是有道理的。我们不妨回顾下人类历史的发展:
我们从农业社会开始,发明了技术:耕种、家畜等。这些技术给人带来了一个重要价值,人可以定居,有家,有固定的发展环境。
工业革命对人的影响是巨大的,一方面解放了土地,另一方面释放出了人的大量体力劳动。
信息时代让人可以无处不在地获得信息,进一步减少人类的脑力和体力劳动。经济发展也从产品经济变成服务经济,这个时代的典型职业是码农、设计师、分析师等。
这一次大模型时代的变革,也将形成新的社会关系。工业时代给了我们很多能力,封装成钢材、汽车、火车、设备,我们要用体力做的东西基本上都被替代了。而这次,我们有一系列的模型,它们也可以封装成各种形式,各种各样的设备,我们脑力要做的事情都可以让它们来辅助,替代和提高。人的脑力劳动将以形成非常独到的见解和发展独特的认知能力为主。这个时代的典型职业将是创业者、科学家和艺术家。
我在YC研究院和OpenAI做了一个项目UBI(通用基本收入:Universal Basic Income) ,它研究的问题就是:当人们不需要为了谋生工作的时候,人们的驱动力和行为将会发生怎样的变化。
我们可以想象的是,全新的价值体系将被建立。由于数字化的能力以及Web3.0的存在,在未来的时代里,信息触手可及、人们自由移动、经济基础改变,由此产生一个问题:人类会不会回到新一代的游牧时代?
新范式的缔造者
范式带来的挑战和机会,就是适应新的思考方法和新的实践体系。我们如何去更好地把控这个机会?
这一次新范式的到来,不是水到渠成的,它是一个突变。
要了解OpenAI的历史,必须要了解Sam。我跟Sam是在2005年在哈佛大学举办的YC成立仪式上认识的,他是YC体系思路的继承者和传播者。2014年他接管了YC,成为YC的掌门人。
2016年他联合创建OpenAI,他和他的团队核心人员代表了新一代特殊的组合能力,代表着可以推动这个范式进一步往前发展的思考体系和执行体系。
OpenAI的思考体系
他们的思考体系,有几个重要的特征:第一,坚信未来,坚信通用智能一定会到来,任何人都挡不住Sam,他建立打造OpenAI的一切都不会让任何人干预控制;OpenAI用最快速度实现AGI(通用人工智能)。第二,在技术上,他们相信两个重要的点:一是模型只要足够深,用无监督学习,用数据加上算力,用一个高效的训练体系,就能无止境地探索通用智能;二是强化学习或者增强学习,这跟进化在本质上相关,是模型能为人所用的核心。
他们坚信这两点。早期做了大量强化学习方面的探索,等到他们强化学习已经有一定基础之后,就立马把所有精力和资源聚焦在无监督学习上。
OpenAI的执行体系
新的能力:在团队能力上,他们坚信新一代的组织既要做前沿科研,又要做基础工程研发,还要开发平台和产品及商业化。OpenAI 所代表的是全新的组织、全新的能力,他们所做的一切是要既能做科研、又能写代码、又能做产品,这些能力是分不开的。
新的组织:有一个重要关键要素是它需要融到大量的资本,长期要回归社会,而且在实体结构上实现任何投资者都不能影响你追求的目标。
OpenAI不是一家公司,也不是合伙制,它是一种崭新的新型组织。从长期来看,OpenAI的盈利结束之后,它所产生的一切都是社会公有的,它的顶层阶段是一个Nonprofit(非盈利)。这是经过深思熟虑之后,非常有勇气坚持着一步步追求他们走的路径,才能造成迄今7年后的突破。
Open AI的技术发展路径
GPT-1是重要的第一步,预训练大模型,核心是通过自然语言处理和解决问题。自然语言处理通常包含多个任务,传统做法是每个任务去训练一个模型。OpenAI不这样做,他们预训练一个大的模型,但是预训练的结果要和单独做模型一样好,甚至更好。GPT-1就做这个,做一次预训练,就能达到在多个自然语言任务上使用的目标,GPT-1的效果比单独针对具体任务训练的模型还要好。
GPT-2是迁移,在预训练之后做微调,可以把预训练中学到的东西,通过微调迁移到新的下游任务模型中。GPT-3是非常核心的一步,实现很强的泛化能力。在少样本和0样本情况下,GPT-3展现出强大的泛化能力,尤其是通过场景下学习(In-context-learning)和给定提示解决问题,无需微调。
Dalle-E,启动图像模态。
Codex,为编程语言微调,引入模型重要的逻辑能力和长期用AI来开发AI的路径。
GPT-3.5实现了根本性突破,引入了指令微调。人可以去写指令,开启了能让模型全方位对齐的开发能力;它先用了代码的指令Codex,而真正在产品上突破的是对话指令,就是让它去学会人是怎么对话的,进而诞生了ChatGPT。这是人类历史上从来没有发生过的成就:短短两个月内达到一亿活跃用户,用的人还越来越多,有很多愿意付费,这在历史上前所未有。
GPT-4实现了完整的工程研发体系。
GPT-4之后,如ChatGPT、plugin(插件)等将全面建立产业生态。
从OpenAI的发展中我们可以看到:一个团队如果是在运用新的范式下的核心思考和实现体系,他们创新的能力将有多大?因此,在这个时代,深度解读OpenAI的成长历史,了解他们的思考实践体系,对我们来说是有很大的意义的。
新范式的动力引擎
GPT模型体系,驱动新范式的动力引擎
在这个范式的背后,有组核心技术,一个动力引擎在驱动着这个范式的进展,它在本质上就是GPT模型体系。
GPT是个模型系统,这个大模型像一个黑洞一样,把所有的模型都吸进这个引擎里面去了。
第一,它能够高效压缩表达所有的人类关于世界的知识,尤其是文字或者其他模态,比如图片、视频。
第二,它能持续提高泛化能力(涌现,子概念空间等)。它能涌现。涌现是什么?在相同的模型架构下,通过增加参数、Token或者延长训练时间,模型解决任务的能力会不断演进。例如,常识推理能力、算术能力以及针对特定任务的解决能力都会逐渐显现。在GPT模型不断提升规模的过程中,涌现现象持续发生,关于涌现的科研论文目前也非常活跃。
模型的泛化能力至关重要:少样本泛化和零样本泛化(如从一个例子中推断其他情况,甚至在没有看过的情况下也能明白其中原理)。仅仅在概念层面进行泛化是不够的。GPT的泛化能力主要体现在潜在概念(latent concept)和子概念(subconcept)这个层面,并且其泛化能力在不断增强。
第三,它的推理能力不断地增强和被探索出来。人类基本上拥有六、七种主要的推理能力,包括演绎、知识归纳、常识等。在GPT大模型中,这些推理能力会不断地通过诸如思维链(Chain of Thought)这样的提示展现出来。
第四,它更有效更可延伸地对齐(自然语言,价值等)。GPT模型已经帮助我们将世界上的大量信息(知识)进行了压缩,而我们使用它的过程就是实现对齐。GPT模型在对齐任务方面取得了显著的成果。其突破性表现和增强学习方法在对齐方面表现突出,如自然语言理解和价值观的对齐。
潜空间对齐:首先,对齐任务需要与人类潜空间保持一致。通过图表、编程语言或自然语言使用大模型,都是实现对齐的手段。潜空间对齐本质上涉及到大量的权重调整。
价值观对齐:此外,为了善用大模型,还需要在价值观方面达到对齐,确保使用它不会对社会造成负面影响。目前,GPT尚未达到主流社会可接受的价值观水平,因此OpenAI需要进行大量的价值观对齐工作。
第五,它能足够并持续地充分利用更多有效算力。尤其是Transformer,实际上它的模型架构并不是最理想的。虽然能利用算力,但效率并不是特别高。模型过于密集,对算力和通信带宽的要求很高。尽管如此,至少今天主流的算力还是可以被充分利用起来,从而带来更大规模的模型和更多的涌现。
第六,它能用好充足的token/模态和有效的token化。目前我们的模型基本上能够充分且有效地利用人类知识所能触及的主要模态,如语言、图像、视频等。这些模态都可以很好地被转化为token,而经过token化后,它们可以高效地融入到大型模型中。
第七,它能有效地参数扩展:小型化,本地化。模型在不断地高效扩展,包括参数增加、(模型)层次加深以及在进行推理时实现更好的平衡。模型可以实现小型化和本地化,通过各种架构优化,在数字设备端(如物联网设备)上进行使用。
第八,它能有效地扩展任务领域和专业知识。模型具备系统性的扩展能力,可以与符号求解器、工具接口和专业知识相结合。这些集成在一起,使得模型具备足够的驱动力。
将这些能力相互叠加,我们看到了一个具备坚实基础、高操作性和强大扩展性的模型体系。它是这个时代背后的强大推动力,引领模型从边际成本走向固定成本。
引擎发展当下的四个要点
第一,核心维度过了拐点,全方位攀升。它几乎封装了全世界所有的知识;它内嵌了足够的学习能力和推理能力。本质上所代表的是一个今天的斯坦福高材生,几乎什么学科都懂,什么考试都可以考到前5% 。而且它学习速度非常快,不会累,可以永远不断地思考,有大量的算力可以用。它还是自然语言界面,每个人都能用,每个人都能够得到价值。它的能力越来越强,能解决的任务越来越多。并且,它的成本在变得越来越低。
第二,自然语言(NL)是突破的关键。通向通用智能,OpenAI 走了一条反共识的道路。在OpenAI之外,特别是四—五年前,几乎所有人都认为通用智能的发展路径与动物智能相一致。动物智能向通用智能演变的过程先从视觉开始,通过视觉识别目标、学会推理,然后逐步形成符号,再发展为语言(先有口语,后有书面语言),最终形成像人类一样的完整知识体系。然而,OpenAI采用了相反的做法,它不是从视觉开始,而是从语言出发,去构建通用模型能力。
在我看来,语言是一个特殊的潜在认知空间,是人类与物理世界之间最宽泛、最重要的桥梁。从根本上讲,它更多是一种泛化和思考工具,而沟通只是副产品。没有语言,我们无法实现零样本泛化,而这种泛化能力正是最关键的。
在自然语言处理领域,我参与搜索引擎相关工作已有20多年,我认为历史上一直存在一个误区。传统自然语言处理方法缺乏可行性,因为系统需要首先分析句子的各个成分,分析它是一个动词、名词或形容词等,但问题关键在于,这个词代表什么,是一部电影还是一个游乐场,这是需要以知识的理解和获取为基础的。因此,如果没有全球范围内的知识,从根本上无法处理语言。OpenAI采用了一种新方法。它利用GPT封装了世界上绝大多数知识,以此为基础,先构建一个知识引擎,再通过对话进行调试,从而实现自然语言处理。这与过去十几年采用的方法截然相反。有了知识,它不仅能处理语言,还可以利用知识约束语言解释的空间。这种变化在某种意义上是从知识开始理解语言,而非在理解语言后获取知识。
自然语言处理现已突破了门槛,开辟了一种全新的人与数字世界的交互方式,为我们带来了一种有效且适用于任何场景的交互工具。
第三,可见和可持续的技术发展。右上角是关于这个引擎如何持续地将范式向前推进。首先,在模型方面,需要解决模型的鲁棒性、模型稀疏化,扩展注意力宽度,甚至形成注意力循环等。同时,需要更强的推理能力、更多的涌现、更强的潜在概念和子概念泛化,融合和统一符号运算与重叠向量堆叠体系,以及因果关系推理等。
其次,需进一步对齐,包括价值观对齐和拓展更多潜在空间。同时,还需要研究更多模态,特别是跨模态的图像和视频。跨模态推理(从视觉模态学习推理,将其扩展到语言模态),语言模态中学到的泛化能力,无论是零样本、多样本还是少样本,都可以扩展到图像模态。
最后,覆盖更多领域和应用,提高模型的扩展性和适应性,加强工程实践。基础算力、通信系统、设施工具等方面的研究也在快速推进。综合起来,这个引擎的能力将越来越强大。
第四,发展飞轮雏形启动。这个动力引擎的增长飞轮已经形成雏形。资本已经开始大量投入,商业模式盈利也已经具备初步的可行性,政府和产业界已经投入大量的算力,新的平台、新的应用、新的商业模式开始大量出现,越来越多初创公司和大厂参与的生态开始形成。每个人的生产力都在提高,它的安全问题、社会认可度也都在被积极地解决。
新范式的演化路径:进化体系新物种
大模型为人类技术发展开辟了新篇章,是技术世界中的全新物种。
技术的本质和内在规律:进化
著名作者、复杂学体系大师W.Brian Arthur写过一本书叫《技术的本质》。书中主要的观点,是技术发展具有进化性,它的进化与达尔文进化理论非常类似,同样涉及结构、功能组合和选择,会朝着更符合人类需求更多的方向发展。
从某种程度上来说,进化并不意味着越来越强,而是变得越来越适应。而技术的进化是向人类需求多的方向做选择的。
大模型的进化方向:更好地满足人类的发展需求
大模型的发展方向,呈现出类似达尔文进化论的进化特点,即满足人类不断变化的需求。
大模型有很多基础模型,有不同的基础模态,比如蛋白、核酸、空间等不同模态;在大模型的基础之上,会演化出更多的模型,领域模型、工作模型、个人模型,它们都将会具有更强的记忆、推理等能力。
关注大模型时代,有两种模型系统,是我思考比较多的:第一种是机器学习的模型(目前以系统1为主),今天大模型世界做推理的基础,基本上以系统1为主。相当于人类思考方式中的快思考、直觉反应。可以解决生活中方方面面的问题。它是过程性的、可计算的,具有场景化的特点,当场景发生变化时,模型也会相应地调整,具有很强的可扩展性和易用性。优点是,它能够在特定的场景中进行对齐和泛化,但可能在其他领域并不适用;
第二种是人类建立的模型(基本以系统2为主),人建立的模型,是基于人类专业知识建立的模型,相当于思考方式中的慢思考、逻辑推理,包括了像爱因斯坦理论和牛顿理论这样的科学理论、符号、结构、知识图谱和数学公式等。这类模型的优点是,在专业领域具有很强的泛化能力,因为它们是基于专业知识和理论构建的。然而,它与我们生活的方方面面联系很少,无法直接解释一些日常现象,例如树叶的形状、猫咪的颜色等。
我们真正的需求,是这两种模型之间的组合。当遇到一些关键问题,需要通过系统化方法进行逻辑分析、推理和严谨论证;同时,我们也有大量需求,并不需要进行深入分析,只需要直观快速反应。当大模型和人类建立的模型结合起来,就能更好地解决人们的需求和问题。我们看到的发展趋势是,系统1和系统2已经有越来越多的整合,朝着更好的满足人类需求的方向演进。
大模型的进化类比:进化树和寒武纪
右上角这张图,展示了可开源的大模型的进化树。借助这个初步的进化树,可以追溯到模型的源头、观察模型的能力,以及预测模型的未来发展。可以看到,进化已经发生,一代代的模型在演变。
模型的生态,在某种程度上与我们的生物体系非常相似,如果关注学术论文和GitHub,就会发现这个新物种刚刚诞生,几乎每天都有新的演化出来的模型,大量新的子物种在不断涌现。就像生物界的“寒武纪”时代:大量物种开始出现,开启新的纪元。
第二部分:新时代
产业发展的扩散结构与体系
为了更深入地理解这次变革,我们将从以下三个层面,来解析产业发展的扩散结构与体系,并讨论这些变化如何在地理、社会、经济等层面上进行分布扩散。
扩散源头:从传统的独立组织形态,转变为融产学研为一体的高效生态
要实现从源头、在前沿的扩散,需要同时具备以下三个条件:第一,具备自主前沿原创性科研的能力,通过科研解决核心算法的完全原创性的问题;第二,进行大量系统研发和工程开发,能迅速将科研成果以高质量代码的形式实现;第三,具备开发技术平台、研发产品、推进商业化的能力,以形成产业生态系统,进一步驱动上述第一个条件中所描述的科研。这三点,正是OpenAI为代表的新型组织所实现的。组织形态上,OpenAI同时涵盖了以上3个领域,集产学研于一体。
还有一点不同的是,在过去的扩散过程中,政府一般都是后来才参与进来的,但这一次,政府很早就进来参与了。因为这个范式变更的特殊性,需要政府更早更有效的参与。
扩散范围:北美中国为主,深入个人
从全球范围来看,这次扩散以北美为主,中国紧随其后。以前的技术创新扩散,都是在北美扩散到了一定成熟度之后,再复制到其他地域,这一次,中国在快速追赶的同时,也将经历早期适合中国国情的扩散过程。与此同时,这次技术创新的影响范围会深入到个人层面。
AI工具帮助单个创业者或小型团队提高产能、创造价值。一些产品不再需要雇人,AI可以进行替代。像设计者、码农、科学家、企业家、创业者,有许多都在用Copilot等工具提升个人产能。
而这次创新,带来的是提升人类认知能力的工具。它会进一步拉开人与人之间的距离:那些聪明、勤奋、努力,并且学会用这个工具的人,将快速超过原来同一水平、但不使用这类工具的人。
扩散过程:不是创新技术的发展,而是技术驱动社会经济的转变
在前文中,我们提到有些变革可能并未涉及范式的改变,而只是与新技术的出现有关。描述新技术生命周期时,人们常用的经典理论是The Hype Cycle(技术成熟度曲线)。然而,在这次变革中,我们认为它是一次彻底的范式改变,影响着整个社会和经济的长期发展,这种情况下,Carlota Perez(《技术革命与金融资本》作者)的Techno-Economic Paradigms(技术经济范式)理论更为适用。
根据她的理论,若有一项技术,如冶金、高速公路、汽车等,能够影响每个人和整个社会,它的发展将以80年为周期,分为四个阶段:爆发阶段、狂热阶段、协同阶段和成熟阶段。大模型时代目前还处于早期阶段,经过高速增长之后,泡沫破裂将是必然现象。然而,在泡沫破裂之后,新的黎明将降临。届时,新一代更强大的企业将从破碎的泡沫中崛起,占据产业制高点,开创一个崭新的时代。
OpenAI生态快速形成
这一次产业发展的格局跑在最前面的,起关键作用的是新一代的数字化产业,它的生态是由OpenAI来驱动的,呈现了两个特点:生态结构迅速形成,且高速发展;生态结构类似过去的数字化平台,包括前台和后台。
后台是GPT-N 系列,目前为GPT-4,未来将有GPT-5、GPT-6等。它内部有大模型引擎,封装了丰富的知识推理规划能力,具有较强的开发和扩展性。OpenAI提供Foundry和PlayGround等,包含API(应用程序编程接口)和简洁的收费模式。同时,许多第三方基于OpenAI后端开发服务和应用。
前台是ChatGPT。ChatGPT提供完整的用户体验,适用于所有人,解决各类问题。这是人类历史上首个真正实用的自然语言处理工具,具有足够的灵活性和内置知识。
它的前台具有生态扩展性,即“ChatGPT 插件 ”,OpenAI已经开发了多个插件,如Code、interpret等,具备成为未来“杀手级”应用的潜力。大量第三方将使用插件开发前端应用。
在OpenAI平台之上,已经出现早期产业活跃发展,形成了一些初步的热门领域。
开发堆栈雏形高速发展
历史上的生态发展一直是“得开发者得天下”。开发者工具、界面、开发者生态,永远是“兵家必争之地”。毫无疑问,OpenAI、微软都意识到了开发堆栈的重要性。几乎每天都有大量新技术新服务,几乎每周都要重要的开发框架和工具出现。
我们把这一页分成两大板块:左边是模型开发;右边是应用开发。
模型开发分为几个大模块:关于大模型本身的开发,目前开发体系已初步成型,但通常以大模型团队的自主研发为主;关于垂直和领域模型的开发;轻量的模型,体量小、算力要求低,适用于端侧设备,如手机、智能音箱和未来的lOT设备上;开源模型开发,这对降低创新门槛,产业能健康发展有很重要意义。
应用开发也分几个大的板块:关于快速形成的“开发的工具和工具链”;关于开发对象,具体是开发的运行时和其他资源。
经济发展格局
全面强劲的经济发展驱动力
在此次经济发展格局中,早期的上升速度将非常迅猛,发展动力也将格外强大,这与以往的情况截然不同。
那么,为什么它的攀升速度如此之快,发展力度如此之强呢?关键在于,这一次变革所触及的生产力正是“知识”。作为生产要素中至关重要的部分,知识的潜能是无限的。
在大模型时代,知识这一生产力得到了系统性的改变:首先,新范式普遍降低了各类知识的成本。其次,新范式提升了知识的应用能力,尤其是在知识密集型行业,如医疗领域、科研领域等。医生、护士等专业岗位都受到专业模型的帮助,不仅成本可以降低,相关产业的生产力还会极大地提升。再者,新范式缩短了产生知识的迭代周期。将这三个要素综合考虑,新范式驱动的经济发展将呈现前所未有的速度和力度。
对职业的结构性影响
它将影响人类的每一个职业,因为人类的每一个职业,本质上都是模型的组合。
可以预测的是,每一个职业的人,都会开始用“副驾驶员(Copilot)”,当副驾驶员能力越来越强,它会变成“正驾驶员(Autopilot)”,再接着,我们都将会有一个 “驾驶团队 (Copilot team)”。无论我们到哪儿,都有各类“驾驶员”跟着我们走。
人们之间的合作,变成人与人之间、人们的“驾驶员”之间的协作。新的职业会出现,人们的工作岗位也会随之发生变化。
更强大更活跃的数字化产业
在这次变革中,处于前沿的将是下一代数字化产业。数字化作为人类活动的延伸,新的商业价值创造必然从数字化产业开始。
我们将拥有全新的核心技术堆栈、新的平台、新的基础设施、新的算力体系、新的通讯体系以及新的产品开发体系。以大模型为核心,整个数字化产业将全面升级和刷新,迅速迈入下一个发展阶段。新的领军者和落伍者将很快浮现出来。
各个行业系统性的变迁
新的数字化产业,会让每个行业都根据这个行业的特性做出结构性的调整和转型。
假如你是一个公司的CEO,可以对比人工和模型的成本,用大模型技术做系统性的重构和调优,把成本降低,把产能提高。
值得注意的是,现在GPT是基础设施,随着它从边际成本转移到固定成本,可以从成本的变化,看看这个产业怎么变。
同时,有的行业供需在发生变化,比如软件的需求,受到码农供给的影响,如果关注大模型时代对码农的产出提高多少倍,就可以借助它预测这个行业的结构性变革将从哪个方向发展,以及以什么样的速度来发展。
对市场和社会的长期影响
它深刻地影响了人类社会最基本的生产力:人。
教育领域将经历根本性的变革;人力资源的发展和配置也将改变并加速;作为人类首要驱动力的科研领域也将受到本质性的影响,因为它将引发科研的新范式;社会组织和信息传播同样会受到影响;政府与社会监管方式也将随之改变。
政府的更多参与
政府的参与更早、更活跃、维度更多。从OpenAI的发展上,能看到政府极早地从多个维度参与了其中,如监管、安全、数据隐私、社会稳定等。究其原因,是因为这次变革,从根本性上影响了生产力和生产关系。在早期,尤其需要社会产业和政府做更多的互动,扶持和引导基础设施进入全球性的发展。
新产业发展不断加速(海外)
图中展示了近5个月内我们关注到的新代码、新技术、新论文、新产品和新投资,我们做了简单的计算和统计,并将曲线绘制出来。
首先是论文数量,对于这次新产业的发展,关注论文是必要条件。同时,我们还需关注产品、资本投入和应用案例等方面。
新产业发展不断加速(中国)
关于中国,我们现在的活跃度越来越高,我们在追赶,但是整体数量跟国外比还是有相当大的差距。
上图标了红色框的是一个重要的点,“奋起直追的团队”,有商汤、王慧文、李开复、阿里、百度等等,汇总在一起,能反映出中国产业发展快速攀升、不断加速的状态。
中国发展机会
在大模型时代,有一个特殊的现象:真正能做大模型的,全球范围内,只有两个国家和地区具备这个产业核心的能力,北美和中国。
要实现这个目标,需要足够大的人才、资本、技术和市场规模及密度,中国和美国是全球唯二的有机会的地方,长期机会非常大,但是今天,我们必须是奋起直追。
全球唯二,奋起直追
中国大模型追赶有三大环节:第一是打造基础模型,是攀升至GPT-3.5。这里每个团队需要自建一个模型开发体系,包括算力、语料、数据、评估等开源工具和系统;同时这个团队还有打造基础设施,尤其是将几千张和几万张卡连在一起的网络算力,如基于RDMA(直接访问GPU内存)和RoCE(基于 InfiniBand 的网络无法将数万张卡连在一起);关键是能持续稳定的攀升GPT-3.5,我们认为谁先达到GPT-3.5,谁将能进入第一梯队。
第二是要打造模型产业化的能力。攀升至GPT-3.5水平后,要开发产业化能力,这里主要是具备足够的指令调优和对齐研发的能力。需要对代码做指令调试,它是提高模型逻辑能力和团队用 AI 来开发的关键;在对齐上,要基于RLHF (Reinforcement Learning from Human Feedback)正向学习,结合人类反馈与自然语言对话对齐,与人的价值观对齐。有了这些,就具备了中国的ChatGPT的能力。
第三是平台开发和生态建立。后台打造API等相对来说比较直接;前台需要开发推广ChatGPT和plugin等;早期可以用简单的商业模型搭建起来,这就足以成为未来的平台和生态的制高点。总结一下,打造基础模型、模型产业化能力和平台及生态开发推广能力,是早期中国攀升GPT-3.5的核心要素。
算力资源竞赛
中国目前在追赶GPT3.5的团队约有10个左右,算力将在未来赢家和产业发展格局的形成中起到关键作用。年底前看谁能到达3.5,能拥有或持续获取算力是非常重要的。
我们所了解到的预估,是中国约有20万张A100卡。今天国际头部大模型团队可能需要用1万张H100(约10万A100)。而目前的算力情况来看,国内未来能有这样资源体量的团队可能不超过2个。
产业发展,齐头并进
第一,在追赶的过程当中,资本投入和创业公司将扮演一个重要的角色,目前已经有多个拥有足够实力和资金储备的团队。早期挑战很大,长期发展机会非常强。
第二,中国的大厂百度、阿里、腾讯等都投入了足够的研发能力和开发资源,一起参与打造GPT,大厂在追赶期是有一定优势的,比如资源等。
第三,中国在追赶的过程中有额外的挑战,我们在算力方面有大量的工作要做,要补齐在算力上的限制,比如在算法和数据方面探索更多的潜力,在产业发展上,虽然算力是一个短期的挑战,但是中长期的机会就是中国自己做算力了。在中国做这个产业发展有更多的两个不确定性,一个不确定性是算力的不确定性,但长期是个机会;另外是软件栈的不确定性,这也是中国自建的一个机会。
第四,中国的产业发展有越来越多国际化的机会,因为其他国家和地区是没有能力独立去自研的,比如东南亚、阿拉伯世界、非洲、南美,甚至于欧洲等,中国的大模型都有能力去触达它。
最后,中国的应用生态在中期和长期的发展空间是相当宽广的,早期已经有很多中国的创业公司和大厂开始在准备开发基于大模型的应用。在国际化层面,中国的创业者在早期也有去北美的机会,尤其是做相对来讲敏感度不是很强的,比如企业应用客服等,这些中国的创业者都有更宽的机会,既可以在中国做,也可以在美国做,或者是在其他国家做。
全球化的创业机会
每个人都会有Copilot,每个人都会有Autopilot,每个人长期下来都会有副驾驶员的团队,人类的组织形式也会因此发生相应变化。综合在一起,每个职业的产能都将极大地提高。
OpenAI分析,19%的劳动力将会被GPT影响至少50%。高盛研究,全球范围3亿人的工作将被AI自动化,80%的美国劳动力会被GPT影响至少10%。
基于对一些创业公司使用大模型的初步调研,我们发现,其中超过77%的公司使用的是OpenAI的接口(其中GPT-4占21%,GPT-3.5占46%);基于开源模型自研和使用Stable Diffusion的公司,各占3%。
国家引导
由于大模型的技术和它产业发展的本质,需要规模大和时间周期长的投入和布局。在基础设施层面,国家有机会起更大的作用,做出更多政策上面的引导。
尤其在一些特定领域,中国有弯道超车的机会,比如说在医疗、生命科学、数字城市这些赛道,用大模型来驱动创新,中国有独特的优势。
同时由于大模型对产业和社会的特殊影响,国家也会做出多个维度的监管治理。
社会影响
大模型对生产关系和社会关系有本质性的长期的影响。
首先对于教育而言,社会影响跟国外一样大。教育非常重要,过去在全球竞争格局当中,中国的学生体量大,中国的码农多,中国学科学的人多。但是有了大模型之后,这个局面被改变了,给我们带来了全新挑战。但是,挑战的另一面就是机会。中国未来的教育怎么发展?值得思考。
另外是对科研的影响,尤其是产学研更有效的结构性组合,让中国在科学发展基础上有更多的加速创新机会。未来的科研格局里我们有新的机会,第四范式、第五范式是数据和计算驱动的,产学研在中国有重新组合的机会。
最后是关于文化和文明,这跟语言和文化的底蕴有关。大模型代表了每个国家的基本文明,这一次大模型为先的创新,有机会在这个方面更进一步地做适合中国传统和文明的一个创新。
第三部分 新机会:系统性、全方位的如何探索和把控我们的机会
全方位探索把控:“人+事”的机会空间
我们提出的框架主要针对创业公司,但对于任何组织和企业而言,只要是在有组织的去追求某个目标,它在结构本质上和创业公司都是一样的。因此,不仅是创业公司团队,其他相关人员也可以将这个框架应用于自己所做的企业、自己做的事情,从中获得有助于探索大模型时代的启示。不管你是从事什么行业,都可以在这个框架当中得到相应的经验收获。
新时代对人的机会在哪里?对事务的机会又在哪里?
第一,强烈建议不要盲目追逐热点,浮躁可能导致不利后果。尤其值得强调的是,这次追逐热点的代价可能更高,因为它涉及范式转变,需要改变思考方式和执行方式。如果盲目追逐热点,可能会付出巨大代价,其中包括机会成本。
第二,要勤于学习。这次技术变革相对复杂,建议大家阅读必要的论文。仅仅依赖别人的解读可能无法深入理解,必须花时间去深入研究关键论文,克服惯性思维。有一本书叫《科学发展的范式》,值得大家一看。一般大的范式,过去没法克服惯性思维,包括深度学习,因为这是不同的思考体系,所以一定要尽量克服惯性思维。
第三,一定要深度思考。务必认真思考这次技术变革对人和事务方面的影响,没有人能够避开这一挑战。
第四,必须采取行动导向。一旦理清思路,要立即采取行动。这次技术变革不进则退,涉及结构性改变,需要及时调整。在人际关系方面,这次技术变革可能会拉大人与人之间的距离,所以一旦想明白,要果断采取行动,不然你很快掉队。本来你跟你后面的人、前面的人可能距离不大,但一不小心你可能被甩得很后面,或者你有机会远远超过今天和你跑在差不多一条线上的人。
“事”的机会空间
事情方面,基于这次范式变更的本质,对于创业公司和企业,基本上可以通过三个维度去探索机会:第一,在产品和业务层面去探索机会;第二,你所在的产业是不是有根本性的变革,在产业变革的过程当中去探索更大的机会,你可能面临换个生意的选择,在价值链上占一个不同的价值点;第三,你所在的产业的研发体系是不是彻底变革了。由于产业的研发体系会在有效环节发生大变化,大量的变化是找到全新的、由于研发体系变更而带来的机会,有可能就得彻底换一个新的赛道,或者是在同一赛道里面用完全不同的方法去做产品。
我们给大家一个系统性的框架,我们从数字化基础、数字化应用、改造世界,这三个机会版块,进行完整的、系统性的机会探索体系。
数字化发展基础
数字化发展基础永远是平台驱动的,像移动互联网/云、人工智能/边缘计算、新兴平台等。
数字化的应用
我们将人群分为“消费者”、“创作者”、“企业”三个类别,把它分成一格一格的,代表人群时长的分割和人类的基本组织形成,用来系统、完整的探索数字化应用。
在这里,创作者人群是我们特别关注的,他们是站在前沿的:码农、设计师、科学家等。
消费者的需求结果体系,可以借助马斯洛的人类需求层次出发;企业的需求比较稳定,都是降本增效。
认识世界、改造世界
认识世界,包括认识自己是世界的一部分,要把知识数字化。
数字化有6种功能可见(Affordance):1. 信息(2D)。这个数字化的能力基本上触达了每一个人类,我们每个人基本上都用电脑,用手机,触达所有的人;2. 体验(3D)。尤其是三维的体验,元宇宙,目前只有少数的品类,游戏、社交等;3. 关系(抽象)。Web3.0是数字化的抽象关系,信任、激励机制、所有权等,这个需要时间来逐步探索和发展;4. 物理外部环境。数字化驱动的物理环境交互,自动驾驶、机器人等;5. 生理内部感知。数字化人内在的脑机接口、内部测试机制,这个目前也是覆盖少数类别,如康复等。6. 知识(模型)。数字化带来的知识是嵌入的,可以用在所有场景之下。
这次我们创新的空间,基本上是用二维的信息,加上嵌入知识,去找所有可以应用的类别;有些品类可以用到其他的数字化能力,如机器人等,可以三位一体地满足人的需求。系统性地探索我们的机会。以上是这个完整的框架。
数字化基础的机会
稳定的数字化平台结构
数字化平台的特点是:前端是“完整可延伸”的体验,有设备、容器、画布等;后端是完整可延伸的能力,有计算、存储、通讯。
值得关注的一个点是,目前为止任何一个万亿美元的公司都在前端做设备和操作系统,这是价值的控制点。
数字化的底层基础设施是计算体系,是芯片,是基础服务,是开源代码等等。在今天大模型流行的时代,基础设施领域存在大量的机会。某种意义上,从投资和创业者的角度来讲,这是最容易赚钱的地方。就像在淘金时代,一批人去加州淘金,淘金人的很多会死掉,但是如果你卖勺子、卖铲子、篮子的就不会,这是非常好的生意,因为没有这些工具就没法淘金。
进入大模型流行的时代,我们必须要有一系列新的算力、新的基础设施。创业会有门槛,但是一定有机会。未来新一代的有效算力,都将基于GPT的系统架构,长期机会非常可观。
基础设施和工具
第一点,是算力,有效算力包括芯片、算力体系。
第二点,是新一代的算力体系和网络架构。对未来机会来讲,我们更多需要的是连在一起的带宽和延时都很低的GPU。可能我们根本就不需要服务器这个概念,需要的是几万张卡连在一起的能力。
第三点,是大规模的训练体系、微调体系、推理体系等跟大模型相关的基础设施。
第四点,大模型时代需要一个全新的数据系统的数据堆栈,尤其是Embedding(嵌入),向量数据库和基于向量数据库的检索系统。
第五条,开发工具链,有新的机会,尤其是开发框架和新开的新框架。
最后有大量的开源的模型体系,开源的工具,开源的数据集,创新的机会就在开源这里。
新平台
在数字化基础当中,更大的机会是平台。
对于这个平台,美国是OpenAI,有几个创业公司,有谷歌、有微软。中国有百度、阿里,百川智能是王小川的,光年之外是王慧文的,还有很多。大家可以设想一下,这些公司10年以后的体量有多大?
今天谷歌可以是1万亿美元的公司,这个将远不止1万亿美元,成功的概率可能不一定高,也会一定艰难,但是只要你有能力,这就是非常值得探索的机会,因为这个平台的体量实在太大了。
在新时代中,OpenAI的平台基础体系都已经搭建好了,前后台系统已经准备好了,但它的关键应用(killer app)仍在发展中。目前,这个关键应用主要体现在前端的code interpret,就是一个数据分析师的功能。OpenAI自己想涉足的领域是教育和医疗,但它的平台基础和关键应用还在形成。
从平台商业化的角度看,我们目前主要关注中国和美国市场。全球范围内,只有这两个地区有平台公司。在美国,各平台之间,是一场激烈的竞争。从投资和创业机会来看,创业空间很有限,基本上没有了,市场主要被OpenAI、Anthropic等几家小公司以及谷歌和微软所占据。
新体验端和新设备端
在大模型时代,硬件的体验将不一样。
有一个比较典型意义的公司叫Humane,是苹果出来做硬件的的团队,他们过去一直没有找到好的产品。做的硬件是你戴在身上的,这个硬件能看到你所看到的一切、听到你所听到的一切,它不断在帮你思考。
这个东西在很多场景比手机更管用。其他设备如头盔和眼镜等,也有机会。
第三代系统(自主/自动化大模型平台机会)
第三代自动驾驶、机器人组合的机会也加速到来,需要新的硬件、新的算力、新的开发体系、新的模态,一定有用大模型来驱动下一个拐点的机会。
第三代系统,核心是指三位一体。大模型是生成模型,可以生成指令,控制设备和行动。这些模型是双向的,它既感知认识、感知分析,又能够进行控制。所以,因为大模型的本质,到了第三系统中,这个时代将被加速进入。
它的核心是行动体系,尤其是自主体系、自动驾驶体系、机器人体系和空间计算体系,这些体系将有机地交互,可以系统性地用越来越低的价格去采取行动,满足人们的需求。
自动驾驶方面,有新的机会,为什么?
今天自动驾驶做了十几年了,体系还是以视觉为主的,泛化能力还是不够。我们人开车一点都不累,轻轻松松,听听音乐,讲讲话。我们为什么开车不累?因为我们有语言,我们能零样本泛化。比如,我们在路上开车,看到前面有一个老人举着一个旗子走过来,我们会知道还早,根本不用担心,慢慢开过去绕过他就是了。但是今天的自动驾驶系统,遇到这个老人就会紧张的不得了,因为它从来没有见过,它不知道该怎么办,它没有泛化能力。所以我们可以有全新机会,用新一代的语言模型带来的泛化能力打通模态。当然用机器人、用大模型驱动新一代的机器人机会也一样大,机器人和自动驾驶将是人类最大的两个产业。
数字化应用的机会
这次技术的模型能力封装了所有的知识。所以这次的技术覆盖所有的需求,你要判断的是这个模型是不是足够强,模型在你这个领域的发展速度会不会很快。
首先我们必须做一个判断,在大模型时代的早期模型能力,我们预测模型发展的速度,对我所在这个需求,它是否有比较务实的机会去有效地满足用户和客户的需求?尤其是过去满足不了的需求。也就是说,第一你要判断是模型的能力,早期模型的发展速度和模型能力,对我所在这个产业能改变多少?
第二个判断是,三位一体的体验能够建立起来的机会有多大。一开始,我们三位一体就是信息模型和行动体系组合在一起来满足需求。在这里举个例子,健身模式上可以用来做,比方说Peloton,它本来就是一个单车,我可以在上面给你信息,今天缺的就是模型,就是一个教练,是一个时刻提醒你告诉你怎么弄的。所以Peloton这样就是三位一体,好的模型它内容已经有了。
第三个判断是,大模型时代对你所在这个赛道,从开发生产的角度来讲,能够带来全方位颠覆的机会有多大?比如你是做炼钢的,那这次大模型给炼钢这个产业带来的研发体系变更不大。但如果,你是开发游戏的,那就全都变了,因为游戏任何环节它的开发都不一样。
技术推动:大模型为先,形成闭环
所以,在“技术推动”这个方面,我们采用这个三角形,用高中低来判断一下每个行业都要用这个技术推进的情况。
很多同学都在想:我这个领域能不能做?你一定要考虑你这个领域,你这个生意有没有壁垒。这里有一个简单的范式,你自己有数据,你可以自己开发模型,你可以用大模型来开发,你的模型被使用之后,使用的数据你拿得到,使用的数据回归到闭环,你的既有数据越来越强。如果你有这样一个结构,你这个生意肯定可以做。所以大模型为先,从数据到模型,到使用闭环,是这个时代落地的有效方式。
需求拉动:大模型为先,而非信息为先
需求拉动,要找到需求,对知识、对模型比较敏感的需求。同时,我们要强调一个概念:在这个时代,一定要做大模型为先的产品。
大模型为先:三位一体为王,自然语言为先
人类需求本质也是三位一体的,任何一件事情,我们既需要信息,又需要知识,又需要行动来满足我们的需求。
比如说电商,今天都是用的信息,模型几乎没有。每一次看每一个领域,可以看这个领域里面的信息有多少,模型能有什么样的模型,行动有什么样的行动。大模型时代的产品,建议一定要做自然语言为先的产品。我们看到很多同学做产品,信息时代的惯性太大了,产品就是手机打开,看到图片、视频、文字,给出来的都是信息。这是过去的时代了。今天做产品,起步就需要是自然语言交互,去思考“你跟我怎么交互”?
有机会、行动导向,信息只是提供了一个基础,三位一体是终局。如果创业赛道有机会三位一体,要大模型为先,抢先进去。
大模型基础的闭环壁垒
考虑一个领域,生意有没有壁垒,有一个简单的范式:第一,你有自己的数据;第二,你可以自己开发模型,用大模型来开发模型;第三,你的模型被使用之后,使用的数据你能拿得到;第四,使用的数据,返回过来有个闭环,你的自有数据越来越强。
如果有这样一个结构,这样一个三位一体的体验和闭环,大模型为先的时代里,落地是一定要做的。
改造世界
新能源科技
首先,核心是新能源技术的研发体系,大模型将带来大量研发体系上的新机会,设计也好、生产也好,都可以用大模型来提升效益。
第二,新一代的能源运营、新一代的电网需要大量的数据、大量的模型的能力,把能源的供需平衡好、运营好。
第三,新一代核心技术,系统也好,部件也好,都可以切入大模型,直接植入大模型为先的技术。电池、触电设备、风电控制体系这一系列的核心技术都可以切入大模型为先的技术,让它做得更好。这里大厂已经有大量的机会在做了,对创业公司也打开了越来越多可以参与的创新机会。
新生命科技(生命科学)
第一,新的技术可以直接用到大量的生命科学体系当中。新的生命科学首先起步于今天深度学习的人工智能技术和相关的大模型技术,它本质上跟生命体系的计算过程在结构上是类似的。
第二,生命科学的产业结构越来越朝着今天的数字化工业的产业结构方向去走,在结构上会是非常类似的。有大量的计算和数据驱动直接生产、设计、制造,每个维度都可以用这个方法来做。
第三,大模型将对生命科学的基础研发和核心创新起到根本性的作用,尤其是在核酸、蛋白这一层,在其他维度的生命科学的结构维度做大模型,将根本改变我们的研发环节。就是用大量的数据和算力,通过涌现更高效的加速科学探索和研发的方方面面,系统性地提高这个产业的进展和创新的速度,这是关于生命科学体系。
新材料科技(材料科学)
材料科学体系跟生命科学体系大模型时代和数字化它所产生的效应是一致的。在材料科学里面它更是产业驱动的,比如芯片所需要的材料,光伏、新能源需要的材料,这一切在产业发展上带来的机会更直接、更优先,它是产业驱动的。
在结构上,大模型将系统性地切入数据驱动、计算驱动的材料设计、研发、制造等方方面面,比如材料基因、计算驱动的新的材料设计、材料工艺、材料生产等。
新空间科技
真正把空间用新的空间技术用好,是从地面开始,自动驾驶、深海、轨道、轨道之外、指数深空,新的卫星的、新的行星上,包括火星,这是长期有系统化的机会,大模型在每一个环节在探索。
在通讯、在遥感、在空间制造都可以直接驱动探索创新和商业价值的获取,在这个当中既给国家和大学带来非常多的创新的机会,同时也给有远见、有抱负,愿意长期坚持的创业者一样带来非常多的机会。
尤其是像自动驾驶这样一个巨大的产品,以大模型为先的方法,今天可以触达的机会就很多,长期更快,这是目前面临的商业化最大的发展,就是用技术、用大模型为领先的技术去探索更多的物理空间。
新执行环境
新的时代把事情的机会把控好,我们需要一个新的执行体系。
首先,马太效应会非常明显,对于已经拥有强大算力/数据/技术和财务资源的组织来讲,他们会更具有优势,同时,对于拥有大量高质量数据的人,也会获得更多优势,而且大模型在生成内容时可能存在偏见,少数人的声音不被听见。
同时,壁垒和竞争格局也有其特性,初创企业应该寻找未被大厂覆盖的市场细分领域和定位,在AI领域不断探索新技术、新方法和新应用,利用更多技术专利和知识产权建立竞争壁垒,也要注重与大厂建立合作关系(比如共享资源和数据),同时也需要具备较强的适应性和灵活性,快速适应市场变化。
此外,也应具备广阔的国际化格局,这里既包括使用多种语言提供本地化服务,也要基于中国文化,提供相应的语言的工具和内容,另外,垂直领域大模型的解决方案也很重要,也要同时注重跨语言沟通和翻译工具,以及针对中文语料的数据分析。
另外,知识产权结构也会有新格局,我们会面对不同的法律环境和保护方法,垂直领域数据的占比也会增加,而模型算法的占比会降低,同时也会有不同的产权激励结构。
最后,初创企业也需要面对新型的社会关系,我们会有不同的政府监管环境,创业门槛也会大幅降低,创业者作为一种普世性职业的时代真正到来,同时人才需求也会发生变化,对应聘人才的技术能力要求会更高。
“人”的机会空间
对于个人来讲,越来越重要的是你是不是有独到的见解,而且你有很大的心力,可以坚持不懈地追求这个愿景。
能力相对来讲越来越不重要,而你需要的是独到的能力,是能用好工具的能力。如果你的能力是别人或多或少都有的,那就越来越不重要了。
技术驱动发展带来的职业趋向。
对一个创始人来讲最重要的是独到的见解,尤其是对未来独到的看法和很强的心力,可以长期坚持努力把他独到的对未来的愿景可以实现出来,这是越来越重要的一个特性。
OpenAI本身就是最好的一个案例,OpenAI看好的是别人不看好的。OpenAI的科研能力、开发能力在总体上是远远不如谷歌、他们就几百号人,但是他们做出来了,本身就是验证了这一点,它(OpenAI)有着不同的愿景、不同的看法,它走的路是别人不走的路,它坚持走下去了,它靠这些彻底改变了世界。大家如果要一个案例,看 OpenAI 就行了。
人类历史上由于生产力、生产关系的演变,在任何时代都有一类职业,它是最赚钱的,创造财富最多。
以前打猎最厉害,创造的财富最多。有一个时代武功最厉害,能打架的武士是最赚钱的。上个世纪末,在华尔街买公司、卖公司的人,是最赚钱的,也就是投资者。而这个世纪初,即使把风险算在内,创业者是创造财富最多的一个职业,毫无疑问。
在这个新时代创造价值、财富最多的是创业者,同时大模型时代为创业者带来不同的发展机会,你需要的资金越来越少,你开发的周期越来越短,你创造价值机会越来越多,以后有越来越多的人都可以做创业,投资的生态也将为此而变,使创业者的机会越来越可观,越来越普遍,越来越有价值。
同时在下个时代,最有价值的是科研,但不是传统意义的科研,是新一代的科研。这个科研的典型代表就是OpenAI 。在OpenAI,你既是一个科研人员,同时又是码农,同时又可以做生态。既能够做科研写论文,又能够写代码,又能够做平台,是新一代的科学机构,是新一代的科学范式。
OpenAI开了个先例。有越来越多的OpenAI在未来10年、 20年、 30年、40年会涌现,因为今天的创业生态是70年的历史,再往后5年,会有越来越多人做这个,这是新一代的科研的open research(开放科研)。
基础范式的演变
科研的发展跟商业化合为一体
科学将进入第四范式和第五范式。新的科学范式需要数据、需要计算来发现新的科学现象,如果没有商业化,数据哪里来,算力哪里来?所以本质上,科研的发展必须逐步逐步跟商业化合为一体。
今天引领信息科学的不是一流的大学,不是国立实验室,早就是大厂。而今天引领数字化最前沿的人工智能的已经不是大厂,是创业公司,是OpenAI,是DeepMind。今天引领新空间科学的不是NASA,不是波音,是一家创业公司,叫SpaceX。越来越多的产业,比如生命科学、材料科学都会朝这个方向走。这种范式的变化是结构性的,就是因为科学的发现跟商业化分不开了。
从技术到价值:5个核心环节
今天全球的主流科学发展范式是1944年奠定的。1944年有一个人叫Vaneva Bush,那个时候罗斯福总统判断二战快结束了,他叫这个人写一份报告,规划如何让美国在二战之后保持技术的领先。这个人做了一番研究之后,写了一本小册子,名字叫《Science: the Endless Frontier》(《科学:无尽的前沿》)。
他在书中提出了一个范式:中央政府收税,把这个税的钱交给两个地方,一个是研究型大学,在美国系统发展研究型大学,研究大学里面做基础研究,做应用研究,做工程研究,教授和研究生一起做;第二,把钱给国立研究院等机构。今天中国也好,欧洲也好,或多或少都是采用这个范式。
产生的结果是有大量的科研结果形成论文,然后这些论文待在书架上10年或20年。接着有些大厂、有些其他机构说这些基础研究可以来解决实际的问题的,这就是所谓的应用研究。应用研究一般都是大学或者研究机关或者大厂在做。做完之后,发现这个可以做技术,就把技术做出来。比如说芯片封装技术、软件验证技术。这些技术做出来之后,有产品经理说这个技术可以做成产品,于是便把产品做出来。产品做出来,市场销售、运营的人说这个可以去卖,于是便把产品卖给客户。
技术驱动社会进步是这样一个流水线。所以从技术到为人类提供价值,都是有5个核心环节一路走下来的。
创业公司开始做基础研究了
但今天我们看到趋势是越来越倒过来了。创业公司,它不光是做产品,做技术,做应用研究,也开始做基础研究了。为什么?
第一,科学的范式变了,科学发展离不开商业化。科学必须要有数据,必须要有算力,所以离不开商业化。
第二,我们的历史上从来没有一个探索体系叫创业体系。创业体系是什么呢?它无缝不入,只要哪里有机会,哪里就有投资,就有想发财的年轻人。它比其他体系都更灵活,它能吸收人才,它有大量的资源可以用。因为今天全球的资本太多,都在找回报。如果你能改变世界,只要你真的行,都有人愿意投。我看到的一个现象是在一流大学,如伯克利、斯坦福,校内的每一个系长得越来越像一个基金,很多教授某种意义上都带了好几个创业团队,这个趋势越来越明显。
当然,今天主流科研模型有它的优势,它将继续在适合这个模式的领域中开拓科学新前沿。新的范式需要不断地探索、更新和创造。
(如需查看完整演讲内容和PPT,可点击演讲实录全文。)