• 周六. 4 月 13th, 2024

顶级流量GPT4

topqotopqotopqotopqot

ChatGPT,深度拆解

金融科学家

3 月 23, 2023

ChatGPT引发范式革命,AI产业发展前景可期

近期由OpenAI团队发布的聊天机器人软件ChatGPT,凭借类人的语言理解和表达能力,引发AI产业范式革命。通过拆解ChatGPT,我们发现:1)单一大模型或为未来AI训练主流方向;2)大模型训练可以积累底层语言能力,但需要大算力支持;3)预训练语言模型和Transformer架构是模型底层能力的根源;4)ChatGPT商业化应用前景广阔。基于此,我们认为国产厂商或将训练出自己的GPT模型,AI产业有望迎来景气周期。目前国内在模型层面具备产业基础的相关企业包括:百度商汤云从科技等;在应用层持续推出新应用的相关企业包括:科大讯飞金山办公同花顺汉王科技等;在底层基础设施和工具有布局的相关企业包括:寒武纪景嘉微等。

背景:发源于OpenAI,成名于生成式语言

OpenAI于2015年在旧金山成立,主要从事人工智能研究。2019年OpenAI收到微软注资 10亿美元,就Azure业务开发人工智能技术。2020年发布GPT-3语言模型,由微软获得独家授权。2022年,OpenAI在GPT-3.5的基础上推出了ChatGPT,强化了人工智能的语言对话能力,引起社会广泛关注。2023年,微软拟对OpenAI追加数十亿美元投资,利用自身算力基础设施资源发挥与OpenAI业务协同效应,深入布局生成式AI技术。

原理:AI大模型里程碑式的胜利

ChatGPT采用监督学习+奖励模型进行语言模型训练,主要包括三个步骤:1)第一阶段:训练监督策略模型。在ChatGPT模型的训练过程中,需要标记者的参与监督过程;2)第二阶段:训练奖励模型。借助标记者的人工标注,训练出合意的奖励模型,为监督策略建立评价标准;3)第三阶段:采用近端策略优化进行强化学习。通过监督学习策略生成PPO模型,将最优结果用于优化和迭代原有的PPO模型参数。我们认为,ChatGPT的训练过程采用单一模型+小样本学习+人类微调监督方式进行,取得了良好效果,验证了AI大模型应用前景,大模型路线有望成为未来主流。

模型:三个维度拆解GPT模型特征

我们认为,ChatGPT的成功离不开AI大模型的加持,强大的算法训练模型,使得ChatGPT在迭代中获得实现接近自然语言的表达能力。拆解模型来看:1)ChatGPT使用单一大模型,积累强大底层通用能力,背后来自微软丰富的算力资源支持,并通过引入监督学习,有效填补了大模型同质化漏洞;2)模型的具体训练模式,采用的是预训练语言模型,而预训练语言模型无需人工标签,具备高效性、通用性与正则化等内生优势,且二代模型具备上下文交互能力,推动模型语义理解能力升级;3)Transformer是大模型高效运行的根基,天然适合高并发训练,通过编码器堆叠实现底层架构搭建。

应用:打开AIGC应用新局面

ChatGPT属于AIGC的具体应用,相比过去的AI产品,在模型类型、应用领域、商业化等层面呈现出新的特点。1)技术方面:ChatGPT属于自然语言处理领域,与早期的自然语言技术相比,ChatGPT采用大模型进行训练,并加入人工反馈增强学习(RLHF)方法,实现了效果提升;2)应用方面:ChatGPT属于生成式AI,相比于分析型AI,不局限于已有的内容,已在文艺创作,代码处理,营销等多个创造性场景内得到应用;3)商业化方面:ChatGPT在商业化方面彰显出强于以往AI应用的潜力,一方面用户数快速增长,另一方面得到了微软为代表的科技巨头的支持,应用有望快速推广。

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

津ICP备2023001505号-1