• 周六. 7 月 20th, 2024

顶级流量GPT4

topqotopqotopqotopqot

OpenAI访问限流,GPT-4算力测算

金融科学家

3 月 23, 2023

OpenAI对于Plus付费用户的GPT-4访问连续下降阈值,GPT-4访问限制由第一天的150msg/4hr到100msg/4hr到50msg/3hr到最近的25msg/3hr。在较短的时间内GPT-4下降了4次访问阈值。

评论:

ChatGPT-4的访问被持续限流

OpenAI对于Plus付费用户的GPT-4访问连续下降阈值,GPT-4访问限制由第一天的150msg/4hr到100msg/4hr到50msg/3hr到最近的25msg/3hr。在较短的时间内GPT-4下降了4次访问阈值。对于GPT-4的限流,OpenAI的官方回复是“开发者可能会对使用GPT-4的应用程序或者服务施加类似限制,以确保合理的资源分配,避免滥用或者控制成本。通常这类限制取决于API访问限制或者特定的订阅服务”。官方主要从控制成本的角度对GPT-4访问量进行优化,也明确了限流几乎只针对GPT-4。

OpenAI限流的背后是其日活和周活用户数的持续攀升由于功能的强大以及回复率准确的高企,ChatGPT的日活和周日跃用户数量屡创新高,截止3月15日,ChatGPT日活突破5837万(3月13日的日活用户数据是4846万,两天新增接近800万日活),截止到3月9日这周,ChatGPT周度的活跃用户数量为331.81万,相比上一周活跃用户数量增加了接近25万。GPT的日活和周度活跃用户数量持续攀升,一方面是GPT4的能力更加强大,使用的体验更加流畅、回复的答案更加精准、上下文溯源的能力更加强大,使得越来越多的用户加入到体验和运用模型的队伍中来,另一方面是因为经过此前GPT-3经历后的付费用户数量越来越多。目前,OpenAI没有提价,对于Plus会员的价格还是20美金/月,但是随着用户数量的持续增加,预计限流的动作会持续。

OpenAI的需求持续增长将持续推高算力成本

ChatGPT应对终端访问,每1000tokens需要算力成本0.02美金,3月3日OpenAI发布GPT-3.5-turbo,对外开放API接口,宣称算力成本下降90%,1000tokens算力成本下降到0.002美金。目前,以英伟达DGXA1OO服务器作为计算资源,采用云服务单天成本约为460美元,假设按照ChatGPT日活1300万人,每个人每天平均1000字的问题(共计173.3亿个token),假设峰值为一天均值的5倍,那么需要602万台DGXA100服务器,每天的租用成本为27.77万美金,平均到每1000个token的推理成本为0.02美金左右(详细的测算过程欢迎参考前期报告《人工智能行业点评:ChatGPT对算力的需求究竟如何?》)。目前,GPT-3.5-turbo的算力成本下降了90%达到0.002美金每1000个tokens,我们预期模型的参数有所下调(此前测算成本按照GPT-3.5的模型参数3000亿个进行测算),此结果和用户对于newbing不及ChatGPT本身交互准确的感受相一致。

预计GPT-4的算力消耗量远大于GPT-3和GPT-3.5-turbo。目前根据根据GPT-4的公开数据,在8K的上下文长度下,每1000个token的提问成本为0.03美金,每1000个token的回答完成成本为0.06美金;在32K的上下文长度下,每1000个token的提问成本为0.06美金,每1000个token的回答完成成本为0.12美金。这个算力成本相比与GPT-3的成本(每1000个tokens的算力成本约为0.02美金)上升了较高(输入成本增加50%-200%,输出升本增加200%-500%),相比于GPT-3.5-turbo的成本上升更为可观,输入成本增长了14-29倍,输出成本增长了29-59倍。

预期在应用逐步增长的背景下,GPT的算力成本将进一步攀升。目前OpenAI主要的用户为C端用户,未来有望逐步扩大到B端领域,GPT-3.5-turbo下降精度降低算力成本以适应更多的应用场景是扩大生态中坚实的一步。随着GPT生态的建立、相关应用的爆发,算力的需求将持续扩大。目前,根据微软的数据,Bing的日活首次突破1亿(集成搜索+聊天功能的必应预览版自推出以来总聊天次数已超过4500万次),目前GPT的日活数量接近5800万,Bing日活1亿用户,假设NewBing4000万日活,其他应用4000万日活,合计1.4亿日活。假设普通98.5%的用户使用GPT-3.5-turbo,1.5%的用户使用GPT-4,那么98.5%普通用户的一天的算力成本在28万美金左右(对应607台DGXA100系列服务器),而1.5%付费使用GPT-4的用户的算力成本为每天840万美金(对应1.8万台DGXA100系列服务器)。具体测算和假设如下:1)98.5%的用户使用GPT-3.5-turbo,每个人每天问1000tokens,按照每1000tokens需要算力成本0.002美金计算,每天的成本大概为28万美金,对应607台DGXA100系列服务器;2)1.5%付费用户使用GPT-4,每个人每天1万个tokens,按照目前GPT-4给出的最低价格(每1000个tokens0.06美金),那么算力成本为约840万美金,对应1.8万台DGXA100系列服务器。而根据微软在2019年的公告,投资OpenAI10亿美金,投资1万个GPU建设AzureAI超算平台,可以预见的是,算力将很快被OpenAI的GPT模型消耗完,这也是OpenAI此前持续公布限流的原因之一。随着OpenAI官方公告6.14号开出GPT-4的API接口,按照目前用户数量和问询数量的趋势,公司必须做出一些应对措施,要想保留GPT-4强大和精准的能力,就需要继续扩大算力,或者继续降低精度以控制算力成本。在全球的AI浪潮下,国内自从百度文心一言大模型推出后,也有几百家的公司成为其合作伙伴,未来阿里腾讯的大模型也有望推出,对应的算力缺口有望持续扩大,从国内的浪潮信息中科曙光工业富联海光信息紫光股份等公司下游需求来看已经有些端倪。

投资建议:

目前,全球正处于AI浪潮中,海外以OpenAI旗下的GPT大模型为代表,越来越多的C端用户和B端厂商接入生态,在AI赋能后,产品和应用端都出现了较为明显的积极变化。微软已经率先将GPT-4接入了Office等全系列办公场景,预期后续会有更多的现象级应用出现,国内市场也受益于百度文心一言大模型的发布,未来有望在应用端迎来百花齐放。随着应用端逐渐丰富,对算力的需求提出了更多的需求,在此趋势下,预计未来的算力需求缺口将会持续扩大,建议重点关注人工智能算力领域的相关标的,如海光信息等。

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

津ICP备2023001505号-1