共计 1957 个字符，预计需要花费 5 分钟才能阅读完成。
因为 ChatGPT(GPT-3.5)未正式公布参数量，暂时按照 1750 亿参数计算。
后续其他模型公布参数量后，可按参数量线性比例估算相关数值。
以下数值仅为理论估算，可能和实际数值相差很大，敬请谅解。
一、GPT-3.5 磁盘占用估算
不同模型之间，磁盘、参数量可以按线性关系粗略估算;
yolov5x：参数量 87.6M，磁盘占用 166M
175B/87.6M = 1751024/87.6 = 2046
GPT-3.5 磁盘占用估算：1662046/1024 = 332G
所以 GPT-3.5 模型大小约为 332G。GPT-3.5 参数量是 YOLOV5X 参数量的 2046 倍。
二、GPT-3.5 用于推理时显存占用估算
显存占用估算方法参考：https://blog.csdn.net/weixin_49305813/article/details/119179849
显存占用 = 模型显存(参数)+batch_size×每个样本显存(输出和梯度动量)
GPT- 3 显存占用：17510244 /1024 = 700G (参数为 32float，占 4 个字节)
需要 A100 数量：700G/80G = 9 块 A100
所以，GPT-3.5 仅做推理时，空转显存占用约 700G，需要大约 9 块 A100(80G)显卡。
考虑用户访问模型：
国信证券测算称，训练阶段每个 Token 的训练成本约为 6N(推理成本为 2N)。
根据 Similarweb 的数据，23 年 1 月份当前 ChatGPT 日活约 1300 万人，每人平均 1000 字左右的问题，因此合计产生约 130 亿字(173.3 亿个 token)。假设 24 小时平均分配任务，需要的算力为
173.3 亿 21750 亿 /(51%24 小时 3600 秒)=173000000002175000000000/24/3600/0.51/1000000000000000
=137 PetaFLOP/S
由于访问流量存在峰值，假定访问峰值是一天均值的 5 倍，NVIDIA 80GB A100 GPU 理论算力是 0.312 PFLOPS。
需要 A100 显卡数量 137*5/0.312 = 2195 块
所以，大约需要 2195 块 A100 可以满足日活约 1300 万人访问需求。
三、GPT-3.5 训练使用的显卡数量估计
据 OpenAI 团队发表于 2020 年的论文《Language Models are Few-Shot Learners》，训练一次 1746 亿参数的 GPT- 3 模型需要的算力约为 3640 PF-days。
如果是 NVIDIA 80GB A100 GPU, 理论算力是 312 TFLOPS，Megatron 利用 tensor parallel 和 pipeline parallel 并行技术能达到 51.4% 的利用率，也即是每秒能完成 0.160 PFLOPS。
一张 A100 卡需要跑 3640/0.16 = 22750(天)
按照 1 个月的训练时间计算，需要 A100 卡数量估计 = 22750/30 = 758 (块)
据悉，训练 Meta AI 的 OPT-175B 使用了 992 张 80GB 的 A100 GPU，每个 GPU 的算力达到了 147 TFLOP/s。
所以，综合以上信息估计完成一次训练，A100 卡的用量需求大约为 1000 块。
四、租赁价格估计
显卡 (NVIDIA 80GB A100 GPU) 的租赁价格为 1.5 刀每小时
综合上面的访问和训练用 A100 数量：2195+1000=3195;
还需要考虑并行训练、测试等用卡量，总体按 10000 块 A100 估计。
10000 块 A100 一天的租赁费用：10000 * 24 * 1.5 = 360000 刀 = 36 万刀
注：以上未考虑英伟达对 OpenAI 的优惠价格。
五、其他机构预测(感觉比较离谱)
3 月 7 日消息，市场调查机构 TrendForce 公布的最新报告指出，如果以英伟达 A100 显卡的处理能力计算，运行 ChatGPT 将需要使用到 30000 块英伟达 GPU。
调查机构 TrendForce 在报告中指出，预估 ChatGPT 需要 20000 块显卡来处理训练数据。随着 OpenAI 继续在商业上部署 ChatGPT 和该公司的生成式 GPT 模型，可能需要超过 30000 块显卡。
目前英伟达 A100 显卡的售价在 10000-15000 美元之间，该售价取决于 OpenAI 需要多少显卡，以及英伟达是否会为 AI 公司提供订单折扣。TrendForce 预估英伟达可以赚取超过 3 亿美元 (IT 之家备注：当前约 20.82 亿元人民币) 收入。
ChatGPT 训练阶段总算力消耗约为 3640 PF-days(即 1PetaFLOP/ s 效率跑 3640 天)。据普超资本微信公众号，GPT- 3 训练成本预计在 500 万美元 / 次。
六、参考
以 GPT-3 175B 为例，说明 PF-days 和 flops 的等量关系;
3.64E+03 PF-days=3640 * 1000 * 1000* 100010001000243600 = 3.14E+23 次浮点运算
