AI模型训练及多场景推理成本测算

[OliveStar]

​
课程中没有提AI模型的成本消耗计算，之前看到的国金证券出的研究报告，提出的测算方法，可以参考。

AI模型的成本主要由训练成本和推理成本构成：

• 训练成本：衡量从头开发一个AI模型的算力费用，或是对现有AI模型知识库进行迭代更新所需的算力费用。
• 推理成本：衡量用户使用AI模型时产生的算力费用。

1、AI模型训练成本估算

AI模型训练成本估算：

训练成本=AI模型训练所需的浮点运算次数/AI算力集群单位时间有效浮点运算次数*AI算力集群单位时间价格

AI模型训练所需浮点运算次数计算：

AI模型训练所需浮点运算次数=6 * 模型参数规模 * 训练集大小

**AI算力集群单位时间有效浮点运算次数：**在利用GPU进行AI模型训练时，GPU算力除了用以训练模型，还被用以通信、训练数据读写等，因此有效浮点运算次数才能衡量AI算力集群的算力水平。

2、通用AI模型推理成本估算

AI模型推理成本估算：

推理成本=AI模型推理所需的浮点运算次数/AI算力集群单位时间有效浮点运算次数*AI算力集群单位时间价格

AI模型推理所需浮点运算次数计算：

AI模型推理所需浮点运算次数=6 * 模型参数规模 * 训练集大小

3、多应用场景下ChatGPT推理成本估算

具体应用场景中AI模型完成一次任务所需成本：

场景成本=场景任务所需Tokens推理成本(1-缓存命中率)*1/(1-计算集群闲置率)*模型压缩因子

场景任务所需Tokens： 其指在具体应用场景中，为了完成给定的场景任务，如搜索信息、文书修改撰写等，AI模型需要处理的Tokens数量。这既包括向AI模型输入的信息， 也包括AI模型自主生成的信息。
推理成本： ChatGPT每处理1000Tokens信息需要花费0.177美分。如果自建AI算力中心，推理成本将降至0.053美分/1000Tokens。
缓存命中率： 用户的任务需求存在重叠性，如果任务需求在之前已经被AI模型解决，则无需再次进行推理，仅依靠输出缓存信息可解决任务。
计算集群闲置率： 当AI模型应用至具体场景时，为保证能够及时响应用户需求，AI算力集群需要采用冗余配置方式，会导致算力闲置。
模型压缩因子： 可以通过模型压缩技术，来压缩模型的参数规模，从而降低具体场景下的推理成本。

典型具体应用场景所需的Tokens估算：

1、搜索引擎场景

场景任务所需Tokens = 用户输入 + （模型从每个信源中读取的Tokens*每次搜索的信源数量）+模型输出Tokens

2、办公软件场景

场景任务所需Tokens = （用户输入 + 模型输出Tokens）* 满足用户需求的平均响应轮次

3、AI客服场景

场景任务所需Tokens = （用户输入 + 模型输出Tokens）* 解决用户需求的平均对话轮次

详细的成本计算案例可参考报告

ChatGPT训练及多场景推理成本测算

​