到底AI偏向于用双精度还是单精度计算？

pullhamlet2

游戏卡和专业卡资料：
https://www.chiphell.com/thread-2529277-1-1.html

计算卡资料【查看产品规格】：
https://www.nvidia.cn/data-center/h100/

所以结论是H100双精度是游戏卡的20多倍，然而单精度反而只有游戏卡的三分之二。当然显存容量/带宽确实大了。

所以AI如果不是【双精度计算】的话，岂不是AI反而是占用了大量的游戏卡和专业卡来计算？果真如此的话，那么总是说老黄的市值是被AI带起来的，但实际的产品……这不还是和玩家竞争的游戏卡（最多算上专业卡）？……疑惑ing

danssion

现在大多fp16。

而且通常是bandwidth bound。

IAM0

主流是训练用单精度、半精度；推理用半精度、甚至int8/int4。
双精度部分模型有需求，但主要还是用于科学计算比较多。

xingke

那岂不是AI反而是占用了大量的游戏卡和专业卡来计算？

毕竟这些卡性价比更高

wx520

见上楼，就是这个比较疑惑

wushuhong

逼近是什么？纠错。

精度是带来了误差，但人工智能模型本身就是大号的纠错器。所以降低精度总是能带来正面的收益。

为什么HPC芯片还是有双精度，因为它们是多任务的，除了拟合任务，还有其他的需要计算解析解的任务。

e999

果真如此的话，那么总是说老黄的市值是被AI带起来的，但实际的产品……这不还是和玩家竞争的游戏卡（最多算上专业卡，毕竟游戏卡可能理论上无法）？……疑惑ing

荷尔蒙暴民

本来就是有竞争。反正H100这种是给AI落地用的，可以从源头控制。

实验室/科研单位抢4090也不是什么新闻了。

bird034

主要是，通过这些数据，加之分析性价比

我反而产生了AI其实反而更适合用游戏卡/专业卡的“错觉”。