比较常见的浮点数精度有双精度（FP64）、单精度（FP32、TF32）、半精度（FP16、BF16）、8位精度（FP8）、4位精度（FP4、NF4） 。

1. FP64（双精度浮点数）
精度：64位，提供高精度的数值表示。
应用：主要用于科学计算和高精度要求的场景，如数值模拟、金融建模等。
优点：极高的数值精度，适合需要高精度的计算。
缺点：计算速度较慢，内存占用大，不适合大规模机器学习模型。

2. FP32（单精度浮点数）
精度：32位，平衡了精度和计算效率。
应用：广泛应用于深度学习训练和推理，是大多数框架的默认精度。
优点：较好的数值精度，计算速度较快，内存占用适中。
缺点：相比FP16，内存占用和计算量仍较大。

3. FP16（半精度浮点数）
精度：16位，显著降低内存占用和计算量。
应用：常用于深度学习训练和推理，尤其是大规模模型和硬件加速（如GPU、TPU）。优点：内存占用小，计算速度快，适合大规模模型和低功耗设备。
缺点：数值精度较低，可能导致训练不稳定，通常需要混合精度训练（如FP16+FP32）。

4. FP8（8位浮点数）
精度：8位，进一步降低内存占用和计算量。
应用：主要用于推理阶段，尤其是边缘设备和低功耗场景。
优点：极低的内存占用和计算量，适合实时推理和资源受限的设备。
缺点：数值精度非常低，可能导致显著的精度损失，通常需要复杂的量化技术。

在实际的机器学习应用中，基本遵循着精度和计算效率之间的平衡。所以FP64基本没有人使用，即使是FP32则在要求精度的情况下不得不使用，所以在实际的深度学习过程中通常采用的是 混合精度训练，可以兼顾 FP16的速度和 FP32 的精度。例如权重和梯度上使用 FP16 进行计算和存储，梯度更新等关键操作使用 FP32 进行高精度计算。

我们曾在<部署DeepSeek 你的显卡够用吗？>一文中介绍过不同精度下不同参数量对显卡的要求

而随着DeepSeek V3 的FP8技术一经推出，更加点燃了大家对于继续降低硬件的要求的热情。FP8（8位浮点数）已经是近年来机器学习领域的重要技术方向，其在模型压缩、推理加速和硬件适配等方面展现出显著优势。

FP8的核心理念是通过低精度计算实现高效推理，其发展趋势紧密围绕以下方向：

场景驱动：边缘设备、实时系统和大模型推理是主要落地场景；

硬件协同：依赖新一代GPU/TPU的硬件加速；

生态成熟：标准化工具链和开源框架的完善；

技术融合：与其他量化方法、模型压缩技术结合，形成多维优化方案。

未来，随着量子计算、联邦机器学习等新兴技术与FP8的结合（如量子机器学习中低精度计算的探索），FP8的应用边界将进一步扩展，成为机器学习基础设施的重要组成部分。