摘要：人工智能(AI)正在改善人们的日常生活，无论是改善协作、提供娱乐，还是通过自动驾驶汽车、数字健康、智能工厂等改变行业。然而，这些由人工智能驱动的效益伴随着很高的能源消耗成本。客观地说，预计到2025年，深度神经网络的权重参数将达到100万亿个，这与人类大脑的容量相似，或者至少与大脑中的突触数量相似。

   人工智能(AI)正在改善人们的日常生活，无论是改善协作、提供娱乐，还是通过自动驾驶汽车、数字健康、智能工厂等改变行业。然而，这些由人工智能驱动的效益伴随着很高的能源消耗成本。客观地说，预计到2025年，深度神经网络的权重参数将达到100万亿个，这与人类大脑的容量相似，或者至少与大脑中的突触数量相似。
　　
　　为什么量化对边缘人工智能仍然很重要
　　
　　为了使我们对智能设备的想象成为可能，人工智能推理需要在设备上高效地运行——无论是智能手机、汽车、机器人、无人机，还是任何其他机器。这就是高通人工智能研究院继续致力于整体模型效率研究的原因，该研究涵盖了量化、神经体系结构搜索、编译和条件计算等领域。量化尤其重要，因为它允许自动减少权重和激活，以提高功率效率和性能，同时保持精度。基于硅的功耗，看到从32位浮点(FP32)到8位整数量化(INT8)，每瓦性能提高了16倍，内存带宽降低了4倍，这相当于大量的功耗节省和/或性能提高。我们的网络研讨会探讨了量化的最新发现。
　　
　　人工智能工程师和开发人员可以选择训练后量化(PTQ)和/或量化感知训练(QAT)来优化并在设备上高效部署他们的模型。PTQ由预先训练的FP32模型组成，并将其直接优化为定点网络。这是一个简单的过程，但可能产生比QAT低的准确性。QAT需要使用模拟量化操作对网络进行训练/微调，但可以获得更高的精度，特别是对于较低位宽和某些人工智能模型。
　　
　　整数量化是人工智能推理的一种方法
　　
　　对于相同数量的位，整数和浮点格式有相同数量的值，但分布不同。许多人认为浮点数比整数更准确，但这实际上取决于模型的分布。例如，FP8在表示有异常值的分布时比INT8表现得更好，但它不太实用，因为它消耗更多的能量——还要注意，对于没有异常值的分布，INT8提供了更好的表示。此外，目前存在多种FP8格式，而不是一刀切。寻找最佳的FP8格式并在硬件上支持它是有代价的。至关重要的是，使用QAT,FP8在高异常值分布中提供的好处得到了缓解，FP8和INT8的准确性变得相似——更多细节请参考我们的NeurIPS2022论文。在INT16和FP16的情况下，PTQ减小了精度差异，而INT16优于FP16。
　　
　　使4位整数量化成为可能
　　
　　高通AI研究的最新发现更进一步，解决了另一个损害模型准确性的问题:训练模型时的振荡权值。在我们ICML2022年接受的论文《克服量化感知训练中的振荡》中，展示了QAT期间更高的振荡频率会对准确性产生负面影响，但事实证明，这个问题可以通过两种最先进的(SOTA)方法解决，即振荡阻尼和迭代冻结。由于这两种新方法，实现了4位和3位量化的SOTA精度结果。
　　
　　使用开源量化工具支持生态系统
　　
　　现在，人工智能工程师和开发人员可以使用我们的开源工具人工智能模型效率工具包(AIMET)和AIMET模型动物园在设备上高效地实现他们的机器学习模型。AIMET特性和api易于使用，可以无缝集成到AI模型开发工作流中。这是什么意思?
　　
　　针对多个模型的基准测试和测试
　　
　　AIMET支持对广泛的用例和模型类型进行精确的整数量化，将权重位宽精度一直推到4位。
　　
　　除了AIMET，高通创新中心还提供了AIMET模型动物园:广泛的流行预训练模型优化了8位推理，跨越广泛的类别，从图像分类，目标检测，语义分割到姿势估计和超分辨率。AIMET模型动物园的量化模型是使用AIMET中发现的相同优化技术创建的。除了模型之外，AIMET模型动物园还提供了将流行的32位浮点(FP32)模型量化为8位整数(INT8)模型的方法，且精度损失很小。在未来，AIMET模型动物园将提供更多的模型，涵盖新的用例和架构，同时通过进一步优化使模型具有4位权重量化。AIMET模型动物园使人工智能开发人员尽可能简单地获取精确的量化模型，以增强性能、延迟、每瓦性能等，而无需投入大量时间。
　　
　　编辑：Harris