摘要:在一篇新发表的论文中,麻省理工学院计算机科学和人工智能实验室(CSA I L)的研究人员提出了一个系统来训练和运行AI模型,其方式比以前的方法更环保。 他们声称,在某些情况下,它可以减少“低三位数”所涉及的碳排放磅,主要是通过提高上述模型的计算效率 |
在一篇新发表的论文中,麻省理工学院计算机科学和人工智能实验室(CSA I L)的研究人员提出了一个系统来训练和运行AI模型,其方式比以前的方法更环保。 他们声称,在某些情况下,它可以减少“低三位数”所涉及的碳排放磅,主要是通过提高上述模型的计算效率。
人工智能在图像合成、蛋白质建模和自主驾驶等领域取得了令人印象深刻的成就,但该技术的可持续性问题在很大程度上仍未解决。 去年6月,马萨诸塞州阿默斯特大学的研究人员发布了一份报告,估计训练和搜索某一模型所需的能量涉及大约626,000磅二氧化碳的排放,相当于美国汽车平均寿命的近5倍。
研究人员的解决方案,一个“一劳永逸”的网络,训练了一个大模型,包括许多预先训练的不同大小的子模型,可以定制到一系列的平台,而不需要再训练。 每个子模型可以在推理时独立操作,而不需要再训练,并且系统根据与目标硬件的功率和速度限制相关的精度和延迟权衡来识别最佳子模型。 (例如,对于智能手机,系统将选择更大的子网络,但不同的结构取决于单个电池寿命和计算资源。)
一种“渐进收缩”算法有效地训练大模型,同时支持所有子模型。 先训练大模型,再借助大模型训练较小的子模型,使其同时学习.. 最后,所有子模型都得到了支持,允许基于目标平台的规范进行快速专业化。
在实验中,研究人员发现,用他们的方法训练一个包含10多个Quintillion体系结构设置的计算机视觉模型的效率远远高于花时间训练每个子网络。 此外,它没有损害模型的准确性或效率-该模型在移动设备上实现了最先进的精度,当测试一个共同的基准(Image Net),并在推理方面比领先的分类系统快1.5至2.6倍。
责任编辑:张华