去年美国马萨诸塞州大学阿默斯特分校的研究人员曾表示,训练一台大型AI机器产生的碳,平均是一个人终其一生驾驶汽车制造的排放量5倍。除此之外,还存在很多其他方面的能源消耗。因此AI未来如何实现可持续发展,仍是亟需解决的问题。
近期,在麻省理工一篇最新论文中显示,其提出了一种比以前更环保的方式来训练和运行AI模型的系统。论文中显示,该方案被称为是种“一劳永逸”的网络,它训练一个大型模型,该模型由许多不同大小的预训练子模型组成,这些子模型可以在不需要再训练的情况下针对一系列平台进行定制。每个子模型都可以在推理时独立运行而无需重新训练,系统根据与目标硬件的功率和速度限制相关的精度和延迟权衡来确定最佳子模型。
“渐进收缩”算法有效地训练大模型,同时支持所有子模型。先训练大模型,再利用大模型训练较小的子模型,使其同时学习,最后所有子模型都得到了支持,。
在实验中,研究人员发现,用他们的方法训练一个包含超过10个五分之一建筑环境的计算机视觉模型,最终比花几个小时训练每个子网络要有效得多。此外,它并没有影响模型的准确性或效率——当使用通用基准(ImageNet)进行测试时,该模型在移动设备上达到了理想准确性,在推理方面比领先的分类系统快1.5到2.6倍。
也许更令人印象深刻的是,研究人员声称,与当今流行的模型搜索技术相比,计算机视觉模型在训练时需要大约1/1300的碳排放量。IBM研究员、麻省理工学院沃森人工智能实验室成员谈到这项研究时表示:“如果人工智能要继续快速发展,我们就需要减少其对环境的影响。”