新技术将AI培训时间缩短了60％以上

北卡罗来纳州立大学的研究人员开发出一种技术，可以在不牺牲准确性的情况下将深度学习网络的培训时间缩短60%以上，从而加速新型人工智能(AI)应用的开发。

“深度学习网络是人工智能应用的核心，用于从自动驾驶汽车到计算机视觉技术的各种应用，”北卡罗来纳州计算机科学教授，该工作论文的共同作者Xipng Shen说。

“开发新的AI工具面临的最大挑战之一是培训深度学习网络以识别和响应与其应用相关的数据模式所需的时间和计算能力。我们已经提出了加快这一过程的方法，我们称之为自适应深度重用。我们已经证明，它可以减少高达69%的训练时间而不会导致精确度损失。“

培训深度学习网络涉及将数据样本分成多个连续数据点。考虑一个旨在确定给定图像中是否有行人的网络。该过程开始于将数字图像分成彼此相邻的像素块。每个数据块都通过一组计算过滤器运行。然后通过第二组过滤器运行结果。这将迭代地继续，直到所有数据都通过所有过滤器运行，从而允许网络得出关于数据样本的结论。

对数据集中的每个数据样本执行此过程时，称为纪元。为了微调深度学习网络，网络可能会运行数百个时期的相同数据集。许多数据集由数万和数百万个数据样本组成。许多过滤器的大量迭代被应用于大量数据意味着训练深度学习网络需要大量的计算能力。

当Shen意识到数据集中的许多数据块彼此相似时，Shen的研究团队突破了这一时刻。例如，一个图像中的蓝色天空的片可以类似于同一图像中其他地方的蓝色天空片或者相同数据集中的另一个图像中的天空片。

通过识别这些类似的数据块，深度学习网络可以将过滤器应用于一个数据块并将结果应用于同一组中的所有相似数据块，从而节省了大量计算能力。

“我们不仅能够证明存在这些相似之处，而且我们可以在过程的每一步中找到中间结果的相似性，”林宁博士说。北卡罗来纳州立大学学生和该论文的第一作者。“我们通过应用一种称为局部敏感散列的方法，最大限度地提高了效率。”

但这提出了另外两个问题。每个数据块应该有多大?数据块需要达到什么阈值才能被视为“相似”?

研究人员发现，最有效的方法是首先查看相对较大的数据块，然后使用相对较低的阈值来确定相似性。在随后的时期中，数据块变得更小并且相似性阈值更加严格，从而提高了深度学习网络的准确性。研究人员设计了一种自适应算法，可在训练过程中自动实现这些增量变化。

为了评估他们的新技术，研究人员使用深度学习研究人员广泛用作测试平台的三个深度学习网络和数据集进行测试：CifarNet使用Cifar10; AlexNet使用ImageNet; 和VGG-19使用ImageNet。

Adaptive Deep Reuse将AlexNet的培训时间缩短了69%; VGG-19的比例为68%; 并且CifarNet减少了63% - 所有这些都没有准确性损失。

“这表明该技术大大缩短了培训时间，”慧冠博士说。北卡罗来纳州立大学的学生和该论文的共同作者。“它还表明，网络越大，自适应深度重用能够减少培训时间就越多 - 因为AlexNet和VGG-19都比CifarNet大得多。”

“我们认为自适应深度重用是一种有价值的工具，并期待与行业和研究合作伙伴合作，展示它如何用于推进人工智能，”沉说。

本文将于4月8日至11日在中国澳门特别行政区举行的第35届IEEE国际数据工程大会上发表论文“自适应深度重用：加速CNN在线培训”。