据中国科学院苏州纳米技术与纳米仿生研究所报道，刘欣研究员、周扬帆等针对学习率自适应的随机梯度下降算法Adabief在强凸条件下的收敛速度是否可以进一步提高的问题进行了首次尝试，并给出了肯定的答案。团队利用损失函数的强凸性，提出了一种新的算法FastAdaBelief，该算法在保持良好的泛化能力的同时，具有更快的收敛速度。 该团队根据理论证明的结果，进行了一系列的实验研究，验证了所提出的算法的优越性。首先，在softmax回归问题上的实验验证了FastAdaBelief比其他算法的收敛速度更快；然后，在CIFAR-10数据集上完成了多组图像分类任务，结果表明，在实验对比算法中，FastAdaBelief具有最快的收敛速度，并且具有最好的泛化能力；最后，在Penn Treebank数据集上的文本预测任务中，FastAdaBelief算法可以最快训练出深度模型，并且得出的模型具有最小的混沌度。重要的是，该团队发现FastAdaBelief在损失函数为强凸和非凸的情况下收敛速度都是最快的，因此证明了它作为一种新的基准优化算法的巨大潜力，可以广泛应用于各种深度学习的场景中。 综上，该研究工作从理论上证明了FastAdaBelief的收敛速度比其他自适应优化算法快，并且通过大量充分的实验验证了该算法的泛化能力比其他自适应优化算法强，这可以帮助完成很多场景下的深度模型训练任务，尤其是在样本数据短缺、硬件计算算力不足的情况下。因此，在材料科学研究领域和人工智能芯片研发领域都具有很大的应用前景。 相关工作以 FastAdaBelief: Improving Convergence Rate for Belief-based Adaptive Optimizers by Exploiting Strong Convexity 为题发表在 IEEE Transactions on Neural Networks and Learning Systems 期刊上。