摘要 深层神经网络（DNN）有很多隐层，每个隐层都有很多节点。这大大地增加了总的模型参数数量，降低了训练和解码速度。在本章中，我们将讨论有关加速训练和解码的算法及工程技术。具体地说，我们将阐述基于流水线的反向传播算法、异步随机梯度下降算法及增广拉格朗日乘子算法。我们也将介绍用于减小模型规模来加速训练和解码的低秩近似算法，以及量化、惰性计算、跳帧等可以显著地加快解码速度的技术。
