舍入误差、Taylor 系数与 reverse-mode 的数值分析前史
Linnainmaa 1976 年论文从有限精度计算出发,把累计舍入误差写成局部误差的 Taylor 展开,并由此暴露出 reverse-mode automatic differentiation 后来长期面对的两件事:反向累积影响系数与保存计算轨迹的存储代价。
3 篇文章
Linnainmaa 1976 年论文从有限精度计算出发,把累计舍入误差写成局部误差的 Taylor 展开,并由此暴露出 reverse-mode automatic differentiation 后来长期面对的两件事:反向累积影响系数与保存计算轨迹的存储代价。
Werbos 1982 把大型非线性系统中的灵敏度分析收束为低成本导数计算问题,并用 ordered derivatives、前向扰动与反向递推的成本差异,把模型分析、优化、统计估计、AI 与 neuron modelling 放到同一条技术线上。
重读 Rumelhart、Hinton 与 Williams 1986 年 Nature 论文:输出误差如何被转化为隐藏层的学习信号,权重更新怎样形成可训练的内部表征,以及这篇短文在反向传播历史中真正确立了什么。