02Systems

Lingfeng 2025-11-17

02Systems

1. Online Softmax

当处理到第 $k$ 个元素时，设 $m_{k}$ 为前 $k$ 个元素最大值， $d_{k}$ 为 $d_{k}=\sum_{j = 1}^{k} e^{x_{j}-m_{k}}$ 当读取 $k+1$ 个元素时，更新 $m_{k+1}=\max(m_{k},x_{k+1})$ 此时 $d_{k+1}=d_{k}\cdot e^{m_{k}-m_{k+1}}+e^{x_{k+1}-m_{k+1}}$