02Systems

Lingfeng2025-11-17

02Systems

1. Online Softmax

当处理到第 $k$ 个元素时，设 $m_{k}$ 为前 $k$ 个元素最大值， $d_{k}$ 为

d_{k}=\sum_{j = 1}^{k} e^{x_{j}-m_{k}}

当读取

k+1

个元素时，更新

m_{k+1}=\max(m_{k},x_{k+1})

此时

d_{k+1}=d_{k}\cdot e^{m_{k}-m_{k+1}}+e^{x_{k+1}-m_{k+1}}

ON THIS PAGE

1. Online Softmax