#backpropagation

Backpropのブレイクスルーと大きな落とし穴

巧妙な学習トリックにより、すべてのトークンが小さな実験へと変わります。初期の成果は研究者たちを驚かせましたが、標準的な学習をはるかに上回る計算コストが、このアイデアを現在の実用モデルから遠ざけてしまう可能性があります。