#backpropagation

Backprop의 돌파구, 하지만 거대한 함정

영리한 학습 기법이 모든 토큰을 작은 실험으로 바꾸며, 일부 초기 결과는 연구자들을 놀라게 했습니다. 하지만 표준 학습을 압도하는 컴퓨팅 비용은 이 아이디어가 오늘날의 프로덕션 모델에 적용되는 것을 가로막을 수 있습니다.