#knowledge distillation

AI 모델이 토큰을 우회하는 방법을 찾았을지도 모릅니다

작은 어휘 사전은 지름길처럼 보이지만, 속도 저하라는 대가가 따르며 놀라운 학습 이점을 제공합니다. 진정한 돌파구는 오늘날의 챗봇을 대체하는 것보다 작은 모델을 더 쉽게 학습시키는 데 있을지도 모릅니다.