#knowledge distillation

AIモデルがトークンを回避する方法を発見した可能性

小さな語彙は近道のように聞こえますが、コストのかかる速度低下と、驚くべき学習上の利点を伴います。真のブレイクスルーは、今日のチャットボットを置き換えることではなく、小さなモデルをより教えやすくすることにあるかもしれません。