#tokenizers

AI-модели, возможно, нашли способ обойти токены

Крошечный словарь кажется быстрым решением, но он влечет за собой высокую плату в виде снижения скорости — и неожиданное преимущество при обучении. Настоящий прорыв может заключаться не в замене современных чат-ботов, а в том, чтобы сделать небольшие модели более простыми в обучении.