#LLM quantization

Este modelo de IA de 27B cabe en 8GB, pero tiene un truco

Un modelo que antes exigía mucha memoria ahora funciona en hardware que muchos entusiastas ya poseen. Pero su victoria más llamativa en los benchmarks esconde un compromiso que podría convertirlo en la opción equivocada para tu agente.