KI-Forschung ·
Der Trick, ein 35B LLM auf ein iPhone zu quetschen
Ein KI-Modell mit 35 Milliarden Parametern auf einem Telefon auszuführen, klingt unmöglich, da es 20 GB RAM benötigt. Doch eine neue Technik stellt die Speicherbeschränkungen auf den Kopf und ebnet den Weg für leistungsstarke, private KI, die Ihr Gerät niemals verlässt.