Tag
6 Beiträge
Ein KI-Modell mit 45 Millionen Parametern passt jetzt auf einen 10-Dollar-Mikrocontroller, aber seine wahre Stärke liegt nicht in der Konversation. Es ist ein Durchbruch, der intelligente Aktionen in Milliarden von Alltagsgeräten einbetten könnte.
Ein 8-Dollar-Mikrocontroller mit weniger Arbeitsspeicher als ein PC aus den 90er Jahren lässt jetzt ein Sprachmodell mit 29 Millionen Parametern komplett offline laufen. Entdecken Sie den cleveren Speicher-Hack, inspiriert von Googles Gemma, der diese unmögliche Leistung zur Realität macht.
Jeder wettet darauf, dass das intelligenteste KI-Modell das Tech-Rennen gewinnt. Aber der wahre Sieger baut etwas ganz anderes, direkt vor unserer Nase.
Das lokale Ausführen großer AI models auf Ihrem Telefon bedeutet normalerweise einen leeren Akku und eine abgestürzte App. Eine neue inference engine namens Cactus ändert das Spiel, indem sie zero-copy memory mapping und NPU-first architecture verwendet, um massive Leistung mit einem winzigen Fußabdruck zu liefern.
Ein Jahrzehnte alter Computer mit nur 512 MB RAM betreibt ein lokales KI-Modell. Wir entschlüsseln die unmögliche technische Leistung, die moderne KI wirklich portabel macht.
Google hat gerade Gemma 4 veröffentlicht, ein bahnbrechendes AI-Modell, das vollständig offline auf Ihrem Telefon ausgeführt werden kann. Seine radikal neue Architektur verspricht beispiellose Intelligenz in einem winzigen Paket und könnte Cloud-AI für alltägliche Aufgaben obsolet machen.
