#Inference Engine

이 AI 엔진은 RAM을 10배 적게 사용합니다

휴대폰에서 대규모 AI 모델을 로컬로 실행하는 것은 일반적으로 배터리 방전과 앱 충돌을 의미합니다. Cactus라는 새로운 추론 엔진은 zero-copy memory mapping 및 NPU-first architecture를 사용하여 작은 공간으로 엄청난 성능을 제공함으로써 판도를 바꿉니다.