이 12년 된 PC도 생각할 수 있다

2014년에 출시된 1세대 Raspberry Pi는 이 대담한 실험의 기반을 이룹니다. 이 구형 단일 보드 컴퓨터는 보잘것없는 700MHz 단일 코어 CPU와 겨우 512MB의 RAM을 자랑합니다. 오늘날의 컴퓨팅 표준으로 볼 때, 이러한 사양은 현대적인 처리 장치라기보다는 정교한 계산기에 가깝습니다.

그러나 현대의 대규모 언어 모델(LLMs)은 일반적으로 훨씬 더 많은 전력을 요구합니다. 이들은 강력한 멀티 코어 프로세서와 특수 가속기에 의존하여 작동하며, 일상적으로 기가바이트 단위의 RAM을 소비합니다. 이러한 극명한 대조는 현재 AI 기술과 10년 된 장치의 기능 사이의 엄청난 격차를 보여줍니다.

이러한 불균형은 근본적인 질문을 제기합니다. 이토록 오래된 기계를 현대 AI를 사용하여 '생각'하게 만드는 것이 정말 가능할까요? 이 도전은 단순히 프로그램을 실행하는 것을 넘어, 복잡하고 자원 집약적인 알고리즘을 그러한 작업을 위해 설계되지 않은 하드웨어에 설득하여 실행시키는 것을 포함합니다.

이러한 격차를 해소하는 것은 엄청난 기술적 난관을 제시합니다. 제한된 512MB의 RAM은 대부분의 LLM의 기본 구성 요소를 로드하는 것조차 버거우며, 추론을 실행하는 것은 말할 것도 없습니다. 더욱이, 700MHz 단일 코어 CPU와 그 구형 ARMv6 명령어 세트는 사실상 모든 AI 프레임워크가 현재 기대하는 현대적인 수학적 최적화 및 병렬 처리 기능이 부족합니다.

이러한 극복하기 어려워 보이는 장애물에도 불구하고, 한 팀은 12년 된 Raspberry Pi에서 로컬 LLM을 성공적으로 실행했으며 – 실제로 작동했습니다! 그들은 극단적인 엣지 언어 모델링의 한계를 뛰어넘기 위해 특별히 설계된, Technology Innovation Institute에서 개발한 놀랍도록 컴팩트한 9천만 매개변수 LLM인 Falcon-H1-Tiny 모델을 선택했습니다.

주요 전장은 메모리였습니다. Falcon-H1-Tiny처럼 작은 모델조차 512MB에 맞추려면 공격적인 양자화가 필요했으며, 이는 중요한 로직을 보존하면서 정밀도를 4비트로 줄이는 것을 의미했습니다. 표준 LLM 로딩 메커니즘이 이러한 제한된 32비트 주소 공간에서 종종 실패하기 때문에 이 과정은 매우 중요해졌습니다.

메모리 외에도, 구식 ARMv6 아키텍처는 고유한 컴파일 및 실행 문제를 야기했습니다. 현대 AI 추론 엔진은 최신 CPU 명령어에 크게 의존하므로, Pi의 특정하고 제한된 하드웨어에 소프트웨어를 정확하게 맞추기 위한 세심한 교차 컴파일 과정이 필요했습니다. 이러한 복잡한 엔지니어링 노력은 이론적인 가능성에서 실제적인 시연으로 가는 길을 열었습니다.

이 불가능해 보이는 위업을 가능하게 한 모델은 Falcon-H1-Tiny입니다. 아부다비의 Technology Innovation Institute (TII)에서 개발한 이 언어 모델은 "지능적"이라고 간주되는 것의 절대적인 하한선을 밀어붙입니다. 불과 몇 년 전만 해도 효과적인 언어 처리에는 거의 상상할 수 없었던 규모인 놀랍도록 컴팩트한 9천만 개의 매개변수로 작동합니다. TII는 12년 된 Raspberry Pi와 같이 심하게 제약된 하드웨어에서 정교한 AI의 잠재력을 보여주며, 극단적인 효율성을 조사하기 위해 Falcon-H1-Tiny를 특별히 설계했습니다.

Falcon의 놀라운 소형화 뒤에는 혁신적인 Hybrid Transformer + Mamba 아키텍처가 있습니다. IBM의 작은 Granite 4와 같은 모델에서도 볼 수 있는 이 설계 선택은 두 아키텍처 패러다임의 강점을 전략적으로 결합합니다. 이는 최소한의 컴퓨팅 리소스와 메모리 공간으로 효과적으로 실행되도록 설계된 모델에 필수적인 효율성과 성능을 우선시합니다. 이 하이브리드 접근 방식은 Falcon-H1-Tiny가 작은 크기에도 불구하고 의미 있는 언어 이해 및 생성 능력을 유지할 수 있도록 합니다.

LLM 세계의 거인들과 비교하여 그 규모를 고려해 보십시오. GPT-3와 같은 주류 모델은 1,750억 개의 방대한 매개변수를 자랑합니다. 불과 9천만 개의 매개변수를 가진 Falcon-H1-Tiny는 GPT-3 매개변수 수의 천분의 일 미만으로 작동하며 놀라운 복잡성 감소를 나타냅니다. 이러한 급진적인 축소는 512MB RAM과 700MHz 싱글 코어 CPU만을 가진 1세대 Raspberry Pi와 같은 하드웨어에 배포할 수 있게 하는 정확한 이유입니다.

Falcon-H1-Tiny와 같은 오픈 소스 초소형 모델의 가용성은 edge computing에 있어 중요한 전환점입니다. 이는 고급 AI에 대한 접근을 민주화하여 개발자와 연구자가 정교한 언어 기능을 저전력, 리소스 제한 장치에 직접 배포할 수 있도록 합니다. 이러한 변화는 데이터 프라이버시, 실시간 처리 및 오프라인 기능이 가장 중요한 새로운 애플리케이션을 가능하게 하며, AI 추론을 원격 클라우드 서버에서 데이터 생성 소스에 더 가깝게 이동시킵니다.

오래된 Raspberry Pi에서 이러한 모델을 실행하려면 단순히 작은 모델 이상의 것이 필요합니다. 신중한 엔지니어링이 요구됩니다. 이 프로젝트는 `llama.cpp`와 같은 고도로 최적화된 추론 엔진과 Pi의 ARMv6 칩이 처리할 수 있는 Q4 방식과 같은 특정 양자화 기술을 활용합니다. 이러한 기술적 지원은 Falcon의 효율적인 설계와 결합되어 휴대 가능하고 지역화된 AI가 이론적인 가능성일 뿐만 아니라 가장 보잘것없는 하드웨어에서도 달성 가능한 현실임을 종합적으로 보여줍니다.

원조 Raspberry Pi에 Falcon-H1-Tiny 모델을 압축하려면 극단적인 메모리 효율성이 필요했으며, 이로 인해 quantization은 필수적인 기술이 되었습니다. 이 과정은 AI 모델의 내부 매개변수 또는 가중치의 수치 정밀도를 줄여 파일 크기와 메모리 공간을 극적으로 축소하는 것을 포함합니다. 각 가중치를 표준 32비트 부동 소수점 숫자로 저장하는 대신, quantization은 이를 더 낮은 비트 정수—일반적으로 8비트, 4비트 또는 심지어 2비트 표현—로 변환합니다. 이러한 상당한 데이터 압축은 2014년형 싱글 코어 512MB Pi와 같이 RAM과 처리 능력이 극히 제한된 장치에 대규모 언어 모델을 배포하는 데 중요합니다.

언어 모델링의 하한을 탐색하기 위해 TII가 개발한 Falcon-H1-Tiny는 2비트, 4비트, 8비트 옵션을 포함한 다양한 양자화 버전을 제공했습니다. 최대 압축을 위해 Importance Quantization (IQ)과 같은 최첨단 방법을 시도하려는 유혹이 있었지만, 이러한 새로운 기술은 대상 하드웨어와 호환되지 않는 것으로 판명되었습니다. 이러한 고급 양자화 전략은 효율적으로 작동하기 위해 복잡한 비트 조작과 최신 CPU 명령에 의존합니다.

핵심적인 한계는 Raspberry Pi의 구형 ARMv6 CPU에서 비롯되었습니다. 2014년형 프로세서인 700MHz 싱글 코어 장치는 거의 모든 최신 AI 라이브러리와 고급 양자화 방법이 의존하는 ARMv7의 NEON 확장과 같은 정교한 명령어 세트가 부족합니다. 이러한 중요한 하드웨어 기능 없이는 Pi의 프로세서가 최신 양자화 방식에 필요한 복잡한 수학적 연산을 실행할 수 없었습니다. 이로 인해 엔지니어링 팀은 더 오래되었지만 보편적으로 호환되는 방법인 Q4 quantization을 채택해야 했습니다. 이 4비트 "구식" 접근 방식은 이 특정 과제에 대한 신뢰할 수 있는 "황금 표준"이 되었습니다.

Q4 (4비트) 모델은 모델의 핵심 로직을 보존하면서 최적의 균형을 이루어 최고의 "intelligence-per-megabyte" 비율을 제공했습니다. 훨씬 더 공격적인 2비트 양자화 버전도 사용 가능하고 테스트되었지만, 궁극적으로 "logic collapse"라는 치명적인 문제에 시달렸습니다. 이러한 심각한 성능 저하는 모델이 일관되고 유용하며 심지어 합리적인 응답을 생성하는 능력이 실용적인 사용 범위를 넘어 손상되었음을 의미했습니다. 극단적인 데이터 절단은 필수 정보의 손실로 이어져 2비트 Falcon-H1-Tiny를 사실상 작동 불능 상태로 만들었습니다. 따라서 4비트 변형은 실용적인 최적 지점을 나타냈으며, 때로는 압축률이 낮을수록 더 많은 지능을 얻을 수 있음을 보여주었습니다. TII의 소형 모델 작업에 대한 자세한 내용은 Tiny Models, Real-World Intelligence | Technology Innovation Institute를 방문하십시오.

2014년형 Raspberry Pi에서 대규모 언어 모델을 실행하는 것은 엄청난 아키텍처적 난관을 제시했습니다. ARMv6 instruction set 기반의 싱글 코어 700MHz CPU는 거의 모든 최신 AI 라이브러리가 성능을 위해 의존하는 NEON 명령어가 결정적으로 부족합니다. 이러한 아키텍처적 격차는 이러한 구형 하드웨어에서 현대적인 머신러닝 프레임워크를 실행하는 것을 사실상 불가능하게 만듭니다.

이 프로젝트는 다양한 CPU, 심지어 구형 CPU에서도 최대의 이식성과 성능을 위해 세심하게 설계된 경량 C++ 추론 엔진인 llama.cpp에서 해결책을 찾았습니다. Falcon-H1-Tiny와 같은 모델을 효율적으로 실행하도록 개발된 이 엔진의 설계는 최소한의 리소스 사용을 우선시하여, 오리지널 Pi와 같은 제한된 하드웨어에 독특하게 적합합니다.

결정적으로, `llama.cpp`의 유연한 빌드 시스템은 개발자가 지원되지 않는 CPU 기능을 선택적으로 비활성화할 수 있도록 합니다. 12년 된 Raspberry Pi의 경우, 이는 NEON을 비활성화하여 최신 종속성이 제거된 맞춤형 바이너리를 생성하는 것을 의미했습니다. 이 맞춤형 컴파일은 추론 엔진이 충돌하거나 명령어 오류 없이 ARMv6 칩에서 작동할 수 있도록 보장합니다.

`llama.cpp`가 없었다면, 이 야심찬 프로젝트는 이론적인 가능성의 영역에 머물렀을 것입니다. 다른 AI 프레임워크를 Pi에서 직접 컴파일하는 데는 18시간 이상이 소요될 것으로 예상되며, 메모리 부족으로 인해 실패할 가능성이 높습니다. 이들의 내재된 비대함과 고급 CPU 기능에 대한 의존성은 이들을 호환되지 않게 만들며, `llama.cpp`를 Falcon-H1-Tiny 모델을 로컬에서 실행하기 위한 필수적인 조력자로 만듭니다.

12년 된 Raspberry Pi에서 `llama.cpp`를 직접 실행하는 것은 극복할 수 없는 난관을 제시했습니다. 700MHz 싱글 코어 CPU와 겨우 512MB RAM을 갖춘 1세대 보드는 이러한 집중적인 작업에 필요한 원시 컴퓨팅 성능과 메모리 용량이 부족했습니다. Pi 자체에서 `llama.cpp`와 같은 복잡한 최신 C++ 코드베이스를 컴파일하는 데는 18시간 이상의 연속 처리가 필요할 것으로 예상됩니다. 이 기간은 빌드 프로세스가 구형 하드웨어를 빠르게 압도하므로 메모리 부족으로 인한 치명적인 실패로 거의 확실하게 이어질 것입니다.

엔지니어들은 대신 소프트웨어 개발을 위한 "타임머신"과 유사한 기술인 크로스 컴파일(cross-compilation)을 사용했습니다. 이 방법은 강력한 호스트 머신(일반적으로 최신 노트북)에서 소프트웨어를 빌드하는 것을 포함합니다.

오리지널 Raspberry Pi의 모든 RAM 바이트는 특히 512MB만 사용할 수 있는 상황에서 매우 중요합니다. Falcon-H1-Tiny를 실행할 가능성을 높이려면 운영 체제의 점유 공간을 최소화하는 것이 가장 중요했습니다. 이는 표준 데스크톱 환경에서 크게 벗어나야 함을 의미했습니다.

개발자들은 그래픽 인터페이스가 없는 최소한의 버전인 Raspberry Pi OS Lite (32비트)를 선택했습니다. 이 최소 OS는 표준 버전이 소비하는 메모리의 극히 일부만 사용하며, LLM 자체를 위한 중요한 메가바이트를 확보합니다. 이는 이처럼 제약된 하드웨어에서 리소스를 얼마나 적극적으로 관리해야 하는지를 보여주는 증거입니다.

Pi 설정은 OS를 SD 카드에 플래시하는 데 사용되는 유틸리티인 Raspberry Pi Imager로 시작되었습니다. 결정적으로, 이 과정에는 Wi-Fi 자격 증명 사전 구성과 SSH 활성화가 포함되었습니다. 이러한 선견지명 덕분에 물리적 키보드와 모니터가 필요 없어 후속 원격 관리가 간소화되었습니다.

12년 된 Raspberry Pi를 SSH를 통해 원격으로 관리하는 것은 필수적이었습니다. 이 장치의 로컬 터미널은 느리고 탐색하기 어려워 복잡한 명령줄 작업을 지루한 과정으로 만듭니다. 안정적이고 반응성이 좋은 SSH 연결은 답답할 수 있는 경험을 관리 가능한 엔지니어링 과제로 바꾸어 컴파일된 바이너리 및 모델 파일의 원활한 전송을 가능하게 했습니다.

이 접근 방식은 워크플로우를 크게 단순화했습니다. GGUF와 같은 사용자 지정 펌웨어 또는 모델 형식에 대해 더 깊이 파고드는 사람들을 위해, ggml/docs/gguf.md at master · ggerganov/ggml - GitHub와 같은 자료는 이러한 저수준 최적화에 필요한 기본 기술 사양에 대한 귀중한 통찰력을 제공합니다.

Falcon-H1-Tiny 모델을 12년 된 Raspberry Pi에 올리는 과정은 마지막이자 교활한 메모리 장애물에 직면했습니다. 바로 `mmap`으로 알려진 파일을 메모리에 매핑하는 것입니다. `mmap`은 현대 운영 체제와 고성능 GPU가 파일 내용을 프로세스의 주소 공간에 직접 매핑하여 대규모 모델을 로드하는 효율적인 방법을 제공하지만, 심하게 제약된 하드웨어에서는 그 이점이 단점으로 변합니다. 이 기술은 일반적으로 메모리 관리를 위해 커널을 활용하고 데이터 복사를 줄여 성능 향상을 제공합니다.

512MB RAM만 장착된 오리지널 Raspberry Pi와 같은 32비트 시스템에서 `mmap`은 치명적인 한계에 부딪혔습니다. 시스템은 모델 파일을 매핑하는 데 필요한 단일하고 충분히 큰 연속적인 주소 공간 블록을 찾는 데 어려움을 겪었습니다. 전체 사용 가능한 메모리가 존재하더라도 32비트 주소 공간 전체의 조각화는 `mmap` 작업이 종종 실패하여 즉각적인 애플리케이션 충돌로 이어졌습니다. 이것은 총 RAM 부족 문제가 아니라, 더 작은 32비트 주소 범위 내에서 *통합된* 블록을 할당할 수 없는 문제였습니다.

해결책은 특정 `llama.cpp` 명령줄 인수인 `--no-mmap`과 함께 나타났습니다. 이 중요한 플래그는 모델 로드를 위한 메모리 매핑을 명시적으로 비활성화합니다. 대신, `llama.cpp`가 전체 Falcon-H1-Tiny 모델을 프로세스의 힙 메모리에 직접 로드하도록 강제합니다. 이 접근 방식은 풍부하고 조각화되지 않은 메모리를 가진 시스템에서는 성능이 떨어질 수 있지만, 오래된 하드웨어에는 필수적이었습니다.

힙으로 로드하면 크고 연속적인 주소 블록이 필요 없어집니다. 힙 메모리 관리자는 훨씬 더 유연하여 필요에 따라 더 작고 비연속적인 청크를 할당하고 조각화를 더 동적으로 관리할 수 있습니다. 이를 통해 크기가 줄어든 전체 양자화 모델이 Raspberry Pi의 소중한 512MB RAM 내에 안정적으로 상주할 수 있었습니다. `--no-mmap` 조정이 없었다면, 모델 초기화 중에 추론 프로세스가 계속해서 충돌했을 것입니다.

이 겉보기에는 사소한 플래그는 안정적인 메모리 관리를 달성하기 위한 퍼즐의 마지막이자 중요한 조각이었습니다. 이는 Falcon-H1-Tiny 모델이 마침내 로드되어 프롬프트 처리를 시작할 수 있도록 보장한 결정적인 조정이었으며, 12년 된 Raspberry Pi가 생각할 수 있는지 여부를 실험을 통해 진정으로 확인할 수 있게 해주었습니다. `--no-mmap` 플래그는 잠재적인 막다른 길을 로컬 LLM을 실행하기 위한 실행 가능한 경로로 바꾸어 놓았습니다.

교차 컴파일된 `llama.cpp` 바이너리가 12년 된 Raspberry Pi에서 첫 번째 추론 테스트를 실행하면서 진실의 순간이 찾아왔습니다. 연구원들은 가장 공격적인 압축 방식인 Falcon-H1-Tiny 모델의 2비트 양자화 버전으로 시작했습니다. 결과는 실망스러웠습니다. 모델은 일관성 없는 헛소리만 생성했으며, 약 3초마다 하나의 토큰을 생성했습니다.

이러한 성능은 특히 언어 이해의 하한선에 이미 있는 모델을 다룰 때, 이처럼 제약된 하드웨어에서 극단적인 양자화의 한계를 확인시켜 주었습니다. 수치 정밀도의 심각한 감소는 모델을 거의 사용할 수 없게 만들었으며, 기본적인 언어적 일관성조차 포착하지 못했습니다.

4비트 양자화 모델에서 돌파구가 마련되었습니다. 프롬프트가 주어졌을 때, 일관되고 논리적인 응답을 성공적으로 생성했습니다. 이 중요한 순간은 전체 노력을 검증했으며, 로컬 LLM이 비록 느리지만 빈티지 하드웨어에서 실제로 "생각"할 수 있음을 증명했습니다. 합리적인 출력을 생성하는 능력은 프로젝트의 실행 가능성을 보여주었습니다.

한계를 더욱 밀어붙여, 팀은 8비트 양자화 모델을 테스트했습니다. 이 버전은 더 높은 충실도를 제공했지만, 뚜렷한 '지식 격차'를 드러냈습니다. 예를 들어, 브뤼셀을 벨기에의 수도로 정확히 식별했지만, 알바니아의 수도는 기억하지 못했습니다.

이러한 차이는 소형 LLM의 근본적인 측면을 강조했습니다. 즉, 9천만 매개변수 모델의 유한한 지식 용량입니다. 덜 공격적인 양자화를 사용하더라도, Falcon-H1-Tiny는 단순히 더 큰 모델에 내장된 광범위한 세계 지식이 부족합니다. 이 결과는 극단적인 압축에 수반되는 본질적인 절충점을 강조했으며, 여기서 절약된 모든 비트는 잊혀진 정보의 한 조각을 의미할 수 있습니다.

12년 된 Raspberry Pi에서 로컬 LLM을 성공적으로 실행한 이 대담한 실험은 단순한 기술적 호기심을 넘어섭니다. 이는 진정으로 유용한 인공지능이 강력한 클라우드 서버뿐만 아니라, 극도로 제약된 저전력 엣지 디바이스에서도 작동할 수 있음을 명확하게 보여줍니다. 이 기능은 고급 컴퓨팅과 지능적인 의사 결정이 데이터 센터나 고성능 워크스테이션에 국한되지 않고, 우리의 물리적 환경에 스며드는 미래를 열어줍니다.

이러한 패러다임 전환을 이끄는 중요한 트렌드는 더 작고 고도로 최적화된 모델의 끊임없는 개발입니다. 9천만 개의 매개변수를 가진 Falcon-H1-Tiny를 개발한 Technology Innovation Institute (TII)와 IBM의 Granite 시리즈와 같은 기관들은 심각한 메모리 및 처리 제약 조건 내에서 작동하도록 언어 모델을 적극적으로 설계하고 있습니다. Transformer + Mamba와 같은 하이브리드 설계를 자주 활용하는 이러한 소형 아키텍처는 기존 클라우드를 훨씬 넘어 정교한 AI에 접근할 수 있게 하여 최소한의 리소스로 가능한 것의 경계를 넓히고 있습니다.

스마트 가전제품부터 기존 산업 제어 시스템에 이르기까지 수많은 일상 사물에 AI가 직접 내장되는 것을 상상해 보십시오. 중요한 오프라인 인프라, 원격 과학 장비, 또는 지속적인 클라우드 연결이 비실용적이거나 불가능한 개인 웨어러블 기기에서의 잠재력을 고려해 보십시오. 이는 지능형 에이전트가 민감한 정보를 외부 서버로 전송하지 않고 전적으로 온디바이스에서 작동할 수 있도록 함으로써, 사전 예방적 유지보수, 로컬 데이터 처리 및 향상된 개인 정보 보호를 위한 광범위한 길을 열어줍니다. 이는 진정으로 자율적이고 안전한 로컬 인텔리전스를 향한 움직임입니다.

초기 2비트 모델이 오리지널 Raspberry Pi에서 3초마다 한 토큰을 출력하는 속도는 여전히 느리지만, 이 실험의 성공은 심오한 개념 증명(proof-of-concept)입니다. 이는 진정으로 분산된 AI의 잠재력을 입증하며, 우리가 기술과 상호작용하고 미래 애플리케이션을 구상하는 방식을 근본적으로 재편합니다. 이것은 클라우드 기반 LLM을 대체하는 것이 아니라, 유비쿼터스하고 에너지 효율적인 인텔리전스로 보완하는 것입니다. AI의 미래는 더 작고, 더 널리 퍼져 있으며, 그 어느 때보다 우리에게 더 가까이 다가와 휴대용 인텔리전스의 새로운 시대를 약속합니다. 하드웨어의 기원에 대한 자세한 내용은 Raspberry Pi - Wikipedia)를 참조하십시오.

이 믿기 어려운 위업을 재현할 준비가 되셨습니까? 12년 된 Raspberry Pi에서 대규모 언어 모델을 실행하는 것은 정밀함을 요구하지만, 도구는 접근 가능합니다. 1세대 Raspberry Pi (또는 유사한 ARMv6 장치), `llama.cpp` 추론 엔진, 크로스 컴파일을 위한 `dockcross` 환경, 그리고 Falcon-H1-Tiny와 같은 GGUF 양자화 모델이 필요합니다. 이 실험은 매우 제한된 하드웨어에서도 유용한 AI가 나올 수 있음을 증명합니다.

사용 가능한 RAM을 최대화하기 위해 Raspberry Pi OS Lite와 같은 최소 OS를 대상 장치에 플래싱하는 것부터 시작하십시오. 다음으로, `dockcross`를 사용하여 더 강력한 머신에서 `llama.cpp` 바이너리를 크로스 컴파일하고, 특히 ARMv6를 대상으로 하십시오. 중요한 컴파일 플래그에는 NEON, OpenMP 및 공유 라이브러리 비활성화가 포함되어 호환성과 가벼운 설치 공간을 보장합니다. 이는 Pi 자체에서 예상되는 18시간의 컴파일 시간과 메모리 오류를 방지합니다.

사용자 정의로 빌드된 `llama.cpp` 실행 파일과 원하는 GGUF 양자화 모델(예: 4비트 Falcon-H1-Tiny)을 SCP를 통해 Raspberry Pi로 전송하십시오. 추론을 위해 `--no-mmap` 플래그와 함께 바이너리를 실행하십시오. 이 중요한 메모리 핵은 제한된 RAM을 가진 32비트 시스템에 내재된 주소 공간 단편화 문제를 우회하여, 모델이 안정적인 작동을 위해 힙으로 직접 로드되도록 강제합니다. 토큰 생성 속도는 몇 초마다 하나씩 예상됩니다.

일관성 없는 헛소리에서 기능적인 결과물로 나아가는 여정은 여러분이 탐험할 차례입니다. 이 획기적인 프로젝트의 세부 사항을 I Ran a Local LLM on 12-Year-Old Raspberry Pi (It Actually Worked!)를 시청하여 자세히 알아보세요. Falcon-H1-Tiny 모델은 Hugging Face에서 찾을 수 있으며, `llama.cpp` 컴파일 스크립트를 포함한 자세한 설정 지침은 BetterStackHQ GitHub에서 확인할 수 있습니다. edge AI의 한계를 뛰어넘어 여러분의 오래된 하드웨어가 무엇을 달성할 수 있는지 확인해 보세요.

Raspberry Pi에서 실행할 수 있는 가장 작은 LLM은 무엇인가요?

9천만 개의 매개변수를 가진 Falcon-H1-Tiny와 같은 모델은 1세대 Raspberry Pi에서 성공적으로 실행되었습니다. 성공 여부는 양자화(quantization)와 `llama.cpp`와 같은 경량 추론 엔진에 크게 좌우됩니다.

오래된 하드웨어에서 AI를 실행하는 데 양자화(quantization)가 필수적인 이유는 무엇인가요?

양자화(quantization)는 LLM의 가중치 정밀도를 낮춰(예: 16비트에서 4비트로) 메모리 사용량과 계산 비용을 줄입니다. 이는 제한된 RAM과 처리 능력을 가진 장치에 모델을 맞추는 데 중요합니다.

크로스 컴파일(cross-compilation)이란 무엇이며 왜 필요했나요?

크로스 컴파일(cross-compilation)은 한 컴퓨터 시스템(예: 최신 노트북)에서 다른 시스템(예: 오래된 Raspberry Pi)에서 실행될 코드를 빌드하는 과정입니다. 이는 Raspberry Pi 자체에서 며칠이 걸리는 컴파일 시간과 잠재적인 메모리 충돌을 피하기 위해 필요했습니다.

어떤 오래된 컴퓨터에서든 최신 AI를 실행할 수 있나요?

이 실험에서 보여진 것처럼 기술적으로는 가능하지만, 상당한 기술적 전문 지식, `llama.cpp`와 같은 특정 소프트웨어, 호환되는 작은 모델, 그리고 오래된 CPU 명령어 세트와 같은 하드웨어 제한에 대한 해결책이 필요합니다. 성능 또한 매우 느릴 것입니다.