Google Cloud, OpenAI 모델 호스팅 시작

Recursive가 Apache-2.0 라이선스의 코딩 MoE(Mixture-of-Experts) 모델인 Flint를 출시했습니다. 총 400억 개의 파라미터와 262K 토큰이라는 엄청난 컨텍스트 창을 자랑하며, 무거운 클라우드 기반 에이전트를 보완하기 위해 로컬에서 실행되도록 명시적으로 설계되었습니다.

개발 워크플로우를 전적으로 최첨단 클라우드 API에 의존하는 것은 지연과 다운타임의 지름길입니다. Flint는 전체 코드베이스를 단일 프롬프트로 처리하면서도 독점적인 로직을 네트워크를 통해 전송할 필요 없이, 매우 유능한 로컬 대안을 제공합니다.

만약 성능이 사양대로 유지된다면, 이는 로컬 우선 개발에 있어 명백한 승리입니다. 클라우드 공급업체는 개발자의 키 입력에 대한 독점권을 잃고, 개발자들은 컨텍스트를 실제로 이해하는 안정적이고 사적인 대안을 얻게 될 것입니다.

AI 인프라 플랫폼 Modal이 연간 10억 달러의 매출(ARR) 이정표를 넘어섰습니다. 이러한 성장에 힘입어 7억 5천만 달러 규모의 시리즈 D 투자를 유치하며 회사 가치를 무려 160억 달러로 끌어올렸습니다.

기반 모델 개발자들이 이론적인 지능을 쫓아 수십억 달러를 태우는 동안, 인프라 제공업체들은 조용히 돈을 벌고 있습니다. Modal의 대규모 시리즈 D 투자는 '그냥 작동하는' 확장 가능한 AI 컴퓨팅에 대한 끝없는, 그리고 전적으로 실용적인 수요를 잘 보여줍니다.

여기서 승자는 '곡괭이와 삽'을 파는 공급업체들입니다. AI 애플리케이션을 개발하고 있다면, Modal의 막대한 자금은 더 안정적이고 특화된 인프라가 곧 제공될 것임을 의미합니다. 패자는 AI 배포 파이프라인 전체를 기본적으로 소유할 수 있다고 생각했던 범용 클라우드 제공업체들입니다.

Mirendil은 단 한 명의 연구원이 3.5개월 만에 첫 번째 기반 모델을 구축했다고 주장합니다. 더욱 놀라운 것은, 이 전체 사전 학습 과정에 1천만 달러 미만의 컴퓨팅 비용이 들었다고 회사는 밝히며, 대규모 모델 개발에 필요한 자원이 크게 줄었음을 보여줍니다.

현재의 통념은 경쟁력 있는 기반 모델을 훈련시키려면 대규모 팀과 억대 컴퓨팅 예산이 필요하다고 말합니다. Mirendil의 주장은 이러한 가설에 정면으로 도전하며, 알고리즘 효율성과 집중적인 실행이 막대한 자본을 대체할 수 있음을 시사합니다.

AI 경제학의 규칙을 다시 쓰기 전에, 이 모델의 실제 역량에 대한 독립적인 검증이 필요합니다. 하지만 만약 검증된다면, 이는 맞춤형 모델을 처음부터 훈련시키는 진입 장벽을 극적으로 낮출 것입니다.

Perplexity와 NVIDIA는 공동 교사-학생 후처리 훈련 방법인 JOLT를 발표했습니다. 이 기술은 교사 모델을 결과 보상으로 훈련시키고, 학생 모델의 행동에서 과도하게 벗어나는 것에 대해 적극적으로 페널티를 부여함으로써, 자체 증류(self-distillation)의 알려진 약점을 해결합니다.

대규모 모델을 배포 가능한 크기로 증류하는 과정은 종종 추론 품질의 손실을 초래합니다. JOLT는 교사와 학생이 함께 학습하도록 강제함으로써 벤치마크 성능을 향상시키고, 효율적이고 프로덕션 준비가 된 모델을 생성하기 위한 더 안정적인 파이프라인을 만듭니다.

이는 최첨단 모델 추론 비용을 지불하지 않고도 고품질 출력을 제공하려는 팀에게 매우 실용적인 발전입니다. 더 나은 증류는 의도된 작업을 실제로 수행하는 더 작고 저렴한 모델을 의미합니다.

DeepSeek이 모델 추론을 위한 고급 프로덕션 스케줄링 기술을 공개하는 새로운 프레임워크인 DeepInfer를 출시했습니다. 이 시스템은 추측 디코딩, 동적 프리필 크기 조정 및 기타 최적화 방법을 결합하여 처리량을 극대화합니다.

대규모 언어 모델을 대규모로 서비스하는 것은 인프라의 악몽입니다. DeepSeek은 내부적으로 사용하는 스케줄링 로직을 오픈 소스화함으로써, 독립 개발자들이 프로덕션 환경에서 지연 시간과 컴퓨팅 비용을 대폭 줄일 수 있는 도구를 제공하고 있습니다.

이는 인프라 팀에게 엄청난 승리입니다. 더 이상 주요 연구소들이 어떻게 추론 속도를 달성하는지 역설계할 필요가 없습니다. DeepInfer의 동적 프리필 크기 조정을 구현하는 것은 대규모로 모델을 실행하는 모든 사람에게 최우선 과제가 되어야 합니다.

연구원들은 대규모 언어 모델에 문화에 대한 개방형 질문을 했을 때, 일본과 같은 특정 국가에 대한 뚜렷한 편향을 보인다는 사실을 발견했습니다. 이러한 문화적 편애는 기반 모델에서는 나타나지 않으며, 특히 지도 미세 조정(supervised fine-tuning) 후에 나타납니다.

우리는 미세 조정을 모델을 인간의 가치에 맞추는 메커니즘으로 여기지만, 어떤 가치가 방향을 잡고 있는지 거의 묻지 않습니다. 이 연구는 정렬(alignment) 과정이 의도치 않게 특정 문화적 선호를 모델의 세계관에 주입한다는 것을 증명합니다.

글로벌 콘텐츠 생성이나 편향 없는 문화 분석을 위해 LLM에 의존한다면, 이러한 편향을 고려해야 합니다. 모델은 객관적인 관찰자가 아닙니다. 그들은 모델을 훈련시킨 주석자들의 특정하고 지역화된 선호를 반영하고 있을 뿐입니다.