Google의 새로운 AI는 단어가 아닌 문단으로 생각합니다

전통적인 자기회귀(autoregressive) Large Language Models는 타자기처럼 텍스트를 처리하여, 엄격하게 왼쪽에서 오른쪽 순서로 한 번에 하나의 토큰을 생성합니다. 이러한 순차적인 단어별 생성은 특히 단일 사용자 요청을 쉽게 일괄 처리할 수 없는 로컬 추론(inference)에서 상당한 지연(latency) 병목 현상을 유발합니다. 결과적으로, 강력한 전용 GPU는 대부분의 작동 시간을 다음 출력 토큰을 기다리는 데 소비하며, 상당 부분 활용되지 않은 상태로 남아있는 경우가 많습니다.

Brendan Donoghue와 Sebastian Flennerhag 연구원들이 2026년 6월 10일에 공개한 Google의 실험적인 오픈 모델인 DiffusionGemma는 급진적인 변화를 가져옵니다. 이 모델은 인쇄기처럼 작동하여 전체 256-토큰 문단을 동시에 초안을 작성하고 반복적으로 정제합니다. 이러한 병렬 접근 방식은 모델이 토큰을 하나씩 예측하는 대신, 한 번의 순방향 패스(forward pass)로 완전한 텍스트 블록을 '캔버스'로 생성한 다음, 여러 노이즈 제거(denoising) 단계를 거쳐 이를 정제한다는 것을 의미합니다.

이 방법은 추론(inference) 병목 현상을 메모리 대역폭(memory-bandwidth-bound) 작업에서 연산 중심(compute-bound) 작업으로 근본적으로 전환합니다. 처리 장치에 대규모의 동시 워크로드를 제공함으로써 DiffusionGemma는 하드웨어 활용도를 극대화하여 전용 GPU에서 최대 4배 더 빠른 텍스트 생성을 제공합니다. 이러한 아키텍처 재설계는 현대 가속기가 구축된 목적과 정확히 일치하며, 대화형 로컬 AI 애플리케이션을 위한 전례 없는 속도를 가능하게 합니다.

DiffusionGemma는 텍스트 생성을 반복적인 정제 과정으로 재해석합니다. 이는 이미지 확산 모델이 노이즈를 선명한 그림으로 변환하는 방식과 매우 유사합니다. 이 모델은 무작위 플레이스홀더 토큰으로 구성된 '캔버스', 즉 본질적으로 텍스트 노이즈로 시작합니다. 여러 패스(pass)를 거치면서 모델은 이 블록을 반복적으로 정제하여 무작위 토큰들을 일관된 256-토큰 문단으로 수렴시킵니다. 이러한 순차적 방식이 아닌 병렬 처리가 속도를 가능하게 합니다.

결정적으로, DiffusionGemma는 양방향 어텐션(bi-directional attention)을 사용합니다. 생성된 블록 내의 모든 토큰은 선행 및 후행하는 모든 다른 토큰을 동시에 고려합니다. 이러한 포괄적인 관점은 지능형 자체 수정(intelligent self-correction)을 가능하게 합니다. 즉, 모델은 전체 텍스트 블록을 한 번에 평가하여 실시간으로 불일치를 식별하고 수정합니다. 이 기능은 복잡하고 비선형적인 구조나 인라인 편집에 매우 유용합니다.

이 새로운 접근 방식의 기반은 효율적인 26B Mixture of Experts (MoE) 아키텍처입니다. 모델은 총 260억 개의 매개변수(parameters)를 가지고 있지만, 추론(inference) 중에는 약 40억 개의 매개변수만 활성화합니다. 이러한 희소 활성화(sparse activation) 덕분에 DiffusionGemma는 많은 고급 소비자 GPU의 VRAM 한계 내에 편안하게 들어맞아 빠른 로컬 실행을 더욱 쉽게 만듭니다.

Google의 DiffusionGemma는 텍스트 생성을 획기적으로 가속화합니다. NVIDIA H100에서 이 모델은 초당 1000개 이상의 토큰을 달성하며, 한 번에 한 단어씩 타이핑하는 순차적 자기회귀(autoregressive) 모델의 익숙한 대기 시간과는 극명한 대조를 이룹니다. 이러한 병렬 처리는 로컬 GPU를 훨씬 더 효율적으로 활용하여 개발자에게 최대 4배의 속도 향상을 제공합니다.

그러나 이러한 속도에는 실용적인 절충점이 따릅니다. Google은 DiffusionGemma의 전반적인 출력 품질이 표준 Gemma 4 모델보다 낮으며, 중요한 작업에 대한 사실적 정확도가 떨어진다고 명시적으로 밝힙니다. 최대 품질과 정밀도를 요구하는 애플리케이션의 경우, 개발자는 계속해서 표준 Gemma 4를 배포해야 합니다.

이 트레이드오프가 명확한 승리가 되는 지점은 어디일까요? DiffusionGemma는 빠른 반복과 최소한의 지연 시간이 가장 중요한 시나리오에서 탁월합니다. 즉각적인 제안이 필수적인 대화형 코드 코파일럿, 빠른 아이디어를 위한 신속한 콘텐츠 초안 작성, 그리고 다양한 지연 시간에 민감한 로컬 애플리케이션에서 그 강점이 빛을 발합니다. 이 실험적인 모델에 대한 더 자세한 기술 정보는 DiffusionGemma - Google DeepMind를 참조하십시오. Apache 2.0 라이선스는 이러한 속도에 민감한 워크플로우에서의 탐색을 더욱 장려합니다.

DiffusionGemma는 전략적인 설계로 로컬 및 낮은 동시성 워크로드에 최적화되어 있습니다. 이와 대조적으로, 높은 QPS(초당 쿼리 수) 클라우드 환경은 효율적인 배치 처리를 활용하여 자동회귀 모델로 컴퓨팅을 포화시킵니다. DiffusionGemma의 병렬 디코딩은 이러한 시나리오에서 점진적인 수익 감소를 보이며 더 높은 서비스 비용을 초래할 수 있습니다. 단일 가속기에서 낮은-중간 배치 크기에서 처리량 이점이 가장 강력하게 나타납니다.

개발자를 위한 접근성은 중요한 이점입니다. 26B Mixture of Experts (MoE) 모델은 추론 시 3.8B 매개변수만 활성화하여, 양자화 시 하이엔드 전용 소비자 GPU의 18GB VRAM 제한 내에 편안하게 들어맞습니다. 개발자는 vLLM, 미세 조정을 위한 Unsloth, 그리고 NVIDIA NeMo와 같은 주요 도구를 사용하여 DiffusionGemma를 통합할 수 있으며, 이 혁신적인 아키텍처에 대한 접근성을 민주화합니다.

궁극적으로 DiffusionGemma는 더 빠른 모델 그 이상을 의미합니다. 이는 획기적인 텍스트 생성 패러다임의 성공적인 개념 증명(proof-of-concept) 역할을 합니다. 순차적인 "타자기 AI"에서 병렬 "인쇄기" 생성으로의 이러한 전환은 유연하고 반응성이 뛰어난 AI 애플리케이션을 위한 새로운 지평을 엽니다. Brendan O'Donoghue와 Sebastian Flennerhag의 작업은 로컬 AI 추론이 즉각적이고 진정으로 상호작용하는 미래를 예고합니다.

DiffusionGemma는 다른 모델보다 왜 그렇게 훨씬 빠를까요?

기존 모델처럼 토큰별로 텍스트를 생성하는 대신, DiffusionGemma는 텍스트 확산 방식을 사용하여 전체 256개 토큰 블록을 병렬로 생성합니다. 이는 최신 GPU의 컴퓨팅 성능을 완전히 활용하여 로컬 사용을 위한 처리량을 획기적으로 증가시킵니다.

DiffusionGemma가 표준 Gemma 4 모델보다 더 나은가요?

모든 작업에 그렇지는 않습니다. 훨씬 빠르지만, 전반적인 출력 품질은 더 낮습니다. Google은 최대 품질을 요구하는 프로덕션 애플리케이션에는 표준 Gemma 4를, 속도가 중요한 대화형 워크플로우에는 DiffusionGemma를 권장합니다.

DiffusionGemma의 최적 사용 사례는 무엇인가요?

실시간 코드 완성, 인라인 편집, 그리고 양방향 어텐션이 핵심 이점을 제공하는 스도쿠 퍼즐이나 수학 그래프와 같은 비선형 구조 생성과 같이 로컬의 낮은 지연 시간 시나리오에서 탁월합니다.

개인 컴퓨터에서 DiffusionGemma를 실행할 수 있나요?

네, 하이엔드 소비자 GPU가 있다면 가능합니다. 모델의 양자화된 버전은 18GB VRAM 내에 들어갈 수 있어, NVIDIA GeForce RTX 4090 및 5090과 같은 카드에서 로컬 개발 및 실험을 위해 접근할 수 있습니다.