NVIDIA의 새로운 AI 두뇌, 5배 더 빠르게 작동

NVIDIA의 Nemotron 3 Ultra는 일반적인 대화를 위한 또 다른 대규모 언어 모델이 아닙니다. 대신, 이 강력한 새로운 오픈 모델은 복잡한 다중 턴 AI 에이전트를 위한 전문 오케스트레이터 역할을 합니다. 이는 에이전트가 계획을 세우고, 도구를 동적으로 사용하며, 복잡한 워크플로우 전반에 걸쳐 자체 수정할 수 있도록 지원하여 모순된 증거를 종합하거나 복잡한 칩 설계를 검증하는 것과 같은 "어려운 문제"를 해결합니다.

그 기능의 기반은 Mixture-of-Experts (MoE) 아키텍처로, 총 5,500억 개의 파라미터를 가지며 추론 시 토큰당 550억 개만 활성화됩니다. 이 설계는 유사한 품질의 밀집 모델에서 일반적으로 발생하는 엄청난 컴퓨팅 비용 없이 최첨단 추론을 제공합니다. 이는 컴퓨팅 발자국의 일부만으로 높은 지능을 보장합니다.

벤치마크는 Nemotron 3 Ultra의 독보적인 경쟁 우위를 강조합니다. 이 모델은 Artificial Analysis Intelligence Index 리더보드에서 선도적인 정확성과 극적으로 향상된 효율성을 결합하여 "가장 매력적인 사분면"을 차지합니다. 결정적으로, 이 모델은 동급의 다른 오픈 모델보다 5배 높은 처리량을 달성하여 장기 실행 에이전트가 작업을 더 빨리 완료할 수 있도록 하며, 에이전트 작업 비용을 최대 30%까지 절감합니다.

Nemotron 3 Ultra의 핵심 혁신은 Hybrid Mamba-Transformer 아키텍처에 있습니다. Mamba 레이어는 긴 컨텍스트를 효율적으로 관리하여 어텐션 비용과 KV 캐시 공간을 줄임으로써 광범위한 워크로드에 대한 시퀀스 효율성을 크게 향상시킵니다. 결정적으로, 전통적인 Transformer 레이어는 정확한 사실 회상을 보존하기 위해 유지되며, 이는 광범위한 메모리와 정확한 데이터 검색을 모두 요구하는 복잡한 다중 턴 에이전트 작업에 있어 중요한 균형점입니다.

NVIDIA는 획기적인 속도를 위해 NVFP4 quantization과 Multi-Token Prediction (MTP)을 통합했습니다. NVFP4 최적화는 단일 모델 체크포인트가 NVIDIA Ampere, Hopper, Blackwell GPU에서 실행될 수 있도록 하여 Blackwell에서 BF16 대비 GPU당 최대 5배 높은 처리량을 제공하고 가중치 메모리를 약 3.3배 감소시킵니다. MTP는 단일 순방향 패스에서 여러 미래 토큰을 예측하여 생성 속도를 더욱 높이며, 네이티브 추측 디코딩을 통해 긴 출력 및 다중 턴 워크플로우의 처리량을 향상시킵니다.

LatentMoE는 모델의 지능형 트래픽 컨트롤러 역할을 하여 5,500억 파라미터 모델 내에서 가장 적합한 전문 전문가에게 작업을 라우팅합니다. 순진한 Mixture-of-Experts 접근 방식과 달리, LatentMoE는 원시 임베딩이 아닌 잠재 표현을 기반으로 토큰을 지시하여 라우팅 붕괴 문제를 완화합니다. 이 스마트 라우팅은 정교한 코딩, 복잡한 추론, 정밀한 도구 사용을 포함한 까다로운 작업 전반에 걸쳐 Nemotron 3 Ultra의 다재다능함을 크게 향상시킵니다.

Nemotron 3 Ultra는 혁신적인 훈련 방법인 Multi-Teacher On-Policy Distillation (MOPD)을 통해 전문적인 천재성을 달성합니다. 이 과정은 학생 모델이 10개 이상의 전문 "교사" 모델로 구성된 다양한 앙상블로부터 학습하는 것을 포함합니다. 각 교사는 복잡한 추론부터 도구 활용에 이르기까지 도메인별 전문 지식을 보유하고 있어, 고도로 지식이 풍부하고 다면적인 멘토 팀을 효과적으로 만듭니다. 학생 모델이 응답을 생성하면, 이 전문가 교사들이 이를 평가하여 밀도 높고 목표 지향적인 피드백을 제공합니다.

NVIDIA의 투명성에 대한 노력은 기업 및 주권 AI 이니셔티브를 위한 Nemotron 3 Ultra의 매력을 크게 강화합니다. NVIDIA는 훈련 데이터 파이프라인과 Reinforcement Learning (RL) 환경을 공개적으로 출시함으로써 전례 없는 출처와 제어 기능을 제공합니다. 이러한 개방성 수준은 AI 시스템에 대한 깊은 이해와 감사 가능성을 요구하는 조직에 매우 중요하며, 규정 준수와 신뢰성을 보장합니다. 이러한 고급 시스템의 기능에 대해 더 자세히 알아보려면 AI Agents: Built to Reason, Plan, Act - NVIDIA에서 더 많은 정보를 확인할 수 있습니다.

MOPD는 학생 모델이 교사 모델과 지속적으로 공동 진화하여 여러 도메인에서 동시에 깊은 전문화와 개선을 촉진할 수 있도록 합니다. 이러한 동적인 학습 환경은 Nemotron 3 Ultra가 추론 및 에이전트 기능을 효율적으로 개선하고, 다양하고 복잡한 작업에 적응하며 탁월한 성능을 발휘할 수 있도록 합니다. 반복적인 피드백 루프는 모델의 지식 기반과 기술 세트가 영구적으로 업데이트되고 최적화되어 우수한 성능을 이끌어냅니다.

Nemotron 3 Ultra는 개발자에게 직접적인 실질적인 이점을 제공합니다. SWE-Bench 및 Terminal-Bench 2.0과 같은 벤치마크에서 작업 완료 비용을 최대 30%까지 극적으로 절감하여 장기 실행 에이전트 워크플로우를 경제적으로 실현 가능하게 만듭니다. 이러한 효율성은 개발자가 복잡한 에이전트 설계를 더 빠르게 반복하고, 온프레미스에 최첨단 인텔리전스를 배포하여 민감한 엔터프라이즈 애플리케이션에 대한 중요한 데이터 프라이버시 및 보안 요구 사항을 해결할 수 있도록 합니다.

NVIDIA는 Nemotron 3 Ultra를 단순한 독립형 모델이 아닌 전체 에이전트 스택의 지능형 핵심으로 간주합니다. 이는 NVIDIA의 강력한 NeMo libraries와 깊이 통합되어 모델 사용자 정의 및 배포를 간소화합니다. 또한, Hermes Agent 및 보안 OpenShell 런타임과의 시너지는 정교하고 다단계 AI 에이전트를 개발, 오케스트레이션 및 실행하기 위한 완전한 프레임워크를 제공하여 안정적이고 안전한 작동을 보장합니다.

이번 출시는 NVIDIA의 전략적 비전을 강조합니다. 즉, 비할 데 없는 하드웨어 지배력을 활용하여 다음 AI 물결을 위한 개방형 고성능 소프트웨어 스택을 구축하는 것입니다. Nemotron 3 Ultra는 독점적인 폐쇄형 모델의 헤게모니에 직접 도전하고 다른 오픈 소스 리더들의 기준을 높입니다. NVIDIA는 에이전트 AI 개발을 위한 필수적인 플랫폼으로 적극적으로 자리매김하며, 혁신을 주도할 투명성과 강력한 성능을 제공합니다.

NVIDIA Nemotron 3 Ultra는 무엇입니까?

Nemotron 3 Ultra는 NVIDIA의 550B-매개변수 오픈 가중치 Mixture-of-Experts (MoE) 언어 모델입니다. 이는 복잡하고 장기 실행되는 AI 에이전트 워크플로우를 위한 오케스트레이터 역할을 하도록 특별히 설계되었으며, 최첨단 추론과 고속의 효율적인 성능의 균형을 이룹니다.

Nemotron 3 Ultra는 다른 대규모 모델과 어떻게 다릅니까?

일반적인 챗봇과 달리, Nemotron 3 Ultra는 에이전트 작업을 위해 최적화되었습니다. 주요 차별점으로는 긴 컨텍스트 효율성을 위한 하이브리드 Mamba-Transformer 아키텍처, 속도를 위한 NVFP4 양자화, 그리고 전문화된 추론을 위한 독특한 Multi-Teacher On-Policy Distillation (MOPD) 훈련 방법이 있습니다.

Nemotron 3 Ultra는 무엇 때문에 그렇게 빠르고 효율적입니까?

그 효율성은 여러 혁신에서 비롯됩니다. MoE 설계는 토큰당 550B 매개변수 중 55B만 사용합니다. NVFP4 양자화는 NVIDIA GPU에서 5배 더 높은 처리량을 가능하게 합니다. 마지막으로, 에이전트 작업을 완료하는 데 최대 30% 더 적은 토큰을 사용하여 계산 비용을 직접적으로 절감하는 것으로 벤치마킹되었습니다.

Nemotron 3 Ultra는 오픈 소스입니까?

네, NVIDIA는 Nemotron 3 Ultra를 완전 개방형 모델로 출시했습니다. 여기에는 모델 가중치, 훈련 데이터 파이프라인, 그리고 레시피가 허용적 라이선스 하에 포함되며, 이는 데이터 출처와 맞춤화가 필요한 기업에게 매우 중요합니다.