SubQ AI: 1000배 컴퓨팅 혁신?

모든 최신 대규모 언어 모델(LLM)은 근본적인 계산상의 난관에 직면합니다: 2차 스케일링. transformer 아키텍처의 핵심인 어텐션 메커니즘은 모든 토큰이 시퀀스의 다른 모든 토큰과 상호 작용하도록 요구합니다. 입력 텍스트 길이가 두 배가 된다고 해서 처리 부하가 단순히 두 배가 되는 것이 아니라, 계산 작업이 대략 네 배로 증가하여 긴 컨텍스트는 기하급수적으로 비싸고 느려집니다. 이러한 밀집 어텐션 접근 방식은 수많은 중요하지 않은 관계에 컴퓨팅 자원을 낭비합니다.

SubQ는 혁신적인 하위 2차 희소 어텐션(SSA) 아키텍처로 이 병목 현상을 해결합니다. SSA는 주어진 컨텍스트 내에서 의미적으로 가장 관련성이 높은 단어 간 관계에만 컴퓨팅을 지능적으로 식별하고 집중합니다. 가능한 모든 상호 작용을 철저히 계산하는 대신, SSA는 각 단어에 대해 작고 중요한 토큰 하위 집합을 선택하는 방법을 학습하여, 이러한 중요한 연결에 대해서만 완전한 어텐션 계산을 수행합니다. 이는 계산 부담을 획기적으로 줄입니다.

SSA는 이전의 희소 어텐션 시도 및 대체 아키텍처와 근본적으로 다릅니다. Longformer 및 BigBird와 같은 초기 방법은 위치 기반 희소성을 적용하여 근접 토큰에 대한 어텐션을 제한했습니다. Mamba와 같은 아키텍처는 정보를 고정된 메모리 상태로 압축하여 명시적인 어텐션 계산을 포기합니다. 그러나 SubQ의 SSA는 콘텐츠 선택된 토큰 하위 집합에 대해 정확한 어텐션을 계산하여, 근접성뿐만 아니라 의미론적 정렬을 기반으로 수백만 개의 토큰 떨어진 곳에서 관련 정보를 검색할 수 있도록 하며, 근사치로 인한 품질 손실이 없습니다.

SubQ의 아키텍처 혁신은 인상적인 성능 지표로 이어집니다. 이 모델은 전례 없는 1,200만 토큰 컨텍스트 창을 제공하여, 단일 패스로 방대한 양의 정보를 처리할 수 있는 상당한 확장을 이룹니다. 이 획기적인 아키텍처는 밀집 어텐션보다 최대 1000배 적은 컴퓨팅을 사용하는 것으로 보고되어, 대규모 작업에 필요한 리소스 요구 사항을 극적으로 변화시킵니다. 또한, 단일 어텐션 레이어에서 100만 토큰 기준으로 FlashAttention 2보다 56배 빠르게 작동하여, 처리 속도에서 상당한 이득을 보여줍니다.

검색 기능은 광범위한 입력에서 특정 정보를 놀라운 정확도로 찾아내는 모델의 능력을 보여줍니다. 도전적인 Needle-in-a-Haystack 벤치마크에서 SubQ는 200만 토큰에서 완벽한 100% 정확도를 달성했습니다. 최대 1,200만 토큰 컨텍스트에서도 모델은 인상적인 98%의 검색 정확도를 유지하여, 강력한 장거리 이해력을 입증했습니다.

이러한 효율성은 극적인 운영 비용 절감으로 이어집니다. 예를 들어, Claude Opus에서 약 2,600달러가 소요된 것으로 보고된 평가가 SubQ에서는 단 8달러에 완료되었습니다. 이러한 상당한 비용 절감은 대규모 분석을 경제적으로 실현 가능하게 만들어, 이전에는 엄청난 비용으로 인해 제약을 받았던 AI 애플리케이션의 새로운 지평을 열 수 있습니다.

SubQ의 개발은 처음부터 완전히 새로운 모델을 훈련시키는 것을 포함하지 않았습니다. 대신, 팀은 기존의 공개적으로 사용 가능한 오픈 웨이트 모델로 작업을 시작했습니다. 그런 다음 기존의 밀집 어텐션 메커니즘을 맞춤형 SSA 레이어로 정교하게 교체했습니다.

이러한 아키텍처 변경은 새로운 훈련 전략을 가능하게 했습니다. 개발자들은 모델의 컨텍스트 길이를 점진적으로 늘려가며, 포괄적인 서적과 광범위한 코드베이스를 포함한 방대한 양의 장문 데이터를 공급했습니다. 이러한 반복적이고 컨텍스트 확장적인 연구 과정은 SSA의 고유한 효율성이 관련 컴퓨팅 비용을 극적으로 절감했기 때문에 경제적으로 실현 가능해졌습니다.

이러한 설계는 특정 고가치 엔터프라이즈 사용 사례에 의해 추진되었습니다. SubQ는 번거로운 청킹(chunking)의 필요성을 없애고, 복잡한 아티팩트에 대한 비할 데 없는 완전한 시야를 제공하도록 설계되었습니다. 그 기능은 다음의 엄격한 분석을 목표로 합니다: - 포괄적인 이해 및 리팩토링을 위한 전체 코드베이스 - 수년간의 복잡한 패턴 식별을 위한 재무 서류 - 중요한 세부 사항을 놓치지 않기 위한 복잡한 법률 문서 이러한 청킹되지 않은 관점은 수백만 개의 토큰에 걸쳐 컨텍스트 무결성을 유지하는 데 가장 중요합니다.

이러한 전략적 접근 방식 덕분에 SubQ는 특히 1,200만 토큰 컨텍스트 창과 상당한 컴퓨팅 비용 절감이라는 인상적인 성능 지표를 달성할 수 있었습니다. 아키텍처 및 벤치마크에 대한 더 깊은 기술적 탐구를 원하는 독자는 SubQ 1.1 Small Technical Report를 참조할 수 있습니다.

SubQ의 대담한 주장은 AI 커뮤니티 내에서 양극화된 반응을 불러일으켰습니다. 열광적인 지지자들은 이를 장문 컨텍스트 모델의 패러다임 전환을 예고하는 잠재적인 트랜스포머 이후의 획기적인 발전으로 환영합니다. 그러나 상당수의 연구자들은 그 혁신적인 효율성과 전례 없는 컨텍스트 창에 대한 엄격하고 독립적인 검증을 기다리며 신중한 회의론을 유지하고 있습니다.

이러한 회의론은 여러 가지 중요한 요인에서 비롯된 타당한 것입니다. 1000배 적은 컴퓨팅과 56배 빠른 속도 주장을 포함한 SubQ의 주요 성능 벤치마크는 주로 자체 보고된 것이며 현재 외부 검증이 부족합니다. 또한, 모델 가중치가 공개적으로 제공되지 않아 독립적인 연구소에서 자체적인 포괄적인 테스트 및 결과 재현을 수행할 수 없습니다.

문서화되지 않은 성능의 또 다른 중요한 영역은 SubQ가 일반적인 짧은 프롬프트 작업에서 얼마나 효과적인지에 있습니다. 최대 1,200만 토큰의 거대한 컨텍스트 창을 위해 설계되었지만, 더 전통적인 LLM 애플리케이션에서의 비교 능력은 대부분 정량화되지 않아, 특화된 장문 컨텍스트 시나리오를 넘어선 더 넓은 유용성에 대한 의문을 남깁니다.

SubQ는 현재 일부 디자인 파트너 그룹에 출시되고 있으며, 200만에서 1,200만 토큰에 이르는 컨텍스트 창을 포함하는 더 광범위한 모델 출시는 올해 말로 예정되어 있습니다. 진정한 리트머스 테스트는 독립적인 연구소와 개발자들이 접근 권한을 얻어 SubQ의 전례 없는 효율성과 정확성 주장이 검증 가능한 실제 성능으로 이어지는지 철저히 검증할 수 있을 때 이루어질 것입니다. 그때서야 AI 세계는 이것이 진정으로 1000배 컴퓨팅 혁신을 의미하는지 알게 될 것입니다.

SubQ는 무엇이며 왜 중요한가요?

SubQ는 스타트업 Subquadratic의 새로운 대규모 언어 모델(LLM)입니다. 이는 'sub-quadratic sparse attention' 아키텍처를 기반으로 구축되었기 때문에 중요합니다. 이 아키텍처는 GPT 및 Claude와 같은 전통적인 트랜스포머 모델의 컨텍스트 창 크기를 제한하는 막대한 컴퓨팅 비용 문제를 해결한다고 주장합니다.

sub-quadratic sparse attention (SSA)은 어떻게 작동하나요?

모든 단어가 다른 모든 단어를 보는 표준 'dense' 어텐션(이는 2차적으로 확장됨)과 달리, SSA는 실제로 중요한 소수의 단어 관계에 대해서만 어텐션을 식별하고 계산하도록 학습합니다. 이는 매우 긴 텍스트를 처리하는 것을 극적으로 더 효율적으로 만듭니다.

SubQ가 GPT-4나 Claude Opus와 같은 모델보다 더 나은가요?

SubQ는 모든 면에서 더 뛰어나도록 설계되지 않았습니다. 일부 추론 벤치마크에서는 자체적인 성능을 보여주지만, 주요 장점은 매우 긴 컨텍스트 작업(예: 전체 코드베이스 분석)에서 극도의 효율성과 성능을 발휘한다는 것입니다. 짧은 프롬프트의 경우, 기존 모델이 일반적인 기능에서 여전히 우위를 가질 수 있습니다.

SubQ의 성능 주장이 독립적으로 검증되었나요?

완전히 그렇지는 않습니다. 제3자 Appen이 일부 커널 수준 벤치마크를 검증했다고 알려졌지만, 인상적인 성능 및 비용 주장의 상당수는 Subquadratic 자체 테스트에서 나온 것입니다. 모델이 아직 공개되지 않았으므로 더 넓은 AI 커뮤니티는 독립적인 실제 검증을 기다리고 있습니다.