overview
Что такое SubQ?
SubQ — это инструмент большой языковой модели (LLM), разработанный Subquadratic, который позволяет разработчикам, корпоративным командам, инженерам данных, исследователям и кодирующим агентам рассуждать в контекстах, содержащих миллионы токенов. Он использует субквадратичную разреженную архитектуру внимания для повышения эффективности и производительности в задачах с очень длинным контекстом. SubQ специально разработан для преодоления ограничений квадратичного масштабирования стандартных моделей-трансформеров, где вычислительные требования экспоненциально возрастают с длиной контекста. Его архитектура субквадратичного разреженного внимания (SSA) гарантирует, что вычисления масштабируются примерно линейно с длиной входных данных, фокусируясь на наиболее релевантных связях токенов. Это позволяет SubQ обрабатывать до 12 миллионов токенов в одном запросе без значительного ухудшения качества, что делает его подходящим для сложных, долгосрочных агентских задач ИИ и анализа нескольких документов.
