Google Cloud хостит модели OpenAI

Recursive только что выпустила Flint, модель Mixture-of-Experts для кодирования с лицензией Apache-2.0. Она содержит 40 миллиардов общих параметров и огромное контекстное окно в 262K токенов, специально разработанное для локального запуска в качестве дополнения к более тяжелым облачным агентам.

Полная зависимость от передовых облачных API для вашего рабочего процесса разработки — это рецепт для задержек и простоев. Flint предоставляет вам высокопроизводительную локальную альтернативу, которая может "проглотить" целые кодовые базы за один запрос, не отправляя вашу проприетарную логику по сети.

Если производительность соответствует заявленным характеристикам, это явная победа для локальной разработки. Облачные провайдеры теряют монополию на ваши нажатия клавиш, а разработчики получают надежный, приватный запасной вариант, который действительно понимает контекст.

Modal, платформа для инфраструктуры ИИ, только что преодолела рубеж годового дохода в 1 миллиард долларов. На волне этого роста они привлекли 750 миллионов долларов в раунде финансирования Серии D, увеличив оценку компании до ошеломляющих 16 миллиардов долларов.

В то время как создатели фундаментальных моделей сжигают миллиарды, гоняясь за теоретическим интеллектом, поставщики инфраструктуры тихо печатают деньги. Масштабный раунд Серии D Modal подчеркивает ненасытный, абсолютно практический спрос на масштабируемые вычислительные мощности ИИ, которые просто работают.

Победителями здесь являются поставщики "кирок и лопат". Если вы создаете приложения ИИ, военный сундук Modal означает, что к вам идет более стабильная, специализированная инфраструктура. Проигравшие — это универсальные облачные провайдеры, которые думали, что смогут по умолчанию владеть всей цепочкой развертывания ИИ.

Mirendil утверждает, что создала свою первую базовую модель с помощью одного исследователя всего за 3,5 месяца. Что еще более удивительно, компания заявляет, что весь этот этап предварительного обучения обошелся менее чем в 10 миллионов долларов на вычисления, демонстрируя значительное снижение ресурсов, необходимых для разработки больших моделей.

Нынешний консенсус диктует, что обучение конкурентоспособных базовых моделей требует огромных команд и девятизначных бюджетов на вычисления. Заявление Mirendil напрямую оспаривает это предположение, предполагая, что алгоритмическая эффективность и целенаправленное выполнение могут заменить грубую силу капитала.

Нам нужна независимая проверка фактических возможностей модели, прежде чем переписывать правила экономики ИИ. Но если это подтвердится, это значительно снизит порог входа для обучения пользовательских моделей с нуля.

Perplexity и NVIDIA представили JOLT, совместный метод пост-обучения "учитель-ученик". Техника устраняет известные недостатки самодистилляции, обучая модель-учителя с использованием вознаграждений за результат, активно наказывая ее за чрезмерное отклонение от поведения модели-ученика.

Дистилляция массивных моделей до размеров, пригодных для развертывания, часто приводит к потере качества рассуждений. Принуждая учителя и ученика учиться в тандеме, JOLT улучшает производительность на бенчмарках и создает более стабильный конвейер для создания эффективных, готовых к производству моделей.

Это очень практичное развитие для команд, пытающихся предоставлять высококачественные результаты, не оплачивая затраты на инференс передовых моделей. Улучшенная дистилляция означает меньшие, более дешевые модели, которые фактически выполняют свои задачи.

DeepSeek выпустила DeepInfer, новую структуру, которая предоставляет передовые методы производственного планирования для инференса моделей. Система сочетает спекулятивное декодирование, динамическое изменение размера предварительной загрузки и другие методы оптимизации для максимизации пропускной способности.

Обслуживание больших языковых моделей в масштабе — это инфраструктурный кошмар. Открыв исходный код логики планирования, которую они используют внутри, DeepSeek предоставляет независимым разработчикам инструменты для значительного сокращения задержек и вычислительных затрат в производственных средах.

Это огромная победа для инфраструктурных команд. Вам больше не нужно реверс-инжинирить, как крупные лаборатории достигают своих скоростей инференса. Внедрение динамического изменения размера предварительной загрузки DeepInfer должно быть главным приоритетом для всех, кто запускает модели в масштабе.

Исследователи обнаружили, что когда большим языковым моделям задают открытые вопросы о культуре, они демонстрируют явную предвзятость в отношении таких стран, как Япония. Этот культурный фаворитизм не проявляется в базовых моделях; он появляется именно после контролируемой донастройки.

Мы рассматриваем донастройку как механизм согласования моделей с человеческими ценностями, но редко спрашиваем, чьи ценности управляют рулем. Это исследование доказывает, что процесс согласования непреднамеренно внедряет определенные культурные предпочтения в мировоззрение модели.

Если вы полагаетесь на LLM для глобальной генерации контента или непредвзятого культурного анализа, вам необходимо учитывать этот уклон. Модели не являются объективными наблюдателями; они отражают конкретные, локализованные предпочтения аннотаторов, которые их обучали.