Polars 2.0 сломает ваш код

Polars 2.0 не добавляет новых функций, позиционируя этот релиз как важную «чистку» и архитектурную переработку. Разработчики описывают его не как обновление функционала, а как фундаментальную работу по повышению внутренней согласованности и надежности. Это обновление направлено на долгосрочную стабильность и фундаментально меняет работу существующего кода, несмотря на отсутствие новых функций для пользователей.

Наиболее значимое изменение — внедрение нового движка streaming engine по умолчанию для всех запросов LazyFrame. Этот движок обрабатывает данные небольшими параллельными фрагментами, называемыми morsels, что обеспечивает колоссальный прирост производительности и эффективности использования памяти. По предварительным оценкам, выполнение агрегатных запросов станет «как минимум в 5 раз быстрее» в рамках этой новой парадигмы, существенно снижая потребление памяти за счет отказа от одновременной загрузки целых наборов данных в RAM.

Это фундаментальное обновление необходимо для амбициозного будущего Polars. Новый движок streaming engine закладывает критически важную основу для полноценной обработки данных вне оперативной памяти (out-of-core processing), позволяя библиотеке эффективно работать с наборами данных, превышающими объем доступной системной памяти. Это также открывает путь к более мощному и сложному оптимизатору запросов, что еще больше расширит аналитические возможности и масштабируемость Polars.

Polars 2.0 вводит явные изменения в API, которые напрямую нарушают работу существующего кода. Это не функциональный релиз; он отдает приоритет долгосрочной архитектурной согласованности, а не обратной совместимости для определенных функций. Разработчики столкнутся с немедленными ошибками там, где старые методы больше не работают под своими прежними именами.

Несколько основных функций были переименованы или удалены. Метод melt теперь называется unpivot — это название считается более интуитивно понятным для преобразования данных из широкого формата в длинный. join_nulls был переименован в nulls_equal для большей ясности при операциях объединения. Кроме того, LazyFrame.profile больше недоступен.

Эти изменения отражают переход к оптимизированному ленивому выполнению и более строгому обращению с данными. Например, read_csv теперь внутренне использует scan_csv().collect(), обеспечивая автоматическую ленивую оптимизацию. Комбинирование знаковых и беззнаковых 64-битных целых чисел теперь приводит к типу Int128, что предотвращает скрытую потерю точности, которая ранее возникала при приведении к типу float.

Миграция упрощена за счет улучшенной обработки ошибок. Удаленные функции теперь вызывают AttributeRemovedError, в котором явно указывается метод для замены. Такой подход, ориентированный на разработчика, гарантирует, что вызов melt прямо предложит использовать unpivot, что позволяет быстро вносить исправления и минимизировать время простоя.

Polars 2.0 вводит движок streaming engine по умолчанию для всех запросов LazyFrame, который не гарантирует порядок строк для таких операций, как join, group_by и unpivot. Это фундаментальное архитектурное изменение, призванное обеспечить значительный прирост производительности и эффективности памяти, обрабатывает данные небольшими параллельными фрагментами. Это может незаметно изменить последовательность строк в выводе, что является скрытым критическим изменением для существующего кода.

Этот сдвиг несет критический риск: выходные данные могут быть математически верными, но при этом ошибочно сопоставленными с неверными строками. Такие расхождения приводят к скрытому повреждению данных, которое крайне сложно обнаружить и отладить, что может негативно повлиять на последующий анализ. В отличие от явных изменений в API, эта проблема не вызывает немедленной ошибки, что делает ее опасной ловушкой.

Пользователям, которым требуется определенный порядок строк, теперь необходимо явно устанавливать maintain_order=True в соответствующих операциях. Разработчики Polars называют это «полезным критическим изменением», которое вынуждает пользователей определять корректность данных, а не полагаться на случайное сохранение порядка строк предыдущим движком. Для получения подробной информации об изменениях в Polars 2.0 ознакомьтесь с руководством пользователя Version 2.0-rc - Polars.

Polars 2.0 укрепляет свои позиции в качестве высокопроизводительной альтернативы Pandas на языке Rust, специально разработанной для крупномасштабных рабочих нагрузок на одном компьютере. Этот релиз, лишенный новых функций для пользователей, представляет собой критическую архитектурную переработку, направленную на долгосрочную стабильность, эффективность использования памяти и производительность. Он затрагивает механизмы работы движка и согласованность API, что крайне важно для требовательных задач в области Data Science и ИИ, где скорость обработки и управление ресурсами имеют первостепенное значение.

Внутренняя очистка кода напрямую открывает путь к расширенным возможностям, критически важным для будущей обработки данных и обучения моделей ИИ. Предстоящие разработки включают планировщик на основе стоимости (cost-based planner), спроектированный для интеллектуальной оптимизации планов выполнения сложных запросов, и улучшенные алгоритмы изменения порядка соединений (join reordering), которые повышают производительность при сложных объединениях данных. Эти архитектурные улучшения в сочетании со значительным расширением покрытия SQL позволят Polars решать сложные аналитические задачи с большей эффективностью и надежностью, сокращая «узкие места» при подготовке данных.

Разработчики рассматривают это «скучное» обновление как стратегическую инвестицию в фундамент, отдавая приоритет надежности, а не сиюминутным ярким функциям. Ожидается, что новый движок streaming engine по умолчанию, который обрабатывает данные небольшими параллельными фрагментами (morsels), сделает большинство запросов «легко в 5 раз быстрее» в совокупности. Polars 2.0 представляет собой осознанный шаг к укреплению своей основной архитектуры, обеспечивая более быстрое и надежное будущее обработки данных, способное поддерживать растущие потребности конвейеров ИИ и машинного обучения, требующих последовательной высокопроизводительной обработки данных.

Почему Polars 2.0 — это «критический» релиз без новых функций?

Polars 2.0 — это релиз по «очистке», сфокусированный на внутренней архитектуре и согласованности API. Он представляет новый движок запросов по умолчанию и переименовывает несколько методов, что может привести к поломке существующего кода, но эти изменения создают более прочный фундамент для будущего развития.

Какое самое важное изменение в Polars 2.0?

Самое критическое изменение заключается в том, что новый «streaming engine» по умолчанию не гарантирует порядок строк для таких операций, как соединения (joins) и группировки (group-bys). Пользователи теперь должны явно устанавливать maintain_order=True, чтобы предотвратить скрытые проблемы с целостностью данных.

Как исправить код после обновления до Polars 2.0?

Большинство критических изменений вызовут ошибку AttributeRemovedError, которая точно укажет, что использовать вместо старого метода (например, замените melt на unpivot). Для выявления потенциальных скрытых ошибок проверьте весь код, где критически важен порядок строк, и добавьте maintain_order=True.

Является ли Polars 2.0 быстрее предыдущих версий?

Да. Благодаря новому движку потоковой обработки, который обрабатывает данные параллельными фрагментами, большинство запросов должны стать значительно быстрее, с общим приростом производительности примерно в 5 раз.

Поддерживает ли Polars 2.0 наборы данных, превышающие объем оперативной памяти?

Пока не полностью. Хотя движок потоковой обработки является фундаментальным шагом к полноценной обработке данных вне оперативной памяти (out-of-core), текущая реализация все еще требует, чтобы набор данных помещался в память. Полная поддержка out-of-core запланирована на будущие релизы.