Le pivot secret de DuckDB avant son accord avec AWS

DuckDB, le « SQLite de l'analytique » autoproclamé, a passé cinq ans à se définir comme l'antithèse philosophique des entrepôts de données cloud d'entreprise. Il fonctionnait strictement in-process, ne nécessitant aucun serveur, aucun cluster et aucune chaîne de connexion. Vous pouviez l'installer et interroger des gigaoctets de données Parquet sur votre ordinateur portable plus rapidement qu'un entrepôt de données traditionnel ne pourrait même planifier la tâche. Cette conception serverless et intégrée a fait de DuckDB un favori parmi les développeurs, précisément parce qu'il se rebellait contre l'infrastructure de données complexe et centrée sur le cloud.

Puis, l'impensable s'est produit. DuckLabs, l'équipe d'environ 30 personnes basée à Amsterdam derrière DuckDB, a annoncé son acquisition par AWS cette semaine. Ce mouvement place l'équipe d'ingénierie directement au sein d'Amazon, un changement brutal pour un projet dont toute l'identité était construite sur l'indépendance vis-à-vis des grands fournisseurs cloud. L'annonce officielle a détaillé l'accord définitif le 26 août 2026, avec une clôture prévue début septembre.

Soyons clairs : les engagements open-source du projet demeurent. DuckDB, ainsi que ses projets associés, continueront sous la licence MIT permissive, régis par la DuckDB Foundation indépendante. Les cofondateurs Hannes Mühleisen et Mark Raasveldt conserveront leur leadership, orientant la direction technique du projet depuis Amsterdam, même en travaillant au sein d'Amazon. Mais l'image de cette acquisition, surtout lorsqu'elle est associée à d'autres développements récents, raconte une histoire plus complexe.

Neuf jours avant la nouvelle de l'acquisition par Amazon, DuckDB a lancé une bombe. Il a discrètement présenté la version 2.0, nom de code « Cyanoptera », une version monumentale englobant plus de 10 000 commits et signalant un changement architectural profond. Ce n'était pas seulement une mise à jour ; c'était une réimagination stratégique.

Le plus frappant est que la v2.0 introduit un mode client-serveur, fourni via l'extension désormais stable quack. Cette fonctionnalité contredit directement la célèbre identité « il n'y a pas de serveur » de DuckDB, redéfinissant fondamentalement son paradigme opérationnel. Le SQLite pour l'analytique, autrefois uniquement in-process, fonctionne désormais comme un service pour plusieurs clients.

Au-delà du serveur, DuckDB 2.0 dévoile d'autres refontes techniques significatives. Un moteur d'E/S asynchrone innovant permet aux couches d'E/S et de traitement des requêtes de s'adapter indépendamment, promettant des accélérations de requêtes allant jusqu'à 40 fois. Cela représente à lui seul un bond de performance massif pour les professionnels de la donnée.

De plus, un tout nouveau parseur SQL moderne remplace le prédécesseur dérivé de PostgreSQL, offrant de meilleurs messages d'erreur et des hooks d'extension. D'autres améliorations incluent des déclencheurs (triggers), un nouveau format de stockage par défaut et une API C stable pour les extensions. Ce ne sont pas des ajustements mineurs ; ils représentent une réorientation fondamentale des capacités principales de la base de données, livrée juste avant que DuckLabs ne rejoigne Amazon.

Amazon n'a pas acquis un rival ; il a acheté un accélérateur. DuckDB, le « SQLite de l'analytique », ne menaçait pas Redshift ou Athena en tant que concurrent autonome. Au lieu de cela, AWS a reconnu son potentiel en tant que puissant moteur d'analytique embarqué, idéalement adapté pour augmenter les services existants comme S3 Tables et SageMaker Lakehouse. Cela permet à Amazon d'intégrer des capacités analytiques sophistiquées directement dans les applications ou au plus près de la source de données.

L'efficacité inégalée de DuckDB sur les requêtes à l'échelle du téraoctet comble une lacune cruciale au sein de l'écosystème AWS. Alors que Redshift et Athena excellent dans l'entreposage et l'interrogation de données à l'échelle de l'exaoctet, DuckDB offre une analytique ultra-rapide et en processus pour des charges de travail plus petites et itératives. C'est la pièce manquante pour les scénarios où la latence du cloud ou le provisionnement d'un cluster complet est superflu.

Plus important encore, l'acquisition représente également un « acqui-hire » significatif. AWS gagne une équipe de classe mondiale d'environ 30 ingénieurs de DuckLabs à Amsterdam, reconnus pour leur expertise approfondie en optimisation de requêtes et en formats de table ouverts modernes comme DuckLake. Ces développeurs apportent des connaissances inestimables et accélèrent la feuille de route d'Amazon dans le traitement de données distribuées. Pour les détails officiels, voir : DuckLabs to Join AWS, Projects to Remain Open Source - DuckDB.

Les projets open source atteignent souvent une bifurcation cruciale : continuer en tant que rebelle agile ou accepter les immenses ressources d'une société mère. DuckDB, autrefois l'opposé philosophique des entrepôts de données cloud d'entreprise, est désormais confronté à ce pacte faustien classique, échangeant son indépendance radicale contre le soutien substantiel d'Amazon. Ce pacte promet une accélération de la feuille de route et la réalisation des rêves des développeurs concernant de nouvelles fonctionnalités, mais il aligne fondamentalement la trajectoire de DuckDB sur les incitations stratégiques potentiellement divergentes d'Amazon, menaçant son éthique open source originale.

Les développeurs de la communauté remettent à juste titre en question l'indépendance déclarée de la DuckDB Foundation. Bien que la licence MIT persiste et que son équipe d'Amsterdam continue ses opérations, des membres clés du conseil d'administration perçoivent désormais des salaires d'Amazon. Cela brouille les lignes de la véritable autonomie, soulevant des préoccupations légitimes concernant la gouvernance et la capacité de la Fondation à agir réellement sans conflit, même avec les meilleures intentions. Mais, comme l'histoire le montre, la véritable indépendance est un combat difficile.

Un DuckDB soutenu par AWS reconfigure irrévocablement le paysage concurrentiel des données. Les titans traditionnels du cloud comme Snowflake et Databricks doivent désormais faire face à un moteur analytique puissant et profondément intégré qui peut augmenter les services AWS existants. Cependant, les plus touchés sont peut-être les services basés sur DuckDB comme MotherDuck, qui ont construit toute leur prémisse sur l'autonomie antérieure et sans entrave de DuckDB. Il s'agit d'un changement de paradigme pour le « SQLite pour l'analytique », transformant du jour au lendemain un partenaire en un rival direct et subventionné.

Qu'est-ce que DuckDB ?

DuckDB est un système de base de données analytique open source en processus, souvent appelé le « SQLite de l'analytique ». Il est conçu pour l'interrogation rapide et directe de fichiers de données comme Parquet sans avoir besoin d'un serveur séparé.

DuckDB est-il toujours open source après l'acquisition par AWS ?

Oui. DuckDB restera open source sous la licence MIT, et sa gouvernance se poursuivra sous la DuckDB Foundation indépendante. L'équipe de développement principale de DuckLabs a rejoint AWS.

Quel est le plus grand changement dans DuckDB 2.0 ?

Le changement le plus significatif est l'introduction d'un mode client-serveur. Cela permet à DuckDB de fonctionner comme un serveur autonome, un départ majeur de son identité traditionnelle « en processus uniquement ».

Pourquoi AWS a-t-il acquis DuckLabs, l'entreprise derrière DuckDB ?

AWS a probablement acquis DuckLabs pour intégrer son moteur de requête rapide et embarqué dans des services comme S3 et SageMaker, améliorant ainsi leurs capacités d'analyse sur des jeux de données de petite à moyenne taille et acquérant une expertise dans les formats de table ouverts.