Le pattern ELT en action avec DBT et SQLMesh

Le pattern ELT (Extract Load Transform) est de plus en plus présent dans les projets data. En exploitant la puissance des data warehouses et du SQL, il permet d’exécuter des transformations de manière efficace et performante. Des outils comme DBT et SQLMesh ont apporté une structure, des standards et beaucoup de fonctionnalités autour de cette approche. Ils permettent de faire du templating SQL pour y ajouter des comportements dynamiques, l’orchestration des requêtes pour en gérer le séquencement, et la gestion du lineage pour assurer la traçabilité des dépendances. Dans ce talk, nous découvrirons la mise en œuvre du pattern ELT sur un usage concret, basé sur des données réelles, pour explorer et comparer DBT et SQLMesh : leurs similitudes, leurs différences et spécificités. DBT est largement utilisé dans de nombreux projets data, mais SQLMesh n’est pas en reste et a plusieurs atouts à faire valoir. Nos pipelines seront exécutés sur BigQuery dans Google Cloud et incluront la partie automatisation DevOps. Après cette session, vous maîtriserez les fondamentaux du pattern ELT et saurez comment tirer parti de DBT et SQLMesh dans vos projets data !