Éléments pour l'ETL incrémental
Dans un DW incrémental le système est mis à jour régulièrement.
Une mise à jour se manifeste par :
l'ajout de nouveaux faits
l’éventuel ajout ou mise à jour des dimensions
Ajout de faits
Deux cas de figures :
La source des faits est remplacée à chaque incrément (les nouveaux faits remplacent les anciens)
il faut ajouter les nouveaux faits au fur et à mesure en relançant l'ETL, typiquement :
vider les faits de la BDT (anciens faits)
repeupler les faits de la BDT (BDE->BDT)
exécuter le transfert BDT->DW
Les nouveaux faits sont ajoutés à la même source à chaque incrément :
il faut vider et repeupler le DW à chaque incrément
ou il faut une méthode qui permette de discriminer les faits déjà intégrés des nouveaux (et l'on se rapporte au cas précédent)
Méthode :
Vider la BDT sera de préférence la dernière étape de l'ETL (assimilant le transfert BDT->DW à un déplacement)
BDE->BDT
BDT->DW
Vider BDT
Attention :
Si la BDT permet de calculer des attributs d'agrégation de faits, il est nécessaire qu'elle conserve l'ensemble des données pour effectuer ses calculs.
Dans ce cas, plutôt que de vider la BDT on utilisera un attribut de discrimination (flag) qui mémorisera les données déjà transférées des nouvelles données.
Ajout de dimensions
L'ajout de dimensions résulte de :
l'ajout de nouveaux faits,
associé éventuellement à l'ajout des dimensions dans les sources transactionnelles.
De la même façon :
soit l'on supprime et récrée la dimension
soit l'on gère l'ajout des nouveaux enregistrements après les avoir discriminés
Mise à jour de dimensions
La mise à jour de dimension résulte de :
l'ajout de nouveaux faits,
associé à la mise à jour des sources transactionnelles des dimensions.
Il faut adopter une stratégie de gestion des SCD.
Méthode : Audit continu des données
Utiliser des triggers pour auditer les données et ainsi affiner les méthodes, trouver des erreurs...