Implémentation de la zone T en RO [Introduction à l'ETL et application avec Oracle]

Implémentation de la zone T en RO

On crée une table pour chaque vue, table externe et table classique de la zone d'extraction.
Ces tables sont créées selon la syntaxe SQL3 du modèle relationnel-objet (afin de pouvoir accepter des méthodes).
On a donc un attribut disponible dans la zone T pour chaque attribut de la zone E.
On déclare une méthode pour chaque attribut que l'on souhaite exporter dans le modèle dimensionnel.
Cette méthode permettra de réaliser dynamiquement les transformations et vérifications adéquates.
On a donc une méthode disponible dans la zone T pour chaque attribut voulu dans le DW.

Pour les méthodes simples ne portant que sur un enregistrement à la fois, la méthode est attachée à la table correspondante.

Pour les transformations complexes nécessitant un script préalable, la méthode est associée à la table où est stockée le résultat de ce script.

Des vues peuvent être créées pour unifier l'accès aux tables.

Pour chaque hypothèse de "propreté" des données sources on pose une contrainte associée.

Par exemple si une donnée doit être une clé primaire et que l'on pense que les sources sont correctes de ce point de vue, on ajoute la clause PRIMARY KEY.
Par contre il ne faut pas ajouter les contraintes lorsque l'on sait que les données sources sont "sales", sans quoi ces données seront refusées au chargement et ne pourront jamais être nettoyées.
Dans le doute, il est parfois utile de donner des tailles de champs plus grandes que celle attendues (par exemple une chaîne de 50 caractères au lieu de 20) ou bien des types plus permissifs (une chaîne au lieu d'une date) afin de ne pas bloquer ou tronquer d'enregistrement.

Le relâchement des contraintes demandera un travail plus important d'implémentation des méthodes.

Lorsque les données sources sont "propres" et qu'elles sont copiées telle qu'elle dans la cible, la méthode associée se contente d'un return de l'attribut correspondant.
Lorsqu'un traitement est nécessaire, il est implémenté au sein de la méthode.

Pour être "propre" une donnée doit déjà respecter les contraintes souhaitées dans la zone T (condition nécessaire, non suffisante).

Dans tous les autres cas, la méthode doit effectuer des vérifications et traitements.

Il faut re-calculer les statistiques nécessaires à l'optimisation du moteur de requêtes (ANALYSE) comme après tout ajout significatif de données.

Pensez également à rafraîchir les vues matérialisées, puis à exécuter les collectes de statistiques sur ces vues.