Phase
Description de la phase Tâche Description de la tâche Responsable
--------------------------------------------------------------------------------------------------------------------------------
I Mise en place de l'environnement de développement

1 Configurer l'infrastructure matérielle DBA
2 Intallation des logiciel et outils DBA / A-ETL
3 Mettre en place les documents sur les meilleures pratiques et normes G-ETL/A-ETL

II Analyse des besoins d'affaires
1 Revue de la documentation exitante avec le Data Modeller A-ETL/A-Système
2 Définition et documentation des règles d'affaires A-ETL/A-Système
3 Analyse des systèmes sources A-ETL/A-Système
4 Définition de la portée des phases de projet G-ETL

III La conception des mises en correspondance des données ( Logical data mapping)
1 Revue du modèle de données de l'entrepôt de données A-ETL
2 Revue des règles d'affaires A-ETL
3 Analyse des systèmes sources A-ETL
4 Création du document de mise en correspodance des données A-ETL

IV Stratégie de qualité de données
1 Définition des règles de la qualité de données G-ETL/S-Q-D
2 Documentation des défauts de données G-ETL/S-Q-D
3 Affectation de la responsabilité des défauts de données G-ETL/S-Q-D
4 Création du document de mise en correspodance des données G-ETL/S-Q-D
5 Sensiblisation des utilisateurs finaux des défauts de données. G-ETL/S-Q-D
6 Intégration des règles de qualité dans le document de mise en correspondance G-ETL/S-Q-D

V Développement des processus ETL
1 Revue du document de mise en correspondance D-ETL
2 Développement des dimensions simples D-ETL
3 Developpement des dimensions SCD-2 ( Historique) D-ETL
4 Développement des dimensions SCD-2 ( Incrémental) D-ETL
5 Développement des tables de faits ( Historique) D-ETL
6 Développement des tables de faits (Incrémental) D-ETL
7 Automatisation des processus. D-ETL

VI Tests unitaires -- Tests d'assurance qualité -- Test d'acceptation
1 Mise en place de l'environnement de test DBA / A-ETL
2 Création des plans de test et les scripts A-Système
3 Chargement des données D-ETL
4 Éxécution des scripts de tests unitaires A-Système
5 Contrôle de la qualité de données A-Système
6 Validation des données A-Système
7 Validation des règles d'affaires A-Système
8 Obtention de l'acceptance G - ETL

VII Déploiement
1 Création des documents de support A-ETL
2 Création des documents des mécanismes de récupération A-ETL
3 Mise en place de l'environnement de prod. A-ETL
4 Chargement des données historiques A-ETL
5 Ordonnancement des processus incrémental A-ETL

VII Maintenance
1 Développement des rapports d'audit pour les problèmes connus A-ETL
2 Vérification des journaux d'éxécution A-ETL
3 Mise en place de l'environnement de prod. A-ETL


Légende
G-ETL : Gestionnaire ETL
A-ETL : Architecte ETL
A-Système : Analyste système
S-Q-D : Spécialiste qualité de données
DBA : Administrateur de base de données

 Dans le contexte de l'aide à la décision, Kettle va servir à constituer un datawarehouse, en réalisant l'importation des données depuis différentes sources, leur consolidation et leur mise en forme.
 L'utilisation de Kettle présente plusieurs avantages par rapport à des solutions à base de scripts:
 La création de flux de données complexes est extrêmement simple
 La maintenance est beaucoup plus aisée car tous les flux de données sont visibles d'un simple coup d'oeil.
 Kettle pourra également trouver sa place dans tout projet non décisionnel qui a besoin d'exécuter périodiquement des traitements sur certaines données ou des synchronisations entre différentes bases.

Kettle se compose de 3 applications :
• Spoon : environnement graphique de création et d'exécution de transformations et de tâches.
• Pan : application en ligne de commande permettant de lancer l'exécution d'une transformation donnée.
• Kitchen : application en ligne de commande permettant de lancer l'exécution d'une tâche donnée.
Pan et Kitchen sont utilisées pour planifier l’exécution des transformations et des tâches.

• Les transformations : traitements effectués au niveau d'une ou plusieurs bases de données comprenant des opérations de lecture, de manipulation et d'écriture.
• Les tâches : traitements de plus haut niveau, combinant des actions telles que l'exécution d'une transformation
Kettle peut se connecter sur un grand nombre de bases de données, dont Oracle, Sybase, MySQL, PostgreSQL, Informix ou SQLServer et peut également utiliser des données provenant de fichiers textes, XML et Excel.
Les transformations et les tâches sont créées par ‘glisser déposer’ des différentes étapes du processus. Des assistants sont disponibles à chaque étape et permettent par exemple de générer automatiquement les requêtes de lecture et de création de tables.

Kettle est un ETL open source qui permet de concevoir et exécuter des opérations de manipulation et de transformation de données.
Grâce à un modèle graphique à base d’étapes, il est possible de créer sans programmation des processus composés d’imports et d’export de données et de différentes opérations de transformation, telles que des conversions, des jointures,l’application de filtres, ou même l’exécution de fonctions javascript.
Kettle est devenu open source à partir de la version 2.2 et a rapidement intégré le projet de plateforme décisionnelle Pentaho qui l’a renommé depuis en Pentaho Data Integration.

Cycle de vie d'un ETL