Partage d'informations (mes favoris du web, cuisine, tourisme, etc…et un peu de tout) et nouvelles technologies
Dans: Informatique
12 mai 2005Je profite de mon retour de Paris où j’ai transféré de la compétence sur un outil ETL appelé Sagent pour faire un petit topo sur le sujet.
Pour la définition, un petit tour sur le lien http://fr.wikipedia.org/wiki/ETL de Wikipedia
Globalement, un ETL est un outil qui permet de récupérer des données ( Base de données, fichiers plats, etc…), de manipuler ces données et de les déverser vers une cible ( Base de données, fichiers plats…)
Pour ma part, mon expérience de l’ETL a été d’alimenter un DataWarehouse
Ces outils peuvent donc permettre de faire communiquer des systèmes hétérogènes entre eux.
Quelques liens :
http://www.01net.com/article/189119.html?rub=
http://solutions.journaldunet.com/0208/020827_bi_panorama1.shtml
Billets sur le même sujet :
5 Réponses à Un ETL, c’est quoi ?
1 - fred
juin 7th, 2005 at 1 h 37 min
Est-ce que http://www.anycont.com est un ETL ?
2 - eric
juin 7th, 2005 at 8 h 00 min
Apparement oui, c’est marqué sur le site "First ETL* ONLINE"
Après, il faut voir ses possibilités, tu dois t’en servir ?
3 - julien
septembre 27th, 2007 at 10 h 05 min
Bonjour
Je travaille en ce moment sur des modules de transfert de fichiers.
Principe : Des fichiers en provenance du datawarehouse arrivent sur un serveur via transfert FTP. Il y a plusieurs types de fichiers. La volumétrie des fichiers varie de 20 000 à 1 000 000 de lignes. Les fichiers arrivent périodiquement. Un scheduler execute des script shell. Ces script shell executent du Pro*C. Le Pro*C croise les données des fichiers avec les données d’une base de données suivant des règles de gestion précises. Les script shell peuvent merger certains fichiers avant de les transmettre au Pro*C. Le Pro*C peut appeler des procédures stockées. Le résultat du traitement est enregistré dans une base de données Oracle. Une application web Java/J2EE permet de d’afficher les résultats et d’insérer certaines données nécessaires au traitement.
Ma question est la suivante : serait-ce une bonne idée de migrer vers une solution ETL ? Une solution ETL me permet-elle d’implémenter des règles de gestion complexes dans le traitement ? J’ai lu que certaines solutions ETL pouvaient faire appel à des Web services.
Merci d’avance
julien.metais@yahoo.fr
4 - eric
septembre 27th, 2007 at 15 h 42 min
Si le traitement actuel fonctionne, je te dirais de ne pas changer… Sinon, si la maintenance et difficile, les règles difficiles à implémenter, pourquoi pas utiliser un ETL. J’ai utilisé SAGENT et datastage comme ETL , le premier était consternant à utiliser en terme d’interface graphique, le second on l’utilisait uniquement pour faire des appels à des Procs stockées Oracle. Maintenant, utiliser un ETL permet d’organiser des processus (et de les voir sous forme graphique), de les lier entre eux, de faire appels à des multitudes de services (remplacement, expressions régulières, appels de WS). Concernant les règles de gestion, ce sera toujours un script à coder à un certain moment, et je pense que seule l’imagination pourrais limiter la complexité des règles (vu que l’on peut appeler des scripts externes dans l’ETL si celui si le permet facilement), mais plus accessible car mieux rangé dans le projet de l’ETL. Maintenant, quel outil choisir ? Au moment où j’ai travaillé dessus je crois me rappeller qu’INFORMATICA avait la côte, mais maintenant… En espérant t’avoir éclairé, si tu veux une réponse plus précise, tu peux toujours poster ta question sur http://www.developpez.com Bonne fin de journée.
5 - julien
septembre 28th, 2007 at 16 h 45 min
Ok merci pour ta réponse