logiciels type etl

[mathcanto]

Bonjour à tous.

Je fais une enquête sur les ETL et je souhaiterais savoir lesquels vous connaissez et quelles sont les fonctionnalités attendues pour ce type de logiciel ?

merci d'avance !

[Ask to Old Man]

Bonjour,

Permets-moi de glisser ici une définition de "ETL" pour ceux qui approcheront ta question:

"Extract-Transform-Load " est connu sous le terme ETL (ou parfois : datapumping). Il s'agit d'une technologie informatique intergicielle (comprendre middleware) permettant d'effectuer des synchronisations massives d'information d'une base de données vers une autre. Selon le contexte, on traduira par « alimentation », « extraction », « transformation », « constitution » ou « conversion », souvent combinés.

Elle est basée sur des connecteurs servant à exporter ou importer les données dans les applications (Ex : connecteur Oracle ou SAP...), des transformateurs qui manipulent les données (agrégations, filtres, conversions...), et des mises en correspondance (mappages). Le but est l'intégration de l'entreprise par ses données.

A l'origine, les solutions d'ETL sont apparues pour le chargement régulier de données agrégées dans les entrepôts de données (ou datawarehouse), avant de se diversifier vers les autres domaines logiciels. Ces solutions sont largement utilisées dans le monde bancaire et financier, ainsi que dans l'industrie, vu la multiplication des nombreuses interfaces.

Des technologies complémentaires sont apparues par la suite : l'EAI (Intégration d'applications d'entreprise), puis l'ESB (Enterprise Service Bus).

Nota: Domaine inconnu pour moi.

[mathcanto]

oui merci, j'avais déjà vu. mais après chacun a des souhaits personnels, des modules désirés...

[blankoworld]

Bonjour,

Merci AtOM pour la définition, en la lisant ça fait tellement peur que nous n'avons même pas envie de lire la suite .
Je crois que pour ma part ce genre de logiciel n'est pas utilisé.
La dernière fois que j'ai du m'occuper de bases de données, c'était en reprenant toutes les feuilles une à une et en tapant à la main sous Microsoft Excel, pour transformer le fichier en CSV et l'inclure dans Microsoft Navision. Donc s'il y avait eu un logiciel sympa, sûrement que nous l'aurions pris.
Et puis le forum, même si des personnes venant d'entreprises parcours les recoins, je ne pense pas qu'il y ait des responsables de grosses entreprises permettant de répondre à ta question (cela ne m'enchante pas trop de te le dire sans mâcher les mots, mais c'est ainsi).
Bah après tout ne dit on pas que le temps s'occupe de tout ? Je te souhaite de reçevoir des réponses .

[mathcanto]

désolé de te contredire mais ce type de logiciel est TRES utilisé, et de plus en plus même !

il existe surement un petit soft pour ce que tu as fais qui t'aurai évité de tout te taper à la main...

[blankoworld]

désolé de te contredire mais ce type de logiciel est TRES utilisé, et de plus en plus même !

Ah mais je ne dis pas, mais pour des particuliers, j'en doute. Surtout qu'en général c'est payant.

il existe surement un petit soft pour ce que tu as fais qui t'aurai évité de tout te taper à la main...

Des logiciels qui prennent des papiers et qui trient les données comme un humain pour les mettre sur un ordinateur, j'en doute ! J'ai fait de la numérisation, donc ça c'était impossible.
Ensuite pour le CSV, on avait un genre de programme puisque nous avions une entreprise allemande qui devait s'occuper un peu de la chose. Mais j'ai tout de même dû tout transformer en CSV.

Bref, je le redit, j'espère pour toi qu'il y aura du monde qui utilise ça, ou qui aurait des idées.

PS : Ce qui est embêtant sur les ordinateurs, c'est le côté NON UNIVERSEL. On a beau avoir des prises USB un peu partout (et encore), des prises pour le clavier, ou encore des logiciels qui lisent beaucoup de documents, il n'en est pas moins que chacun fait à "sa sauce'. Du coup il faut l'avouer, c'est la merde totale.

[Ask to Old Man]

Finalement, à la reflexion, j'ai utilisé SAP...dans le monde professionnel que j'ai quitté.
Mais bon je n'en attends plus rien et en plus je ne vais même pas faire un retour sur un monde
que j'ai supporté suffisamment longtemps ( Industrie & SAV automobile ).

Il nous avait été livré sous forme d'un logiciel complet, intégré à notre système professionnel
qui était déjà un Mix Windows NT, Windows Xp, un reste d'applis en Unix et j'en oublie.

[6r]

Tiens on parle d'un truc intérressant mais à mon avis encore trop rare.

Déjà il aurait été sympa de préciser un peu plus le sujet (je ne dis pas ca pour être désagréable) mais soyons franc sans atom je ne m'attardais pas ici. ETL, ca ne parle pas à tout le monde loin de là.

L'interet est enorme. Actuellement de trés nombreuses sociétés ont un erp (un erp est un progiciel permettant de gérer une entreprise pour faire simple) du type SAP, SAGE, Adonix ... (le premier qui me dit que adonix c'est pareil que sage retourne réviser).

Le soucis est la compatibilité ou plutot l'incompatibilité des outils entre eux. En effet ces logiciels s'appuyent sur des bases de données pour gérer l'intégralité des ressources documentaires (infos produits (tarifs, fournisseurs, réferences, qtité stock ...), infos fournisseurs (contact, adresse ...), clients, devis, commande, personnels de la société, documents comptable ...) autrement dit on gére toute la vie de la société sur le même logiciel. Et un jour on se rend compte qu'il y a un concurrent plus adapté, ou moins cher ou bien lors d'une fusion il faut regrouper les données des deux entreprises.

Mais ce jour là on est confronté à l'incompatibilité des données. Tout du moins a l'incohérence. Déjà le nom des tables, les types de données, les méthodes retenues pour structurer et lier les tables ...

Il faut donc une belle équipe de devellopement pour transvaser les données. On est également parfois confronté aux différents types de bases, Oracle d'un coté et Ingres de l'autre ou du Microsoft server, ou du fichier ou du "developpement interne secret défense". Parfois il n'y a même pas d'accés aux bases de données pour l'utilisateur (login et mot de passe non fournis).

Toutes ces difficultés font qu'il s'agit d'une puissante galére, et soyez persuadé que les developpeurs d'ERP ne font rien pour faciliter la vie de ce genre de transition.

On peut aussi y être confronté lorsqu'on va intégrer des données externes à un ERP (ou à une base de données developper en interne).


Voilà en fait les usages principaux que j'y vois et c'est loin d'être trivial.

Pour le cas particulier de ma petite PME de province l'ERP utilisé est extremement satisfaisant (Adonix) et il est modifié en interne pour coller au plus pret de nos attentes (il ne s'agit pas que de modifs graphiques mais de developpement complet, maintenant notre adonix gére finement notre SAV chose qu'il ne savait pas faire à la base). Nous ingérons également des données externes, et il m'arrive de faire des ajouts complets dans la base de données à partir de fichier Excell !

Malheuresement tout est developpé intégralement en interne donc je ne saurais trop parler de logiciels ETL en particulier !