ADTransform et l’implementation d’un SGA

Problématique lors de l’importation de données dans un SGA

Le défi:

Lorsque l’on implante un SGA, il arrive fréquemment que les données existantes de fondation (organisations, types de postes, lieux, personnes) ainsi que les données historiques de formation (cours assignés, suivis et bulletin de notes, etc.), qui sont sauvegardées dans différentes bases de données (chiffriers, base de données Access, Filemaker, etc., système financier, SIRH, SGA existant), doivent être extraites afin de les importer dans le nouveau SGA.

Un défi technique de compatibilité de format de données survient en ces situations:

  1. les données existantes ne sont pas formattées adéquatement à des fins de rapports (certaines données sont manquantes, sauvegardées dans différentes bases de données, unités de mesure différentes, etc. ).
  2. certaines données ne conviennent pas à leur traitement par un SGA ; les titres des types de postes ne sont pas libellés de façon à convenir aux besoins de gestion des  compétences (titres trop globaux ou trop spécifiques, certains sont redondants, trop de titres). Ils ne peuvent pas ainsi être appariés à des compétences ou à des cours.
  3. les données existantes ne sont pas formattées adéquatement pour convenir aux spécifications de données du nouveau SGA (types de variables, nombre de caractères, etc.).

Conséquences de l’incompatibiité de certaines données

Beaucoup de temps et d’efforts en ressources doit être investit pour :

  1. transformer les données afin de les rendre adéquates à leur utilisation dans un SGA ainsi qu’à la génération de rapports signifiants dans un SGA
  2. tester l’importation des données dans le SGA. Durant ces tests, des échecs dûs à des données non conformes au format requis par la fonctionnalité d’importation du SGA sont fréquents.

A la suite d’échec d’importation de données, l’on doit :

  • parcourir des rapports d’erreurs denses et verbeux pour déchiffrer les codes d’erreurs
  • effectuer des vérifications dans les fichiers de données d’importation pour découvrir les causes d’erreurs
  • faire les modifications requises et ré-importer les fichiers de données une autre fois jusquà ce que cela réussisse.

L’extraction des données existantes ainsi que leur traitement afin de les adapter au format de données accepté par le nouveau SGA peut requérir le développement d’une application logicielle sur mesure.

L’extraction et le traitement des données afin de les rendre compatibles peut prendre plusieurs jours, voire plusieurs semaines.

Les délais non prévus peuvent même retarder la date de mise en service du SGA. Cette charge de travail additionnelle non prévue peut compromettre la capacité de mettre en service le SGA dans les délais prévus.

Solution d’Artifact:

L’Application de transformation des données (ATD), d’Artifact, est une application logicielle qui se positionne dans le circuit de production entre deux ou plusieurs systèmes d’information (ex.: des fichiers de données structurées dans une base de données), et qui peut être configurée pour réaliser des transformations nécessaires afin que les données d’un système puissent convenir aux spécifications d’importation de l’autre système.

L’ATD utilise des modules d’extension « plug-in » pour accepter des données, les transformer selon des spécifications, valider les données obtenues et générer des fichiers de données valides.

Elle peut utiliser n’importe quelle combinaison d’extensions afin de réaliser differents types de manipulation de données.

L’ATD peut être utilisée pour prendre des données provenant de plusieurs sources, effectuer des transformations sur ces données, appliquer des règles de validation sur les données transformées et générer des données valides dans le format désiré.

Par exemple, l’ADT peut être utilisée pour lire l’information d’un système de gestion des ressources humaines concernant le personnel, lire les données relatives aux organisations, types d’emplois et lieux à partir de chiffriers électroniques, convertir les titres d’emplois en types d’emplois, valider les quatre fichiers résultat et les générer dans un format convenant à un SGA.

Fonctionnalités de l’ATD

Flux de travail multi-niveaux

L’ATD est une application qui manipule des données par phases en utilisant une ou plusieurs extensions à chacune des phases. Les extensions peuvent être utilisées aussi souvent que nécessaire. La configuration d’une extension peut être modifiée afin qu’elle puisse performer de façon légèrement différente à chaque fois.

ADTransformOverviewFrancais

Processus d’opération de l’ATD

Phases et descriptions (exemples)

  1. Pré-traitement : paramètres par défaut, collecte des fichiers des bases de données, prépare les fichiers et les répertoires
  2. Intrant : acquisition des données brutes et conversion en des fichiers d’importation de données
  3. Transformation : application des règles de transformation
  4. Validation : validation des fichiers de données transformées
  5. Extrant : production des fichiers de données transformées et validées dans les formats requis
  6. Post-traitement : acheminement des fichiers produits aux bases de données, mise-à-jour des répertoires et fichiers, préparation des rapports d’exception, rapports d’audit, envoi des résultats par courriel

Les extensions sont configurées à l’extérieur du code de l’application par souci de facilité d’utilisation et de robustesse. Cela permet aussi que des extensions sur mesure puissent être ajoutées à l’ATD sans requérir de modifications au code existant.

Types de données d’intrant et d’extrant

L’ATD peut être be configurée pour exploiter plusieurs extensions simultanément durant chaque phase.

L’intrant et l’extrant utilisent des extensions qui leurs sont spécifiques, cela permet des configurations indépendantes selons les sources et/ou les destinations des données :

  • Peut lire et écrire dans différents types de fichiers: chiffriers Excel, CSV, XML, etc.
  • Accès direct à des bases de données : SQL, etc.
  • Des services Web et/ou des interfaces API peuvent être utilisés pour recueillir et/ou écrire les données.
  • La documentation de l’interface API est fournit pour que vous puissiez élaborer de nouvelles extensions qui ne seraient pas inclues initialement.
  • N’importe quelle combinaison de sources et de destinations des données décritent ci-dessus peuvent être configurées.
ADTransformConnecteurs

Schéma synoptique du flux des données

Valeur ajoutée

L’ATD est une application très polyvalente et facilement configurable qui permet de satisfaire les besoins les plus complexes de transformation de données.

L’ATD s’avère un mécanisme de validation supérieur aux systèmes d’importation de données qui fréquemment génèrent des messages d’erreurs qui sont très difficiles, voire impossibles à interpréter.

Par exemple, si l’ATD découvre une donnée redondante, le rapport d’erreurs indiquera lesquelles des deux rangées contiennent des données redondantes au lieu de ne révéler que ce message « invalid duplicate key found » ou « transaction aborted ».

L’ATD peut chercher dans des tables de données pour transformer des titres de postes (titres sur carte d’affaires) en types de postes (étiquettes plus appropriées à des fins de gestion de la formation), ou pour convertir des codes de postes budgétaires en lieux ou en des types d’organisations plus appropriés pour la gestion de la formation.

L’ATD génère un fichier de suivi (« audit trail ») de toutes les activités.

Rapports: En utilisant le logiciel libre de génération de rapports (Jasper Reports), l’ATD peut générer des rapports sur les données traitées et peut les acheminer en format PDF par courriel.

Ceci peut éliminer plusieurs maux de tête (aussi bien que temps et argent) pendant l’implantation lorsque les données du système d’information des ressources humaines (SIRH) peuvent être précises concernant la rémunération d’un employé, mais imprécises sur d’autres données d’intérêt pour un SGA (par example: relève de gestionnaire X).

Scénarios d’utilisation

La manipulation de données s’avère utile dans plusieurs cas.

Des scénarios d’utilisation surviennent dans Learning Management. as well as logging and reporting of Call Details for PBX systems.

Vous pouvez trouver d’autres scénarios d’utilisation sur cette page General ADT Use Case section.

Disponibilité

Version actuelle: Version 2.0.

Cette version inclue un manuel d’utilisation pour administrateurs de système qui détaille l’information requise pour installer et exécuter l’ATD.

Des applications pré-configurées d’ATDsont aussi offertes par Artifact afin de simplifier l’implantation dans certains cas.

En résumé

L’ATD:

  • élimine le recours à la création d »un programme informatique sur mesure ou au développement d’une procédure complexe d’extraction de données ;
  • offre des fonctionnalités supérieures de transformation et de validation ;
  • peut être configurée sans programmation et peut être enrichie en créant des extensions sur mesure en utilisant des fichiers de configuration.

Une version d’évaluation de l’ATD est disponible pour téléchargement.

L’ATD est offerte gratuitement aux clients d’Artifact.

La personnalisation des plugiciels afin d’y intégrer des données existantes est un projet facturable.