Services de Middleware: la cartographie des données et de la transformation
Cette figure montre un environnement dans lequel les données sont extraites de trois sources de données différentes pour inclusion dans un entrepôt de données, et chacune des trois sources est sur une plateforme différente. À un certain moment dans le processus de middleware, ces extraits QA'd doivent être réunis pour un processus de cartographie et de transformation combiné.
Le service de cartographie et de transformation gère les problèmes d'entreposage de données classiques. Supposons que une source de données stocke les clients à l'aide d'un client ID cinq de caractères, et une autre source utilise un identificateur de client numérique à six chiffres.
Pour permettre des comparaisons et d'autres traitements de l'entrepôt de données, vous avez besoin d'une méthode commune de l'identification du client: Un des systèmes d'identification doivent être convertis à l'autre, ou peut-être un troisième système d'identification, neutre, en fonction des caractéristiques de l'environnement.
En plus de traiter les incompatibilités inter-système, transformations supplémentaires peuvent comprendre
Résumé des données: Un résumé peut être effectuée plus tôt dans le processus, avant que le mouvement inter-systèmes, en fonction des particularités de votre environnement spécifique d'entreposage de données.
Inclusion sélective des données: Vous pourriez inclure les enregistrements d'une seule source de données, par exemple, si vous obtenez un dossier comparable d'un autre extrait. Vous ne savez pas, jusqu'à ce que vous converger toutes les contributions de la source de données, comment les règles d'inclusion sélectifs sont appliqués.
La convergence des données: Certains éléments provenant d'une source de données sont combinées avec des éléments d'une autre source pour créer un enregistrement unifié pour chaque client, produit, contrat, ou quel que soit le type de données que vous avez affaire.
Le point principal à retenir sur le service de cartographie et de transformation est que vous devriez avoir, à sa conclusion, un ensemble unifié de données qui est prêt à charger dans l'entrepôt de données - dès que vous avez terminé quelques pas de plus.
Dans les environnements d'entreposage de données complexes, vous pourriez envisager de multiples processus de transformation. Comme le montre cette figure, par exemple, des extraits de données convergent à plusieurs niveaux de la transformation avant de se déplacer plus loin sur le pipeline de middleware, vous permettant d'appliquer plus de puissance pour le processus de transformation en utilisant de multiples serveurs au début de l'écoulement.
-
Hadoop comme un moteur de prétraitement des données -
EII services supplémentaires pour l'entreposage de données -
Analyse des données Big et l'entrepôt de données -
L'extraction des données, le mouvement, et le chargement de l'entrepôt de données suprême -
L'extraction des données, le mouvement, et le chargement de l'entrepôt de données luxe -
Marts de données provenant d'un entrepôt de données
Les sources de données et des outils de business intelligence pour entrepôt de données suprême En raison de la vaste gamme de domaines dans un entrepôt de données suprême, il a de nombreuses sources de données. Les bonnes nouvelles: Parce que beaucoup de sources externes à votre propre environnement d'entreposage, vous n'êtes pas…
L'entreposage de données: une définition de travail Alors, qu'est-ce qu'un entrepôt de données? Dans un sens littéral, il est correctement décrite par les définitions spécifiques des deux mots qui composent le terme:Données: Faits et informations sur quelque choseEntrepôt: Un emplacement ou…
Entrepôt de données: flux de données source Un entrepôt de données est, par sa nature même, un magasin physique de données distribuée. Répartition de vos actifs informationnels aide à la performance et la convivialité entre les systèmes et dans toute l'entreprise. Faire ce niveau de…
L'entreposage de données: magasin de données opérationnelles (ODS) Certaines définitions d'un ODS faire sonner comme un entrepôt de données classique, avec périodique (batch) entrées provenant de diverses sources opérationnelles dans l'ODS, à l'exception que les nouvelles entrées écrasent les données…
L'entreposage de données: l'ODS définies Voici une définition de travail de un ODS (il est longue): un environnement informationnel et analytique qui reflète à tout moment l'état de fonctionnement actuel de son objet, même si les données qui fait que l'état opérationnel est géré…
Des services d'intégration de l'information de l'entreprise Vers 1995, les fournisseurs ont commencé à positionner leur logiciel comme outils d'entreposage de données virtuelles. La prémisse fondamentale était que, parfois, il n'a tout simplement pas de sens pour copier et manipuler un tas de données,…
La gestion des données de base (mdm) Au cours des dernières années, les systèmes de rétroaction ODS-style définies dans un but précis - les données de référence - ont émergé. Tous les systèmes sont emballées avec des données de référence. Ces données peuvent inclure…
Services de middleware: mouvement de données et le chargement de données Dans la plupart des situations, les deux services de middleware - la sélection et de l'extraction, et l'assurance qualité - se déroulent sur le même plate-forme (système) sur lequel la source de données réside. Si votre entrepôt de données…
Middleware pour l'entreposage de données Middleware est un logiciel d'ordinateur qui se connecte les composants logiciels. Dans un environnement d'entreposage de données, les services de middleware sont l'ensemble des programmes et des routines qui font ce qui suit:Extraire des données…
Services de middleware: l'assurance de la qualité des données Vous devez établir deux services différents d'assurance de la qualité (AQ) dans le flux des services de middleware. Vous devez effectuer les premières tâches d'AQ contre l'extrait de la source de données avant d'effectuer des services plus…
Services de middleware: sélection de données et extractions Le but principal de la sélection de données et un service de -extraction est de sélectionner à partir de (retrouver dans) une source de données les données que vous souhaitez déplacer dans l'entrepôt de données, puis extrait (retirer) que…
Services de réplication pour l'entreposage de données Services de middleware de réplication combinent la sélection et de l'extraction, le mouvement, et le chargement d'une base de données à un ou plusieurs autres, généralement gérés par un produit de SGBD unique. (La base de données de source…
Si vous utilisez des outils ou du code personnalisé? Dans les premiers jours de l'entreposage de données, la plupart des organisations gérées par les services de middleware codage personnalisé, plutôt que les quelques outils disponibles à l'époque, comme le montre cet exemple:Une organisation…
Six fournisseurs avec des produits de middleware pour l'entreposage de données Il ya plusieurs fournisseurs qui offrent en stockage de données produits middleware vous voudrez peut-être jeter un oeil à. Voici sept qui sont à considérer.Composite SoftwareComposite Software fournit Enterprise Information Integration (IIE)…