Services de middleware: mouvement de données et le chargement de données

Dans la plupart des situations, les deux services de middleware - la sélection et de l'extraction, et l'assurance qualité - se déroulent sur le même plate-forme (système) sur lequel la source de données réside. Si votre entrepôt de données sera hébergé sur une plate-forme différente de celle de la source de données, cependant, vous devez utiliser un service de données mouvement pour effectuer le transfert des données de système à système.

Vous pouvez probablement utiliser un service relativement simple (traitées par un programme de transfert de fichiers simple, par exemple). Le service de déplacement, si vous avez besoin à ce point, se déplace tout simplement les données QA'd dans l'environnement dans lequel vous envisagez de faire des transformations supplémentaires.




Si vous faites votre transformation et au traitement de l'AQ sur une plate-forme qui est différent de la plate-forme sur laquelle vous exécutez votre entrepôt de données de production (sur un serveur de développement, par exemple, plutôt que sur le serveur opérationnel), vous devez exécuter un de plus de données service de mouvement pour obtenir les données à l'endroit où vous voulez qu'il réside finalement. Ce processus implique généralement un transfert de fichier relativement simple.

Le service de chargement de données charge les extrait, QA'd, transformé, et re-QA'd données dans votre entrepôt. Vous pouvez charger des données par l'intermédiaire d'un programme personnalisé, SQL (une instruction INSERT, par exemple), ou d'un utilitaire.

Si vous avez besoin de charger un grand volume de données, essayez d'utiliser un utilitaire à chargement rapide, ce qui implique généralement beaucoup moins de temps que d'une approche programmatique ou basé sur SQL.

Si vous utilisez SQL pour charger vos données dans une base de données relationnelle, essayer de faire le chargement le plus efficace possible en désactivant l'exploitation forestière (si votre produit de SGBD permet). Si le travail de chargement est anormalement terminée, il vous suffit d'utiliser le DROP ou TRUNCATE pour se débarrasser de votre table partiellement chargé, résoudre le problème qui a causé la résiliation, et de redémarrer le travail.

Ce processus est généralement beaucoup plus rapide que si vous allumez les installations nécessaires pour les données OLTP de style et de l'intégrité de la transaction (avec des frais généraux d'accompagnement).


» » » » Services de middleware: mouvement de données et le chargement de données