Services de middleware: sélection de données et extractions
Le but principal de la sélection de données et un service de -extraction est de sélectionner à partir de (retrouver dans) une source de données les données que vous souhaitez déplacer dans l'entrepôt de données, puis extrait (retirer) que les données sous une forme qui peut être préparé pour les services d'assurance de la qualité.
Vous pouvez utiliser l'un des deux types de sélection et d'extraction services pour votre environnement d'entreposage de données différentes:
Get 'em all et trier' em out plus tard: Trouver et extraire tous les éléments de données à une source que vous voulez charger dans votre entrepôt de données, indépendamment de savoir si un élément spécifique a été extrait auparavant.
Orientée vers le changement: Trouver et extraire uniquement les éléments de données qui ont été récemment ajoutés soit à la source de données ou mises à jour depuis la dernière extraction.
Le premier type de service exige moins une logique complexe pour effectuer l'extraction. Mais vous avez à traiter avec des volumes plus importants (parfois, beaucoup plus grands volumes de données) que le second type, le service axé sur le changement.
La méthode de sélection et d'extraction orientée vers le changement est assez simple lorsque votre source est une base de données relationnelle qui a un timbre de fois que vous pouvez utiliser pour détecter le moment où une ligne de données a été ajouté ou mis à jour.
Vous pouvez comparer une ligne de données contre la date et l'heure du dernier processus d'extraction afin de déterminer si les données doivent être sélectionné et extrait. Mais quand les données sont stockées dans un fichier qui ne dispose pas d'un marqueur temporel (un fichier VSAM, par exemple), ce processus peut être beaucoup plus difficile.
Vous pourriez aussi faire face à un défi lorsque les données source a été supprimé à partir d'un fichier ou une base de données. Si les règles d'affaires pour votre entreposage de données environnement appel à la suppression des données correspondantes de l'entrepôt, vous devez disposer d'un moyen de détecter les suppressions qui ont été faites depuis le dernier processus d'extraction pour assurer que les suppressions appropriées soient faites dans votre entrepôt.
Le résultat de la sélection et de l'extraction est, ainsi, un extrait des données qui est prêt à subir un traitement supplémentaire: vérifier la qualité des données.
-
EII services supplémentaires pour l'entreposage de données -
Analyse des données Big et l'entrepôt de données -
L'extraction des données, le mouvement, et le chargement de l'entrepôt de données suprême -
L'extraction des données, le mouvement, et le chargement de l'entrepôt de données luxe -
Marts de données provenant d'un entrepôt de données -
Les sources de données et des outils de business intelligence pour entrepôt de données suprême
Entrepôt de données: flux de données source Un entrepôt de données est, par sa nature même, un magasin physique de données distribuée. Répartition de vos actifs informationnels aide à la performance et la convivialité entre les systèmes et dans toute l'entreprise. Faire ce niveau de…
L'entreposage de données: magasin de données opérationnelles (ODS) Certaines définitions d'un ODS faire sonner comme un entrepôt de données classique, avec périodique (batch) entrées provenant de diverses sources opérationnelles dans l'ODS, à l'exception que les nouvelles entrées écrasent les données…
L'entreposage de données: l'ODS définies Voici une définition de travail de un ODS (il est longue): un environnement informationnel et analytique qui reflète à tout moment l'état de fonctionnement actuel de son objet, même si les données qui fait que l'état opérationnel est géré…
L'entreposage de données: ce qui est un atout de données? UN entrepôt de données est une maison pour vos données de grande valeur, ou actifs de données, qui provient d'autres applications de l'entreprise, tels que celui de votre entreprise utilise pour remplir les commandes des clients pour ses…
Les décisions concernant les données existantes de votre société Lorsque vous commencez à planifier une solution d'entrepôt de données pour votre entreprise, vous aurez envie de dénicher un inventaire complet des fichiers d'extraction qui remplissent le rôle de la préhistoire de l'entrepôt de données,…
Votre entreprise at-structures de données existantes? Votre organisation a une cote extrêmement favorable d'avoir au moins un tri de l'entrepôt de données - un système de reporting qui fournit des capacités d'information et, parfois, des capacités d'analyse à un ou plusieurs groupes…
Comment faire pour déterminer la taille de votre entrepôt de données Une idée fausse commune que les amateurs de l'entrepôt de données de nombreux détiennent est que la seule bonne entrepôt de données est un grand entrepôt de données -un énormément grand entrepôt de données. Beaucoup de gens prennent…
Comment fabriquer actifs de données UN entrepôt de données est une maison pour vos données de grande valeur, ou actifs de données. La plupart des organisations à construire un entrepôt de données pour les actifs de données fabriqués d'une manière relativement simple,…
Services de middleware: mouvement de données et le chargement de données Dans la plupart des situations, les deux services de middleware - la sélection et de l'extraction, et l'assurance qualité - se déroulent sur le même plate-forme (système) sur lequel la source de données réside. Si votre entrepôt de données…
Middleware pour l'entreposage de données Middleware est un logiciel d'ordinateur qui se connecte les composants logiciels. Dans un environnement d'entreposage de données, les services de middleware sont l'ensemble des programmes et des routines qui font ce qui suit:Extraire des données…
Services de Middleware: la cartographie des données et de la transformation Cette figure montre un environnement dans lequel les données sont extraites de trois sources de données différentes pour inclusion dans un entrepôt de données, et chacune des trois sources est sur une plateforme différente. À un certain…
Services de réplication pour l'entreposage de données Services de middleware de réplication combinent la sélection et de l'extraction, le mouvement, et le chargement d'une base de données à un ou plusieurs autres, généralement gérés par un produit de SGBD unique. (La base de données de source…
Si vous utilisez des outils ou du code personnalisé? Dans les premiers jours de l'entreposage de données, la plupart des organisations gérées par les services de middleware codage personnalisé, plutôt que les quelques outils disponibles à l'époque, comme le montre cet exemple:Une organisation…
L'avenir des entrepôts de données à l'époque grand de données Le marché de l'entrepôt de données a en effet commencé à changer et à évoluer avec l'avènement de grands volumes de données. Dans le passé, il était tout simplement pas rentable pour les entreprises de stocker la quantité massive de…