La modernisation de l'entrepôt de données avec Hadoop
Les entrepôts de données sont maintenant en situation de stress, en essayant de faire face à une demande accrue de leurs ressources limitées. Hadoop peut apporter un soulagement significatif dans cette situation d'entrepôt de données.
L'augmentation rapide de la quantité de données générées dans le monde a également des entrepôts de données concernées parce que les volumes de données qu'ils gèrent sont en augmentation - en partie parce que plus structuré données, le type de données qui est fortement typé et fendu en lignes et colonnes - est générée, mais aussi parce que vous avez souvent à faire face aux exigences réglementaires visant à maintenir queryable accès aux données historiques.
En outre, la puissance de traitement dans les entrepôts de données est souvent utilisé pour effectuer des transformations de données relationnelles comme il soit entre l'entrepôt lui-même ou est chargé dans un données enfant mart (un sous-ensemble séparé de l'entrepôt de données) pour une application d'analyse spécifique.
En outre, la nécessité est en augmentation pour les analystes d'émettre de nouvelles requêtes sur les données structurées stockées dans les entrepôts, et ces requêtes ad hoc peut souvent utiliser les ressources de traitement significatif de données. Parfois, un rapport d'une heure peut suffire, et parfois une analyse exploratoire est nécessaire de trouver des questions qui ne sont pas encore été posées que peut donner une valeur commerciale significative.
La ligne de fond est que les entrepôts de données sont souvent utilisés à des fins au-delà de leur design original.
La figure montre, utilisant une architecture de haut niveau, comment Hadoop peut vivre à côté des entrepôts de données et de réaliser certains des objectifs qu'ils ne sont pas conçus pour.
Hadoop est un entrepôt helper, pas un remplacement de l'entrepôt. Hadoop peut moderniser un écosystème d'entreposage de données dans quatre façons-là, ils sont en résumé:
Fournir une zone d'atterrissage pour toutes les données.
Persister les données pour fournir une archive interrogeable des données froides.
À grande échelle le traitement par lots des efficacités de levier Hadoop pour prétraiter et transformer des données de l'entrepôt.
Activer un environnement propice à la découverte de données ad hoc.
-
Intégrer les grandes données avec l'entrepôt de données traditionnelle -
L'entreposage de données pour les nuls -
Les facteurs qui augmentent l'échelle d'analyse statistique dans Hadoop - Hadoop et ruche
-
Hadoop comme un moteur de prétraitement des données - Hadoop comme une archive interrogeable des données de l'entrepôt froid
Hadoop comme une destination de données d'archives Le coût peu onéreux de stockage pour Hadoop plus la possibilité d'interroger les données Hadoop Hadoop avec SQL rend la destination de choix pour les données d'archives. Ce cas d'utilisation a un faible impact sur votre organisation parce que…
Pig latin dans les programmes de porcs de Hadoop Pig latin est la langue pour les programmes de porc. Pig traduit le script Pig Latin en emplois MapReduce qu'il peut être exécuté dans clusters Hadoop. En venant avec Pig Latin, l'équipe de développement a suivi trois principes clés de la…
L'importance de SQL pour Hadoop Il ya des raisons impérieuses que SQL a su résister. L'industrie des TI a eu 40 ans d'expérience avec SQL, car il a d'abord été développé par IBM au début des années 1970. Avec l'augmentation de l'adoption de bases de données…
L'écosystème Hadoop Apache Hadoop est plus que MapReduce et HDFS (Distributed File System Hadoop): Il est également une famille de projets connexes (un écosystème, vraiment) pour le calcul distribué et le traitement de données à grande échelle. La plupart (mais pas…
La zone d'atterrissage sur la base Hadoop- Lorsque vous essayez de déchiffrer ce que l'environnement de l'analyse pourrait ressembler à l'avenir, vous tomberez sur le modèle du temps et le temps basé sur Hadoop zone d'atterrissage à nouveau. En fait, il est même plus une discussion à…
Analyse des données Big et l'entrepôt de données Vous trouverez la valeur en apportant les capacités de l'entrepôt de données et de l'environnement de données grand ensemble. Vous devez créer un environnement hybride où les grandes données peuvent travailler main dans la main avec…
L'extraction des données, le mouvement, et le chargement de l'entrepôt de données suprême Un entrepôt de données a une distribution de données à grande échelle et de technologies de pointe qui peuvent intégrer diverses “ diriger l'entreprise ” systèmes, l'amélioration de la qualité globale des actifs de données à…
Marts de données provenant d'un entrepôt de données De nombreux experts de l'entreposage de données feraient valoir qu'une véritable data mart est un “ point de vente, n ° 148; et d'un entrepôt de données fournit son contenu, comme le montre cette figure.Dans un environnement comme celui…
Les sources de données et des outils de business intelligence pour entrepôt de données suprême En raison de la vaste gamme de domaines dans un entrepôt de données suprême, il a de nombreuses sources de données. Les bonnes nouvelles: Parce que beaucoup de sources externes à votre propre environnement d'entreposage, vous n'êtes pas…
L'entreposage de données: une définition de travail Alors, qu'est-ce qu'un entrepôt de données? Dans un sens littéral, il est correctement décrite par les définitions spécifiques des deux mots qui composent le terme:Données: Faits et informations sur quelque choseEntrepôt: Un emplacement ou…
Entrepôt de données: flux de données source Un entrepôt de données est, par sa nature même, un magasin physique de données distribuée. Répartition de vos actifs informationnels aide à la performance et la convivialité entre les systèmes et dans toute l'entreprise. Faire ce niveau de…
Comment faire pour déterminer la taille de votre entrepôt de données Une idée fausse commune que les amateurs de l'entrepôt de données de nombreux détiennent est que la seule bonne entrepôt de données est un grand entrepôt de données -un énormément grand entrepôt de données. Beaucoup de gens prennent…
L'évolution des modèles de déploiement dans l'ère Big Data Avec l'avènement de grands volumes de données, les modèles de déploiement pour la gestion des données sont en train de changer. L'entrepôt de données traditionnelle est généralement mis en œuvre sur un seul grand système au sein du centre…
L'avenir des entrepôts de données à l'époque grand de données Le marché de l'entrepôt de données a en effet commencé à changer et à évoluer avec l'avènement de grands volumes de données. Dans le passé, il était tout simplement pas rentable pour les entreprises de stocker la quantité massive de…