La transformation des données dans Hadoop
L'idée de moteurs ETL Hadoop inspiration a gagné beaucoup de traction au cours des dernières années. Après tout, Hadoop est un stockage de données flexible et plate-forme de traitement qui peut supporter d'énormes quantités de données et des opérations sur ces données. Dans le même temps, il est tolérant aux pannes, et il offre la possibilité de capital et logiciels réductions de coûts.
Malgré la popularité de Hadoop comme un moteur ETL, cependant, beaucoup de gens (y compris un cabinet d'analystes célèbre) ne recommandent pas Hadoop comme la seule pièce de la technologie pour votre stratégie de ETL. Ceci est largement dû développer des flux ETL nécessite beaucoup d'expertise à propos de la base de données des systèmes existants de votre organisation, la nature de la donnée elle-même, ainsi que les rapports et les applications qui en dépendent.
En d'autres termes, les DBA, les développeurs et les architectes dans votre département IT auraient besoin de se familiariser assez avec Hadoop pour mettre en œuvre les flux ETL nécessaires. Par exemple, beaucoup de codage manuel intensif avec Pig, ruche, ou même MapReduce peut être nécessaire de créer même le plus simple des flux de données - qui met votre entreprise sur le crochet pour ces compétences si elle suit cette voie.
Vous devez coder des éléments tels que le débogage parallèle, les services de gestion des applications (telles que l'enregistrement de pointage et de l'erreur et la gestion des événements). En outre, tenir compte des exigences de l'entreprise tels que glossarization et être capable de montrer la lignée de vos données.
Il ya des exigences réglementaires pour les rapports standard nombre de l'industrie, où la lignée de données est besoin- l'organisation de l'information doivent être en mesure de montrer où les points de données dans le rapport proviennent, comment les données ont de vous, et ce qui a été fait pour les données.
Même pour les systèmes de bases de données relationnelles, ETL est suffisamment complexe qu'il existe des produits spécialisés populaires qui fournissent des interfaces pour gérer et développer les flux ETL. Certains de ces produits outil est MAINTENANT en ETL basée à Hadoop et d'autres développement basé sur Hadoop. Toutefois, en fonction de vos besoins, vous pouvez avoir besoin d'écrire une partie de votre propre code pour soutenir votre logique de transformation.
Hadoop comme un moteur de prétraitement des données Un des premiers cas d'utilisation de Hadoop dans l'entreprise était comme un moteur de transformation programmatique utilisé pour prétraiter les données à destination d'un entrepôt de données. Essentiellement, ce cas d'utilisation exploite la…
Hadoop Sqoop pour Big Data Sqoop (SQL-à-Hadoop) est un outil grand de données qui offre la possibilité d'extraire des données à partir des données magasins non Hadoop, transformer les données en une forme utilisable par Hadoop, puis charger les données dans HDFS. Ce…
Comment choisir une architecture de cluster hadoop Hadoop est conçu pour être déployé sur une grande grappe d'ordinateurs en réseau, avec des nœuds maîtres (qui accueillent les services qui contrôlent le stockage et le traitement de Hadoop) et nœuds esclaves (où les données sont stockées…
Ibm grande sql et Hadoop IBM a une longue histoire de collaboration avec SQL et de la technologie de base de données. En accord avec cette histoire, la solution d'IBM pour SQL sur Hadoop exploite des composants de ses technologies de base de données relationnelles qui…
Modes locaux et distribués de l'exécution de scripts de porcs dans Hadoop Avant vous pouvez exécuter votre premier script de cochon dans Hadoop, vous devez avoir une poignée sur la façon dont les programmes de porc peuvent être fournis avec le serveur de porc.Pig dispose de deux modes pour l'exécution de scripts:Mode…
Gestion des données de grandes avec Hadoop HDFS et MapReduce: Hadoop, un framework logiciel open-source, utilise HDFS (le système de fichiers distribués Hadoop) et MapReduce pour analyser les données de grandes sur des groupes de produits de base sur le matériel qui est, dans un environnement de calcul…
Bases de données de traitement massivement parallèle Pour permettre une meilleure compréhension des alternatives SQL-sur-Hadoop Hive, il pourrait être utile d'examiner une amorce sur le traitement massivement parallèle (MPP) des bases de données en premier.Apache Hive est posée sur le dessus du…
Pig latin dans les programmes de porcs de Hadoop Pig latin est la langue pour les programmes de porc. Pig traduit le script Pig Latin en emplois MapReduce qu'il peut être exécuté dans clusters Hadoop. En venant avec Pig Latin, l'équipe de développement a suivi trois principes clés de la…
Hawq Pivotal et Hadoop En 2010, EMC et VMware, les leaders du marché dans la prestation de l'informatique comme un service via le cloud computing, acquis Greenplum Corporation, les gens qui avaient obtenu gain de cause le produit MPP Greenplum Data Warehouse (DW) sur le…
Applications en temps réel et en streaming dans Hadoop Le flux de processus de fils ressemble beaucoup comme un cadre de l'exécution du lot. Vous pourriez vous demander, “? Qu'est-il arrivé à cette idée de flexibilité pour les différents modes d'applications ” Eh bien, le seul cadre de…
Les applications en cours avant hadoop 2 Parce que de nombreux déploiements Hadoop existants ne sont toujours pas encore à l'aide de Yet Another négociateur des ressources (FIL), de prendre un coup d'oeil à la façon dont Hadoop a réussi son traitement de données avant les jours de…
L'importance de SQL pour Hadoop Il ya des raisons impérieuses que SQL a su résister. L'industrie des TI a eu 40 ans d'expérience avec SQL, car il a d'abord été développé par IBM au début des années 1970. Avec l'augmentation de l'adoption de bases de données…
L'écosystème Hadoop Apache Hadoop est plus que MapReduce et HDFS (Distributed File System Hadoop): Il est également une famille de projets connexes (un écosystème, vraiment) pour le calcul distribué et le traitement de données à grande échelle. La plupart (mais pas…
Couche 3 de la grosse pile de données: l'organisation des services et des outils de données L'organisation des services de données et des outils, couche 3 de la grosse pile de données, la capture, valider et assembler différents éléments de données dans de grandes collections contextuellement pertinents. Parce que Big Data est…