Couche 2 de la grosse pile de données: bases de données opérationnelles
À la base de tout grand environnement de données, et la couche 2 de la grande pile de données, sont les moteurs de base de données contenant les collections d'éléments pertinents pour votre entreprise de données. Ces moteurs doivent être rapides, évolutive et solide comme le roc. Ils ne sont pas tous créés égaux, et certains environnements grands de données obtiendront de meilleurs résultats avec un moteur à l'autre, ou plus probablement avec un mélange de moteurs de base de données.
Par exemple, bien qu'il soit possible d'utiliser des systèmes de gestion de base de données relationnelles (SGBDR) pour toutes vos grandes implémentations de données, il est pas possible de le faire en raison de la performance, de l'échelle, ou même coût. Un certain nombre de technologies de bases de données différentes sont disponibles, et vous devez prendre soin de choisir judicieusement.
Pas le choix unique droit existe en matière de langues de base de données. Bien que SQL est le langage de requête de base de données la plus répandue en usage aujourd'hui, d'autres langues peuvent fournir un moyen plus efficace ou plus efficace de résoudre vos grands défis de données. Il est utile de penser à les moteurs et les langues comme outils dans un “ la boîte à outils exécutant ”. Votre travail est de choisir le bon outil.
Par exemple, si vous utilisez un modèle relationnel, vous devrez probablement utiliser SQL pour interroger. Cependant, vous pouvez également utiliser les langues alternatives comme Python ou Java. Il est très important de comprendre quels types de données peuvent être manipulées par la base de données et si elle soutient vrai comportement transactionnel. Les concepteurs de bases décrivent ce comportement avec l'acronyme ACID. Ça signifie
Atomicité: Une transaction est “ tout ou rien ” quand il est atomique. Si une partie de la transaction ou du système sous-jacent tombe en panne, l'ensemble de la transaction échoue.
Cohérence: Seules les transactions avec des données valides seront effectuées sur la base de données. Si les données est corrompue ou incorrecte, la transaction ne sera pas terminée et les données ne seront pas écrites dans la base de données.
Isolation: Plusieurs opérations simultanées, ne pas interférer avec l'autre. Toutes les transactions valides exécuter jusqu'à leur achèvement et dans l'ordre elles ont été soumises pour le traitement.
Durabilité: Après les données de la transaction est écrite dans la base de données, il y reste “ jamais ”.
Moteur Query Language MapReduce Types de données Transactions Exemples Relationnel SQL, Python, C Non Typé ACIDE PostgreSQL, Oracle, DB / 2 Colonnes Rubis Hadoop Prédéfini et typé Oui, si elle est activée HBase Graphique Marcher, Recherche, Cypher Non Untyped ACIDE Neo4j Document Commandes javascript Typé Non MongoDB, CouchDB Valeur-clé Lucene, les commandes javascript BLOB, semityped Non Riak, Redis
Après vous comprenez vos besoins et comprendre ce que les données que vous recueillez, où le mettre, et ce qu'il faut faire avec elle, vous avez besoin d'organiser de sorte qu'il peut être consommé pour l'analyse, le reporting, ou des applications spécifiques.
Comment traiter avec des valeurs en double dans vos données Les données sont stockées de différentes façons dans différents systèmes. Il est donc pas surprenant que lors de la collecte et la consolidation des données provenant de diverses sources, il est possible que les doublons pop up. En…
Notions de base de grande infrastructure de données Big données est tout au sujet de vitesse élevée, de grands volumes et grande variété de données, de sorte que l'infrastructure physique va littéralement "faire ou défaire" la mise en œuvre. La plupart des implémentations grands de données…
Big data et polyglotte persistance Le terme est emprunté polyglotte et redéfini pour les grandes données comme un ensemble d'applications qui utilisent plusieurs technologies de base de données de base, et ceci est le résultat le plus probable de votre planification de la mise…
Entrepôt de données: flux de données source Un entrepôt de données est, par sa nature même, un magasin physique de données distribuée. Répartition de vos actifs informationnels aide à la performance et la convivialité entre les systèmes et dans toute l'entreprise. Faire ce niveau de…
Couche 3 de la grosse pile de données: l'organisation des services et des outils de données L'organisation des services de données et des outils, couche 3 de la grosse pile de données, la capture, valider et assembler différents éléments de données dans de grandes collections contextuellement pertinents. Parce que Big Data est…
Bases de données multidimensionnelles Cela ne veut pas la première fois dans l'histoire récente de nouveaux types de produits de base de données ont émergé et de surmonter les inefficiences du SGBDR. Retour dans les années 1980, une classe d'applications a été identifié dans…
Bases de données non relationnelles dans un environnement grand de données Bases de données non relationnelles ne reposent pas sur la table / modèle clé endémique de SGBDR (systèmes de gestion de base de données relationnelle). En bref, les données de spécialité dans le grand monde de données exige de la…
Services de réplication pour l'entreposage de données Services de middleware de réplication combinent la sélection et de l'extraction, le mouvement, et le chargement d'une base de données à un ou plusieurs autres, généralement gérés par un produit de SGBD unique. (La base de données de source…
L'avenir des entrepôts de données à l'époque grand de données Le marché de l'entrepôt de données a en effet commencé à changer et à évoluer avec l'avènement de grands volumes de données. Dans le passé, il était tout simplement pas rentable pour les entreprises de stocker la quantité massive de…
La structure de base de données et mysql MySQL est un système de gestion de bases de données relationnelles (SGBDR). Votre serveur MySQL peut gérer plusieurs bases de données en même temps. En fait, beaucoup de gens pourraient avoir différentes bases de données gérées par un seul…
Les éléments clés du serveur Microsoft SQL Le produit Microsoft SQL Server se compose de quatre éléments principaux, trois d'entre eux acronymes sportives. Utilisez cette liste pour identifier les composants de SQL Server et de leur dire à part.Database Engine: Cette partie de SQL Server…
JDBC et Java DB Certains programmeurs Java apprentissage disent. “ On n'a pas besoin de faire des petits personnages mignons volent à travers l'écran. Pas de boutons clignotants pour nous. Nous avons besoin d'accéder à des bases de données. Yup, il suffit…
Création de bases solides en SQL Avec SQL, obtenir la structure d'un droit de base de données est très important si vous voulez être en mesure de tirer des informations précises à partir plus tard. Étonnamment toutefois, de nombreux développeurs de base de données novices…
La restauration de votre base de données Drupal Si jamais vous perdre vos données Drupal et ont pour restaurer votre base de données, ce qui suit vous offrir les étapes de base pour que la restauration. Vous devriez consulter la documentation de votre hébergeur pour des instructions…