Sqoop exportations en utilisant l'approche d'insertion et de mise à jour mise à jour
Avec le mode d'insertion, les dossiers exportés par Sqoop sont ajoutés à la fin de la table cible. Sqoop fournit également un mode de mise à jour que vous pouvez utiliser en fournissant le --update-clé commande argument de ligne. Cette action provoque Sqoop pour générer un SQL METTRE À JOUR instruction à exécuter sur le SGBDR ou entrepôt de données.
Supposons que vous voulez mettre à jour un tableau de trois colonnes avec des données stockées dans le fichier HDFS / user / mes-HDFS fichier. Le fichier contient les données suivantes:
100, 1000, 2000
La commande d'exportation Sqoop abrégée suivante génère le code SQL correspondant METTRE À JOUR déclaration sur votre système de base de données:
$ Sqoop exportation (Arguments génériques) - Table cible relationnelle table - update-clé column1 - export-dir /user/my-hdfs-file...Generates => cible relationnelle table UPDATE SETcolumn2 = 1000 , column3 = 2000WHERE column1 = 100-
Avec la commande d'exportation précédente, si le cible relationnelle table sur votre système SGBDR ou entrepôt de données n'a pas de casier à la valeur correspondante dans column1, rien ne change dans cible relationnelle table.
Cependant, vous pouvez également inclure un autre argument qui insère ou ajoute vos données cible table si aucun enregistrements correspondants sont trouvés. Pense-y de cette façon: Si existe UPDATE autre INSERT.
Cette technique est souvent appelée upsert dans la langue vernaculaire de base de données ou comme FUSION dans d'autres réalisations. L'argument pour le mode de upsert est --mise à jour en mode
Importation de données dans HDFS avec Sqoop Imaginez une base de données relationnelle utilisée par une société de service fictif qui a été pris (vous l'aurez deviné) les appels de service Apache Hadoop et veut maintenant déplacer certains de ses données vers Hadoop pour exécuter…
Importation de données avec Sqoop Prêt à plonger dans l'importation de données avec Sqoop? Commencez par jeter un oeil à la figure, qui illustre les étapes d'une opération typique Sqoop d'importation à partir d'un SGBDR ou un système d'entrepôt de données. Rien de trop…
Connecteurs et pilotes Sqoop Connecteurs Sqoop vont généralement de pair avec un pilote JDBC. Sqoop ne liez pas les pilotes JDBC, car ils sont souvent propriétaires et sous licence par le SGBDR ou DW vendeur. Donc, il ya trois scénarios possibles pour Sqoop, selon le type…
Sqoop 2.0 preview Avec tout le succès entourant Sqoop 1.x sur sa graduation de l'incubateur Apache, Sqoop a lancée! Donc, comme vous vous en doutez, Sqoop 2.0 est dans les travaux avec de nouvelles fonctionnalités intéressantes sur le chemin. Vous pouvez voir que…
L'écosystème Hadoop Apache Hadoop est plus que MapReduce et HDFS (Distributed File System Hadoop): Il est également une famille de projets connexes (un écosystème, vraiment) pour le calcul distribué et le traitement de données à grande échelle. La plupart (mais pas…
L'architecture de la ruche apache Comme vous examinez les éléments de Apache Hive montrées, vous pouvez voir au bas cette ruche se trouve au sommet du système Hadoop Distributed File (HDFS) et les systèmes de MapReduce.Dans le cas de MapReduce, les figureshows deux composants…
Les données de grandes mines avec ruche Hive est, une couche d'entreposage des données orientée lots construit sur les éléments de base de Hadoop (HDFS et MapReduce) et est très utile dans les grandes données. Il fournit aux utilisateurs qui connaissent SQL avec une mise en œuvre…
Conception d'une base de données relationnelle dans l'accès 2,013 Lorsque vous utilisez un programme de base de données comme Access 2013, vous ne pouvez pas commencer à entrer des données. Au lieu de cela, vous devez créer une conception de base de données relationnelle, divisant vos informations dans une ou…
Commandes de mysql sélectionnés MySQL est très utile lors de la construction d'une base de données. Le tableau suivant contient les commandes minimales nécessaires pour créer, remplir et d'interroger une base de données en utilisant MySQL.CommandeDiscussionUTILISATION…
Accès et adapter une base de données avec des requêtes MySQL PHP communique avec bases de données MySQL en envoyant des requêtes SQL. Voici une liste des requêtes SQL, avec leur syntaxe, que vous pouvez utiliser pour accéder, de visualiser, et de modifier la base de données:ALTER TABLE le changement de…
Requêtes mysql commune Pour faire une demande que MySQL ne peut comprendre, vous construisez une instruction SQL et de l'envoyer au serveur MySQL. Les mots en gras dans le tableau sont les noms de requête MySQL:DéclarationDescriptionALTER TABLE tablechangeApporte des…
Comment mettre à jour des vues SQL Après avoir créé une table SQL, cette table est automatiquement capable d'insertions de logement, les mises à jour et les suppressions. Vues ne présentent pas nécessairement le même capacité. Si vous mettez à jour une vue, vous êtes en…
Comment mettre à jour vos données SQL existantes Parce que le monde est en constante évolution, les bases de données SQL utilisées pour modéliser les aspects du monde doivent également changer. Un client peut modifier son adresse. La quantité d'un produit en stock peut changer. Les…
Courir update.php Drupal Chaque fois que vous mettez à niveau un module - ou (d'ailleurs) de mettre à jour votre logiciel Drupal - vous devez exécuter un programme appelé update.php. Avant de le faire, cependant, assurez-vous que vous êtes prêt à mettre à jour:…