Comment démarrer avec ruche apache
Il n'y a pas de meilleure façon de voir ce qui est ce que l'installation du logiciel ruche et lui donner un essai. Comme avec d'autres technologies dans l'écosystème Hadoop, il ne faut pas longtemps pour commencer.
Si vous avez le temps et la bande passante du réseau, il est toujours préférable de télécharger toute une distribution Hadoop avec toutes les technologies intégrées et prêtes à fonctionner.
Si vous prenez la route pleine de distribution, une approche populaire pour apprendre les tenants et les aboutissants de la ruche est d'exécuter votre distribution Hadoop dans une machine virtuelle Linux (VM) sur un ordinateur portable 64 bits compatible avec suffisamment de RAM. (Huit gigaoctets de RAM ou plus tendance à bien fonctionner si Windows 7 est l'hôte de votre VM.)
Vous avez également besoin de Java 6 ou version ultérieure et - bien sûr - un système d'exploitation pris en charge: Linux, Mac OS X, ou Cygwin, de fournir un shell Linux pour les utilisateurs Windows.
Les étapes de configuration exécuter quelque chose comme ceci:
Télécharger la dernière version de la ruche.
Vous devez également les sous-systèmes Hadoop MapReduce et, alors assurez-vous de terminer l'étape 2.
Télécharger Hadoop version 1.2.1.
En utilisant les commandes dans la liste suivante, placer les rejets dans des répertoires distincts, puis Décompressez eux.
(Décompressez est un de ces termes Unix embêtants qui signifie tout simplement d'étendre un logiciel archivé.)
$ Mkdir hadoop- cp hadoop-1.2.1.tar.gz cd hadoop- hadoop $ gunzip hadoop-1.2.1.tar.gz $ tar xvf * .tar $ mkdir hive- cp ruche 0.11.0.tar.gz ruche - cd ruche $ gunzip ruche 0.11.0.tar.gz $ tar xvf * .tar
En utilisant les commandes dans la liste suivante, configurer vos variables d'environnement Apache Hive, y compris HADOOP_HOME, JAVA_HOME, HIVE_HOME et PATH, dans votre script de profil de shell.
l'exportation HADOOP_HOME = / home / user / ruche / Hadoop / Hadoop-1.2.1export JAVA_HOME = / opt / jdkexport HIVE_HOME = / home / user / ruche / ruche 0.11.0export PATH = $ HADOOP_HOME / bin: $ HIVE_HOME / bin: $ JAVA_HOME / bin: $ PATH
Créer le fichier de configuration ruche que vous utilisez pour définir les paramètres de configuration spécifiques ruche.
La distribution Apache Hive comprend un fichier de configuration de modèle qui fournit tous les paramètres par défaut de la ruche. Pour personnaliser la ruche pour votre environnement, tout ce que vous devez faire est de copier le fichier de modèle dans le fichier nommé ruche-site.xml et le modifier.
En utilisant votre éditeur favori, modifiez le fichier ruche-site.xml de sorte qu'il ne comprend que le “ hive.metastore.warehouse.dir ” propriété pour le moment. Lorsque vous avez terminé, il va ressembler le fichier XML ci-dessous. Notez que les commentaires ont été supprimés pour raccourcir la liste:
$ Cd $ HIVE_HOME / conf $ cp ruche default.xml.template ruche site.xmllt;? Xml version = "1.0"> lt;? Xml-stylesheet type = "text / xsl" href = "configuration.xsl" ?>
Importation de données dans la ruche avec Sqoop Ici, vous importez la totalité de la base de données directement à partir de l'ordre de service MySQL dans la ruche et exécutez une requête HiveQL contre la base de données nouvellement importée sur Hadoop. La liste suivante vous montre…
Caractéristiques de hiveql clés La communauté Apache Hive vivante et active en permanence ajouters déjà à un vaste ensemble de fonctionnalités, ce qui rend la couverture exhaustive encore plus difficile. La liste qui suit résume quelques caractéristiques principales HiveQL…
Gestion des fichiers avec les commandes du système de fichiers Hadoop HDFS est l'une des deux principales composantes de l'Hadoop Structures à l'autre est le paradigme de calcul connu comme MapReduce. UN système de fichiers distribué est un système de fichier qui gère le stockage dans un cluster en réseau des…
Hawq Pivotal et Hadoop En 2010, EMC et VMware, les leaders du marché dans la prestation de l'informatique comme un service via le cloud computing, acquis Greenplum Corporation, les gens qui avaient obtenu gain de cause le produit MPP Greenplum Data Warehouse (DW) sur le…
Mettre en place l'environnement de Hadoop avec bigtop apache Si vous êtes à l'aise de travailler avec VM et Linux, vous pouvez installer Bigtop sur un autre VM que ce qui est recommandé. Si vous êtes vraiment audacieux et avoir le matériel, allez-y et essayez d'installer Bigtop sur un cluster de machines…
Access SQL et ruche apache Apache Hive est incontestablement interface d'interrogation de données la plus répandue dans la communauté Hadoop. À l'origine, les objectifs de conception pour la ruche étaient pas pour assurer la compatibilité de SQL complète et de haute…
Ecureuil client comme ruche avec le pilote JDBC SQuirreL SQL est un outil open source qui agit comme un client Hive. Vous pouvez télécharger ce client SQL universelle à partir du site SourceForge. Il fournit une interface utilisateur de ruche et simplifie les tâches de l'interrogation de…
L'architecture de la ruche apache Comme vous examinez les éléments de Apache Hive montrées, vous pouvez voir au bas cette ruche se trouve au sommet du système Hadoop Distributed File (HDFS) et les systèmes de MapReduce.Dans le cas de MapReduce, les figureshows deux composants…
Les données de grandes mines avec ruche Hive est, une couche d'entreposage des données orientée lots construit sur les éléments de base de Hadoop (HDFS et MapReduce) et est très utile dans les grandes données. Il fournit aux utilisateurs qui connaissent SQL avec une mise en œuvre…
Choisir le meilleur plan pour construire la ruche Quand vous avez beaucoup de renforcement ruche envisage de choisir, comment décidez-vous qui est le mieux à vos besoins? Côté esthétique, plusieurs facteurs devraient influencer votre décision. L'un a trait à vos talents de menuisier, et…
Comment construire une position élevée ruche Un stand ruche élevée est exactement ce que cela ressemble: un élément que vous utilisez pour maintenir une ruche sur le sol. Beaucoup d'apiculteurs mettent tous leurs ruches sur ce type de support.La figure montre les plans pour vous aider à…
Comment établir une ruche noyau Une ruche de noyau (souvent appelé un nuc) Est créé en stockant une ruche miniature spéciale avec quelques cadres d'abeilles et le couvain de l'un de vos colonies. Pourquoi créer un nuc? Certaines des raisons sont les suivantes:Un nuc peut…
Comment présenter votre abeille essaim à une nouvelle ruche Si vos abeilles essaiment et vous pouvez voir où ils ont atterri, vous pouvez les capturer et de commencer une nouvelle ruche. Vous pouvez même être assez chanceux pour obtenir un appel d'un ami ou un voisin qui a repéré un essaim sauvage dans…
Inspections de routine de la ruche Les mécaniciens de l'apiculture de routine seront habitude plus vous visitez la ruche. Recherchez ces choses spécifiques et suivre ces procédures tout en inspectant vos abeilles et leur ruche:Observer l “ les allées et venues ” des…