Mettre en place l'environnement de Hadoop avec bigtop apache

Si vous êtes à l'aise de travailler avec VM et Linux, vous pouvez installer Bigtop sur un autre VM que ce qui est recommandé. Si vous êtes vraiment audacieux et avoir le matériel, allez-y et essayez d'installer Bigtop sur un cluster de machines en mode entièrement distribué!

Sommaire

Etape 1: Téléchargement d'une VM

Hadoop fonctionne sur toutes les distributions Linux populaires, si vous avez besoin d'une machine virtuelle Linux. Il ya une librement disponibles (et légal!) CentOS 6 d'image disponible.

Vous aurez besoin d'un système d'exploitation 64 bits sur votre ordinateur portable afin de lancer cette VM. Hadoop a besoin d'un environnement 64 bits.

Une fois que vous avez téléchargé le VM, l'extraire du fichier ZIP téléchargé dans le répertoire de destination. Ne vous assurer que vous avez autour de 50 Go d'espace disponible que Hadoop et les données des échantillons en auront besoin.

Si vous ne possédez pas déjà un lecteur VM, vous pouvez télécharger un gratuitement.

Après vous avez votre lecteur VM mis en place, ouvrir le lecteur, allez dans Fichier-Ouvrir, puis allez dans le répertoire où vous avez extrait votre VM Linux. Rechercher un fichier appelé et sélectionnez-le. Vous verrez des informations sur le nombre de processeurs et la quantité de mémoire qu'il va utiliser. Découvrez combien la mémoire de votre ordinateur, et d'allouer la moitié pour la machine virtuelle à utiliser. Hadoop a besoin de beaucoup de mémoire.

Une fois que vous êtes prêt, cliquez sur le bouton de lecture, et votre exemple Linux démarre. Vous verrez beaucoup de messages par volent que Linux démarre et vous arriverez à un écran de connexion. Le nom d'utilisateur est déjà réglé “. Tom ” Spécifiez le mot de passe “ TomTom ” et connectez-vous.

Étape 2: Téléchargement Bigtop

De l'intérieur de votre VM Linux, droit; cliquer sur l'écran et sélectionnez Ouvrir dans le Terminal dans le menu contextuel qui apparaît. Cela ouvre un terminal Linux, où vous pouvez exécuter des commandes. Cliquez à l'intérieur du terminal de sorte que vous pouvez voir le curseur clignotant et entrez la commande suivante: su -

Vous serez invité à fournir votre mot de passe, tapez “ TomTom ” comme vous l'avez fait précédemment. Cette commande met à l'utilisateur de racine, qui est le compte principal pour un ordinateur Linux - vous aurez besoin de ce afin d'installer Hadoop.

Avec votre accès root (ne laissez pas le pouvoir arriver à votre tête), exécutez la commande suivante:

wget -O /etc/yum.repos.d/bigtop.repo 
http://apache.org/dist/bigtop/bigtop-
0.7.0 / repos / centos6 / bigtop.repo



La commande est essentiellement une requête web, ce qui demande un fichier spécifique dans l'URL que vous pouvez voir et l'écrit dans un chemin spécifique - dans ce cas, qui est /.

Étape 3: Installation Bigtop

Les génies derrière Linux ont rendu la vie très facile pour les gens qui ont besoin d'installer des paquets grands logiciels comme Hadoop. Qu'est-ce que vous avez téléchargé dans la dernière étape était pas l'ensemble du paquet Bigtop et toutes ses dépendances. Il était juste un référentiel de fichiers (avec l'extension), qui raconte un programme d'installation qui progiciels sont nécessaires pour l'installation Bigtop.

Comme tout produit logiciel grand, Hadoop a beaucoup de conditions préalables, mais vous ne devez pas vous inquiéter. Un fichier bien conçu pointer vers toutes les dépendances, et l'installateur est assez intelligent pour voir si elles sont manquants sur votre ordinateur et ensuite télécharger et les installer.

Le programme d'installation vous utilisez ici est appelé yum, qui vous obtenez de voir en action maintenant:

yum install hadoop * mahout * oozie * HBase * ruche * teinte * cochon * zookeeper *

Notez que vous êtes la cueillette et le choix des composants Hadoop à installer. Il ya un certain nombre d'autres composants disponibles dans Bigtop, mais ce sont les seuls que vous allez utiliser ici. Depuis la VM est une nouvelle installation de Linux, vous aurez besoin de nombreuses dépendances, vous aurez donc besoin d'attendre un peu.

Le programme d'installation de yum est très verbeux, de sorte que vous pouvez regarder exactement ce qui est téléchargé et installé pour passer le temps. Lorsque le processus d'installation est terminée, vous devriez voir un message qui dit: “! Complète ”

Étape 4: Démarrage Hadoop

Avant de commencer l'exécution d'applications sur Hadoop, il ya quelques configuration et d'installation choses de base que vous devez faire. Ici, ils sont dans l'ordre:

  1. Télécharger et installer Java:

    yum install java-1.7.0-openjdk-devel.x86_64
  2. Formater le NameNode:

    sudo /etc/init.d/hadoop-hdfs-namenode initialisation
  3. Démarrez les services pour votre cluster Hadoop pseudodistributed:

    for i in Hadoop HDFS-NameNode Hadoop HDFS-datanode - faire sudo service $ je commence - Terminé
  4. Créer une structure de sous-répertoire dans HDFS:

    sudo /usr/lib/hadoop/libexec/init-hdfs.sh
  5. Démarrez les processus FILS:

Service sudo hadoop-fil-ResourceManager début service startsudo hadoop-fil-NodeManager

Et avec cela, vous avez terminé. Félicitations! Vous avez installé un déploiement de travail Hadoop!

Étape 5: Téléchargement de l'ensemble des données de l'échantillon

Pour télécharger l'ensemble des données de l'échantillon, ouvrez le navigateur Firefox à partir de la machine virtuelle, et aller à la page de dataexpo.

Vous ne serez pas besoin de l'ensemble des données, afin de commencer avec une seule année 1987. Lorsque vous êtes sur le point de télécharger, sélectionnez l'option Ouvrir avec option d'Archive Manager.

Après votre fichier téléchargé, décompressez le fichier dans votre répertoire personnel où vous pourrez facilement être capable de le trouver. Cliquez sur le bouton Extraire, puis sélectionnez le répertoire Desktop.

Étape 6: copier les données d'échantillons mis en HDFS

Rappelez-vous que vos programmes Hadoop ne peuvent travailler avec des données après elle est stockée dans HDFS. Donc, ce que vous allez faire maintenant est de copier le fichier de données de vol pour 1987 dans HDFS. Entrez la commande suivante:

HDFS DFS -copyFromLocal 1987.csv / user / root

» » » » Mettre en place l'environnement de Hadoop avec bigtop apache