Votre premier programme de Hadoop: bonjour Hadoop!
Après le cluster Hadoop est installé et fonctionne, vous pouvez exécuter votre premier programme de Hadoop. Cette application est très simple, et calcule le total des miles parcourus pour tous les vols effectués en un an. L'année est définie par le fichier de données que vous lisez dans votre application.
Pour garder les choses un peu plus simples ici, vous exécutez un script de Cochon pour calculer le total de miles parcourus. Vous verrez la carte et de réduire les phases volent par dans la sortie.
Voici le code pour ce script Pig:
documents = LOAD '2013_subset.csv' UTILISATION PigStorage (',') AS(Year,Month,DayofMonth,DayOfWeek,DepTime,CRSDepTime,ArrTime,CRSArrTime,UniqueCarrier,FlightNum,TailNum,ActualElapsedTime,CRSElapsedTime,AirTime,ArrDelay,DepDelay,Origin,Dest,Distance:int,TaxiIn,TaxiOut,Cancelled,CancellationCode,Diverted,CarrierDelay,WeatherDelay,NASDelay,SecurityDelay, LateAircraftDelay) -milage_recs = GROUPE enregistre ALL-tot_miles = FOREACH milage_recs PRODUIRE SUM (records.Distance) -Store tot_miles EN / user / root / totalmiles-Vous voulez mettre ce code dans un fichier sur votre VM, donc d'abord créer un fichier. droit; cliquez sur le bureau de votre VM et sélectionnez Créer un document dans le menu contextuel qui apparaît et le nom du document. Ensuite, ouvrez le document dans un éditeur, coller dans le code, et enregistrez le fichier.
De la ligne de commande, exécutez la commande suivante pour exécuter le script Pig:
totalmiles.pig porc
Vous verrez de nombreuses lignes de sortie, puis enfin une “! Succès ” message, suivi par plus de statistiques, et puis finalement l'invite de commande. Après votre travail Pig est terminée, vous pouvez voir votre sortie:
HDFS DFS -cat / user / root / totalmiles / partie-R-00000
Roulement de tambour, s'il vous plaît # 133- Et la réponse est: 775 009 272
Et avec cela, vous avez exécuté votre première application Hadoop!
Hadoop MapReduce pour Big Data Pour comprendre pleinement les capacités de Hadoop MapReduce, il est important de différencier entre MapReduce (l'algorithme) et une mise en œuvre de MapReduce. Hadoop MapReduce est une implémentation de l'algorithme développé et maintenu par…
Exemples de commandes d'insertion Hive Une ruche DML commande à explorer est la INSERT commande. Vous avez en gros trois INSERT variants- deux d'entre eux sont présentés dans la liste suivante. Pour démontrer cette nouvelle commande DML, vous allez créer une nouvelle table qui va…
Comment choisir une architecture de cluster hadoop Hadoop est conçu pour être déployé sur une grande grappe d'ordinateurs en réseau, avec des nœuds maîtres (qui accueillent les services qui contrôlent le stockage et le traitement de Hadoop) et nœuds esclaves (où les données sont stockées…
Comment démarrer avec ruche apache Il n'y a pas de meilleure façon de voir ce qui est ce que l'installation du logiciel ruche et lui donner un essai. Comme avec d'autres technologies dans l'écosystème Hadoop, il ne faut pas longtemps pour commencer.Si vous avez le temps et la…
Modes locaux et distribués de l'exécution de scripts de porcs dans Hadoop Avant vous pouvez exécuter votre premier script de cochon dans Hadoop, vous devez avoir une poignée sur la façon dont les programmes de porc peuvent être fournis avec le serveur de porc.Pig dispose de deux modes pour l'exécution de scripts:Mode…
Gestion des données de grandes avec Hadoop HDFS et MapReduce: Hadoop, un framework logiciel open-source, utilise HDFS (le système de fichiers distribués Hadoop) et MapReduce pour analyser les données de grandes sur des groupes de produits de base sur le matériel qui est, dans un environnement de calcul…
Gestion des fichiers avec les commandes du système de fichiers Hadoop HDFS est l'une des deux principales composantes de l'Hadoop Structures à l'autre est le paradigme de calcul connu comme MapReduce. UN système de fichiers distribué est un système de fichier qui gère le stockage dans un cluster en réseau des…
Scripts Pig interfaces dans Hadoop Le langage de programmation Pig est conçu pour gérer tout type de données jeté son chemin - structurée, semi-structurée, les données non structurées, you name it. Programmes de porcs peuvent être emballés de trois manières…
Mettre en place l'environnement de Hadoop avec bigtop apache Si vous êtes à l'aise de travailler avec VM et Linux, vous pouvez installer Bigtop sur un autre VM que ce qui est recommandé. Si vous êtes vraiment audacieux et avoir le matériel, allez-y et essayez d'installer Bigtop sur un cluster de machines…
Le maître de l'application de fil dans Hadoop Contrairement à d'autres FIL (Yet Another Négociateur ressources) des composants, aucun composant dans Hadoop 1 correspond directement à la maîtrise de l'application. En substance, ce travail est que la JobTracker fait pour chaque application,…
Linux: commander l'écoulement d'exécution Dans Linux bash scripts, vous pouvez contrôler le flux d'exécution - l'ordre dans lequel les commandes sont exécutées - en utilisant les commandes spéciales telles que si, cas, pour, et tandis que.Ces déclarations de contrôle utilisent…
Linux: essayer de simples scripts shell Si vous n'êtes pas un programmeur, vous pouvez vous sentir inquiet de la programmation. Mais shell scripting (ou programmation) sous Linux peut être aussi simple que le stockage de quelques commandes dans un fichier. En fait, vous pouvez avoir un…
Comment faire pour exécuter un programme java directement à partir d'une archive Avec juste un peu de travail, vous pouvez configurer une archive de sorte qu'un programme Java peut être exécuté directement. Tout ce que vous avez à faire est de créer un fichier manifeste avant de créer l'archive. Ensuite, lorsque vous…
Comment écrire votre premier script MATLAB MATLAB fournit de nombreuses façons différentes d'écrire des scripts. Certains d'entre eux ne nécessite pas réellement ce que vous écrivez rien du tout! Cependant, la manière traditionnelle de créer un script dans une application est de…