Scripts Pig interfaces dans Hadoop

Le langage de programmation Pig est conçu pour gérer tout type de données jeté son chemin - structurée, semi-structurée, les données non structurées, you name it. Programmes de porcs peuvent être emballés de trois manières différentes:

Script: Cette méthode est rien de plus que d'un fichier contenant des commandes Pig Latin, identifié par le suffixe .pig (FlightData.pig, par exemple). Mettre fin à votre programme de porc avec l'extension .pig est une convention, mais pas obligatoire. Les commandes sont interprétés par le compilateur Pig Latin et exécutés dans l'ordre déterminé par l'optimiseur de porc.
Grunt: Grunt agit comme un interpréteur de commandes où vous pouvez entrer interactivement Pig Latin à la ligne de commande Grunt et de voir immédiatement la réponse. Cette méthode est utile pour le prototypage au cours du développement initial et avec des scénarios de simulation.
Embarqué: Déclarations Pig Latin peuvent être exécutées dans les programmes Java, Python, ou javascript.

Scripts de porc, les commandes shell Grunt Pig, et des programmes de porc intégrés peuvent fonctionner soit en mode local ou en mode MapReduce.

Le Grunt shell fournit un shell interactif de soumettre des commandes ou lancer des scripts Pig Pig. Pour commencer la coquille Grunt en mode interactif, simplement soumettre la commande de porc à votre coquille.

Pour spécifier si un script shell ou Grunt est exécutée localement ou en mode Hadoop suffit de spécifier dans le drapeau -x à la commande de porc. Ce qui suit est un exemple de la façon dont vous souhaitez spécifier l'exécution de votre script de porc en mode local

milesPerCarrier.pig locale de porc

Voici comment vous souhaitez exécuter le script de porc en mode Hadoop, qui est la valeur par défaut si vous ne spécifiez pas le drapeau:

MapReduce la milesPerCarrier.pig de porc

Par défaut, lorsque vous spécifiez la commande de porc sans aucun paramètre, il commence la coquille Grunt en mode Hadoop. Si vous voulez commencer la coquille Grunt en mode local suffit d'ajouter le drapeau locale -x à la commande. Voici un exemple

cochon -x locale

A propos Auteur

Les scripts latin de porc dans Hadoop

Hadoop est un écosystème riche et évolue rapidement avec un ensemble croissant de nouvelles applications. Plutôt que d'essayer de faire face à toutes les exigences de nouvelles capacités, de porc est conçu pour être extensible via fonctions…

L'écosystème du client HBase

HBase est écrit en Java, un langage élégant pour la construction de technologies distribuées comme HBase, mais le visage il - pas tout le monde qui veut prendre avantage des innovations Hbase est un développeur Java. Voilà pourquoi il ya un…

Votre premier programme de Hadoop: bonjour Hadoop!

Après le cluster Hadoop est installé et fonctionne, vous pouvez exécuter votre premier programme de Hadoop. Cette application est très simple, et calcule le total des miles parcourus pour tous les vols effectués en un an. L'année est définie…

Linux: commander l'écoulement d'exécution

Dans Linux bash scripts, vous pouvez contrôler le flux d'exécution - l'ordre dans lequel les commandes sont exécutées - en utilisant les commandes spéciales telles que si, cas, pour, et tandis que.Ces déclarations de contrôle utilisent…

Linux: explorer les fondements de scripts shell

Linux vous donne de nombreuses petites et spécialisées commandes, avec la plomberie nécessaire de connecter ces commandes. Prendre plomberie pour signifier la manière dont la sortie d'une commande peut être utilisé comme l'entrée d'un…

Linux: coquilles, des scripts, de gestion et de données

L'examen de certification Linux + CompTIA nécessite la connaissance des coquilles, les scripts, et la gestion des données. Ce tableau montre les sous-thèmes, les poids, les descriptions et les principaux domaines de connaissances pour ce sujet de…

Linux: les fonctions shell simples

Vous pouvez regrouper un certain nombre de commandes shell que vous utilisez régulièrement dans Linux dans un fonction et lui attribuer un nom. Plus tard, vous pouvez exécuter ce groupe de commandes en utilisant le nom unique assigné à la…

Coquilles, scripts, gestion des données et Linux

L'examen de certification Linux + CompTIA exige une connaissance de la gestion des scripts et des données. Le tableau montre les sous-thèmes, les poids, les descriptions et les principaux domaines de connaissances pour ce sujet - le premier de…

Linux: stocker des trucs avec bash

Vous pouvez utiliser les fonctionnalités de bash lors de l'écriture des programmes Linux appelé scripts shell - collections de commandes shell stockées dans un fichier tâche orientée. Vous définissez des variables dans bash tout comme vous…

Linux: essayer de simples scripts shell

Si vous n'êtes pas un programmeur, vous pouvez vous sentir inquiet de la programmation. Mais shell scripting (ou programmation) sous Linux peut être aussi simple que le stockage de quelques commandes dans un fichier. En fait, vous pouvez avoir un…

Comment créer et exécuter votre premier programme de python sur la PI de framboise

Création de programmes Python sur le Raspberry Pi peut aider à simplifier votre vie. Le problème avec l'entrée des instructions dans la coquille est que vous avez à les saisir à chaque fois que vous voulez les utiliser. Les commandes sont…

Carnitas norte & # 241-que

Cette carnitas norte # 241-comme recette comprend des morceaux de porc mijoté dans la graisse. Carnitas norte # 241-comme le sont délicieux tacos ou burritos, ou accompagné de haricots et de riz.Temps de préparation: 10 minutesTemps de cuisson:…

Comment le commerce des porcs maigres sur le marché des matières premières

Le contrat à terme maigre de porc des produits de base (qui est un contrat pour la carcasse de porc) est cotée sur le Chicago Mercantile Exchange (CME) et est principalement utilisé par les producteurs de porcs maigres - deux nationaux et…

Investir dans porcs maigres et poitrines de porc par les marchés à terme

Vous pouvez investir dans les porcs de deux façons: par un contrat à terme du porc maigre (qui est un contrat pour la carcasse de porc), et à travers les flancs de porc (façon de dire des commerçants “ lard ”).Investir dans Lean…

godiches.com » Ordinateurs et logiciels » Big Data » Gestion des données » Scripts Pig interfaces dans Hadoop