Hadoop porc ou de latin pour les Big Data
La puissance et la flexibilité de Hadoop pour les grandes données sont immédiatement visibles pour les développeurs de logiciels principalement parce que l'écosystème Hadoop a été construit par les développeurs, pour les développeurs. Cependant, pas tout le monde est un développeur de logiciels. Pig a été conçu pour rendre Hadoop plus accessible et utilisable par non-développeurs.
Pig est un environnement interactif, ou basée sur un script d'exécution soutenir Pig latin, une langue utilisée pour exprimer les flux de données. La langue latine Pig supporte le chargement et le traitement des données d'entrée avec une série d'opérateurs qui transforment les données d'entrée et produire la sortie désirée.
L'environnement d'exécution Pig dispose de deux modes:
Mode local: Tous les scripts sont exécutés sur une seule machine. Hadoop MapReduce et HDFS ne sont pas tenus.
Hadoop: Également appelé mode MapReduce, tous les scripts sont exécutés sur un cluster Hadoop donné.
Sous les couvertures, Pig crée un ensemble de carte et réduire emplois. L'utilisateur est absous des préoccupations de l'écriture de code, la compilation, l'emballage, la présentation, et de récupérer les résultats. À bien des égards, le cochon est analogue à SQL dans le monde de SGBDR.
Le langage Pig Latin fournit une manière abstraite d'obtenir des réponses de grands volumes de données en se concentrant sur les données et non la structure d'un programme de logiciel personnalisé. Cochon fait prototypage très simple. Par exemple, vous pouvez exécuter un script de porc sur une petite représentation de votre environnement grand de données pour assurer que vous obtenez les résultats souhaités avant de vous engager à traiter toutes les données.
Programmes de porcs peuvent être exécutés de trois manières différentes, chacun d'eux compatible avec le mode local et Hadoop:
Script: Simplement un fichier contenant des commandes Pig Latin, identifié par le .cochon suffixe (par exemple, file.pig ou myscript.pig). Les commandes sont interprétées par Pig et exécutées dans un ordre séquentiel.
Grunt: Grunt est un interpréteur de commandes. Vous pouvez taper Pig Latin sur la ligne de commande grognement et Grunt exécutera la commande en votre nom. Ceci est très utile pour le prototypage et “ si ” scénarios.
Embarqué: Programmes de porcs peuvent être exécutées dans le cadre d'un programme Java.
Pig Latin a une syntaxe très riche. Il prend en charge des opérateurs pour les opérations suivantes:
Le chargement et le stockage de données
Les données de streaming
Filtrage de données
Regroupement et rejoindre données
Tri des données
Combinaison et séparation de données
Pig Latin prend également en charge une grande variété de types, expressions, fonctions, opérateurs de diagnostic, les macros et les commandes du système de fichiers.
Pour obtenir plus d'exemples, visitez le site Web de porc dans les Apache.com.
Les types et la syntaxe de données de porc de Hadoop Les types de données de porcs constituent le modèle de données pour savoir comment Pig pense de la structure des données qu'il traite. Avec Pig, le modèle de données se définie lorsque les données sont chargées. Toutes les données que vous…
Comment choisir une architecture de cluster hadoop Hadoop est conçu pour être déployé sur une grande grappe d'ordinateurs en réseau, avec des nœuds maîtres (qui accueillent les services qui contrôlent le stockage et le traitement de Hadoop) et nœuds esclaves (où les données sont stockées…
Modes locaux et distribués de l'exécution de scripts de porcs dans Hadoop Avant vous pouvez exécuter votre premier script de cochon dans Hadoop, vous devez avoir une poignée sur la façon dont les programmes de porc peuvent être fournis avec le serveur de porc.Pig dispose de deux modes pour l'exécution de scripts:Mode…
Gestion des données de grandes avec Hadoop HDFS et MapReduce: Hadoop, un framework logiciel open-source, utilise HDFS (le système de fichiers distribués Hadoop) et MapReduce pour analyser les données de grandes sur des groupes de produits de base sur le matériel qui est, dans un environnement de calcul…
Gestion des fichiers avec les commandes du système de fichiers Hadoop HDFS est l'une des deux principales composantes de l'Hadoop Structures à l'autre est le paradigme de calcul connu comme MapReduce. UN système de fichiers distribué est un système de fichier qui gère le stockage dans un cluster en réseau des…
Bases de données de traitement massivement parallèle Pour permettre une meilleure compréhension des alternatives SQL-sur-Hadoop Hive, il pourrait être utile d'examiner une amorce sur le traitement massivement parallèle (MPP) des bases de données en premier.Apache Hive est posée sur le dessus du…
Pig latin dans les programmes de porcs de Hadoop Pig latin est la langue pour les programmes de porc. Pig traduit le script Pig Latin en emplois MapReduce qu'il peut être exécuté dans clusters Hadoop. En venant avec Pig Latin, l'équipe de développement a suivi trois principes clés de la…
Scripts Pig interfaces dans Hadoop Le langage de programmation Pig est conçu pour gérer tout type de données jeté son chemin - structurée, semi-structurée, les données non structurées, you name it. Programmes de porcs peuvent être emballés de trois manières…
Les applications en cours avant hadoop 2 Parce que de nombreux déploiements Hadoop existants ne sont toujours pas encore à l'aide de Yet Another négociateur des ressources (FIL), de prendre un coup d'oeil à la façon dont Hadoop a réussi son traitement de données avant les jours de…
Les scripts latin de porc dans Hadoop Hadoop est un écosystème riche et évolue rapidement avec un ensemble croissant de nouvelles applications. Plutôt que d'essayer de faire face à toutes les exigences de nouvelles capacités, de porc est conçu pour être extensible via fonctions…
Stockage de données structurées et de traitement dans Hadoop Lorsque l'on considère les capacités de Hadoop pour travailler avec des données structurées (ou de travailler avec des données de tout type, d'ailleurs), rappelez-vous les caractéristiques de base de Hadoop: Hadoop est, d'abord et avant tout,…
L'écosystème Hadoop Apache Hadoop est plus que MapReduce et HDFS (Distributed File System Hadoop): Il est également une famille de projets connexes (un écosystème, vraiment) pour le calcul distribué et le traitement de données à grande échelle. La plupart (mais pas…
L'écosystème du client HBase HBase est écrit en Java, un langage élégant pour la construction de technologies distribuées comme HBase, mais le visage il - pas tout le monde qui veut prendre avantage des innovations Hbase est un développeur Java. Voilà pourquoi il ya un…
Votre premier programme de Hadoop: bonjour Hadoop! Après le cluster Hadoop est installé et fonctionne, vous pouvez exécuter votre premier programme de Hadoop. Cette application est très simple, et calcule le total des miles parcourus pour tous les vols effectués en un an. L'année est définie…