Développement de workflows oozie dans Hadoop
Workflows oozie sont, à leur base, graphes orientés, où vous pouvez définir des actions (applications Hadoop) et les flux de données, mais sans bouclage - ce qui signifie que vous ne pouvez pas définir une structure où vous souhaitez exécuter une opération spécifique encore et encore jusqu'à un certain condition est remplie (pour une boucle, par exemple).
Workflows oozie sont assez souples en ce que vous pouvez définir des décisions basées sur les conditions et les chemins fourchues pour l'exécution en parallèle. Vous pouvez également exécuter un large éventail d'actions.
Dans cette figure, vous voyez un flux de travail montrant les capacités de base de workflows oozie. Tout d'abord, un script de porc est exécuté, et est immédiatement suivie d'un arbre de décision. Selon l'état de la sortie, le flux de contrôle peut soit aller directement à un HDFS (Distributed File System Hadoop) opération de fichier (par exemple, une opération copyToLocal) ou à une action de la fourche.
Si le flux de contrôle passe à l'action de la fourche, deux tâches sont exécutées en même temps: un travail de MapReduce, et une requête Hive. Le flux de contrôle passe alors à l'opération HDFS la fois le travail de MapReduce et Hive requête sont fini de tourner. Après l'opération HDFS, le flux de travail est terminée.
Oozie définitions de workflow sont écrits en XML, basé sur le schéma Hadoop Process Definition Language (HPDL). Ce schéma particulier est, à son tour, sur la base du XML Process Definition Language (XPDL) schéma, qui est une norme de produit indépendant pour les définitions des processus d'affaires de la modélisation.
Un flux de travail oozie est composé d'une série d'actions, qui sont codées par des noeuds XML. Il existe différents types de nœuds, représentant les différents types de mesures ou directives de contrôle de flux. Chaque flux de travail oozie a son propre fichier XML, où chaque nœud et ses interconnexions sont définies.
Nœuds de workflow nécessitent tous des identificateurs uniques parce qu'ils sont utilisés pour identifier le noeud suivant à traiter dans le workflow. Cela signifie que l'ordre dans lequel les actions sont exécutées dépend où le noeud apparaît une action dans le flux XML. Pour voir comment ce concept aurait l'air, consulter la liste suivante, qui montre un exemple de la structure de base du fichier XML de un workflow oozie.
... ... "Tué travail."
Dans cet exemple, mis à part le début, la fin, et de tuer les noeuds, vous avez deux noeuds d'action. Chaque noeud d'action représente une application ou une commande en cours d'exécution.
Comment choisir une architecture de cluster hadoop Hadoop est conçu pour être déployé sur une grande grappe d'ordinateurs en réseau, avec des nœuds maîtres (qui accueillent les services qui contrôlent le stockage et le traitement de Hadoop) et nœuds esclaves (où les données sont stockées…
Comment obtenir oozie apache mis en place en hadoop Apache oozie est inclus dans toutes les distributions Hadoop majeur, y compris Apache Bigtop. Dans votre cluster Hadoop, installer le serveur de oozie sur un noeud de bord, où vous auriez également exécuter d'autres applications clientes contre…
Gérer grandes ressources de données et des applications avec fil de Hadoop La planification des tâches et de suivi pour les grandes données sont des parties intégrantes de Hadoop MapReduce et peuvent être utilisés pour gérer les ressources et les applications. Les premières versions de Hadoop faveur d'un système de…
Bases de données de traitement massivement parallèle Pour permettre une meilleure compréhension des alternatives SQL-sur-Hadoop Hive, il pourrait être utile d'examiner une amorce sur le traitement massivement parallèle (MPP) des bases de données en premier.Apache Hive est posée sur le dessus du…
Pig latin dans les programmes de porcs de Hadoop Pig latin est la langue pour les programmes de porc. Pig traduit le script Pig Latin en emplois MapReduce qu'il peut être exécuté dans clusters Hadoop. En venant avec Pig Latin, l'équipe de développement a suivi trois principes clés de la…
Réplication de blocs de données dans le système de fichiers Hadoop distribué Distributed File System Hadoop (HDFS) est conçu pour stocker des données sur peu coûteux et plus fiable, le matériel. Peu coûteux a une jolie bague à elle, mais elle soulève des préoccupations quant à la fiabilité du système dans son…
Courir workflows oozie dans Hadoop Avant d'exécuter vos flux de oozie, toutes ses composantes doivent exister au sein d'une structure de répertoire spécifié. Plus précisément, le flux de travail lui-même devrait avoir son propre répertoire dédié, où workflow.xml est dans…
Planification et coordination oozie flux de travail dans Hadoop Après avoir créé un ensemble de flux de travail, vous pouvez utiliser une série de oozie emplois de coordonnateur pour planifier quand ils sont exécutés. Vous avez deux options de planification pour l'exécution: un moment précis et la…
Les scripts latin de porc dans Hadoop Hadoop est un écosystème riche et évolue rapidement avec un ensemble croissant de nouvelles applications. Plutôt que d'essayer de faire face à toutes les exigences de nouvelles capacités, de porc est conçu pour être extensible via fonctions…
L'écosystème Hadoop Apache Hadoop est plus que MapReduce et HDFS (Distributed File System Hadoop): Il est également une famille de projets connexes (un écosystème, vraiment) pour le calcul distribué et le traitement de données à grande échelle. La plupart (mais pas…
Faire moins en faisant plus avec mac Automator Plusieurs fois, vous pourriez avoir besoin pour effectuer une tâche triviale répétitif sur votre ordinateur qui est fastidieux et chronophage. Heureusement, avec l'application Automator votre Mac peut faire certaines de ces tâches pour vous.…
Comment programmer des tâches répétitives en utilisant The Automator de Mac Mac OS X Tiger intègre une fonctionnalité appelée Automator qui vous permet de programmer des tâches répétitives - renommer un lot de fichiers, dites - sans avoir à maîtriser la programmation. Le Mac Automator est la manière d'Apple…
Vérifier l'état d'un workflow d'approbation SharePoint 2010 Parce que la notification et la tâche incluent un lien vers l'article attente, un workflow d'approbation est un bon moyen d'obtenir l'entrée des utilisateurs qui, autrement, ne sera pas aller à SharePoint 2010. Et le workflow d'approbation…
Initier un flux de travail dans SharePoint 2010 Configuration de votre bibliothèque à utiliser un flux de travail dans SharePoint 2010 ne résout qu'une partie du problème. Si vous ne disposez pas de votre bibliothèque configuré pour le coup d'envoi automatique, alors quelqu'un doit…