Planification et coordination oozie flux de travail dans Hadoop

Après avoir créé un ensemble de flux de travail, vous pouvez utiliser une série de oozie emplois de coordonnateur pour planifier quand ils sont exécutés. Vous avez deux options de planification pour l'exécution: un moment précis et la disponibilité des données en collaboration avec un certain temps.

Sommaire

Ordonnancement basé sur le temps pour oozie emplois coordinateur

Oozie emplois de coordonnateur peuvent être programmées pour exécuter à un certain moment, mais après ils ont commencé, ils peuvent alors être configuré pour fonctionner à des intervalles déterminés. L'exemple suivant montre un poste de coordonnateur de ce que commence à tourner à une heure de début et la date spécifiée:

...$ {} workflowAppPath

Planification basée disponibilité de temps et de données pour oozie emplois coordinateur




Oozie emplois coordinateur peuvent également être programmés pour exécuter à un certain moment si les fichiers de données ou des répertoires spécifiés sont disponibles. La liste suivante montre un exemple d'un coordonnateur qui commence à courir à une heure de début spécifiée et la date, est exécutée une fois par jour si l'ensemble de données identifié par triggerDatasetDir existe, et se poursuivra jusqu'à la fin des temps spécifiée:

...$ {} triggerDatasetDir$ {} startTime$ {} workflowAppPath

Courir oozie emplois coordinateur

Similaire à oozie tâches de workflow, les emplois de coordonnateur nécessitent un fichier de job.properties, et le fichier coordinator.xml doit être chargé dans HDFS. Pour exécuter une tâche de coordinateur oozie partir de l'interface de ligne de commande oozie, émettre une commande comme celle-ci tout en veillant à ce que le fichier job.properties est accessible localement:

$ Job de oozie -config sampleCoordinator / job.properties -run

Après avoir soumis le travail, le coordinateur est stocké dans la base de données objet oozie. Lors de la présentation, oozie retourne un identifiant pour vous permettre de surveiller et d'administrer votre coordonnateur - emploi: 0000001-00000001234567-oozie-C.

Pour vérifier l'état de ce travail, exécutez la commande

travail de oozie -info 0000001-00000001234567-oozie-C

» » » » Planification et coordination oozie flux de travail dans Hadoop