Comment obtenir oozie apache mis en place en hadoop

Apache oozie est inclus dans toutes les distributions Hadoop majeur, y compris Apache Bigtop. Dans votre cluster Hadoop, installer le serveur de oozie sur un noeud de bord, où vous auriez également exécuter d'autres applications clientes contre les données de la grappe, comme indiqué.

image0.jpg

Noeuds périphériques sont conçus pour être une passerelle pour le réseau extérieur au cluster Hadoop. Cela les rend idéales pour les technologies de transfert de données (Flume, par exemple), mais aussi des applications clientes et d'autres infrastructures d'application comme oozie. Oozie n'a pas besoin d'un serveur dédié, et peut facilement coexister avec d'autres services qui sont parfaitement adaptés pour les nœuds de bordure, comme Pig et Hive.

Après oozie est déployé, vous êtes prêt à démarrer le serveur oozie. L'infrastructure de oozie est installé dans le répertoire $ OOZIE_HOME. De là, exécutez la commande oozie-start.sh pour démarrer le serveur. (Comme on pouvait s'y attendre, l'arrêt du serveur implique tapant oozie-stop.sh.) Vous pouvez tester l'état de votre instance oozie en exécutant la commande

oozie administrateur -status



Après vous avez le serveur oozie déployé et lancé, vous pouvez cataloguer et gérer votre flux de travail différents, coordinateur, ou des emplois bundle. Lorsque vous travaillez avec vos emplois, oozie stocke les définitions de catalogue - les données décrivant tous les objets oozie (workflow, coordonnateur, et les emplois bundle) - ainsi que leurs états dans une base de données dédiée.

Par défaut, oozie est configuré pour utiliser la base de données Derby Embedded, mais vous pouvez utiliser MySQL, Oracle, PostgreSQL ou, si vous en avez besoin.

Vous disposez de quatre options pour interagir avec le serveur oozie:

  • L'API Java: Cette option est utile dans les situations où vous avez votre propre code de programmation dans les applications Java, et vous avez besoin de contrôler l'exécution de vos workflows oozie, coordinateurs, ou de faisceaux à partir de votre application.

  • L'API REST: Encore une fois, cette option fonctionne bien dans les cas où vous souhaitez utiliser votre propre code de programmation comme la base de vos flux de oozie, coordinateurs, ou de faisceaux, ou si vous voulez construire votre propre interface ou d'étendre un existant pour administrer le serveur oozie .

  • Command Line Interface (CLI): Il est l'interface de ligne de commande Linux pour oozie traditionnelle.

  • Le oozie Web Console: Ok, peut-être vous ne pouvez pas faire beaucoup d'interaction, mais la console Web oozie vous donne un (lecture seule) tenu de l'état du serveur oozie, qui est utile pour le suivi de vos emplois oozie.

    image1.jpg

Hue, une interface d'administration Hadoop, fournit un autre outil pour travailler avec oozie. Workflows oozie, les coordonnateurs et les faisceaux sont tous définis en utilisant XML, ce qui peut être fastidieux de modifier, en particulier pour les situations complexes. Hue propose un outil de conception graphique pour construire graphiquement les flux de travail et d'autres objets oozie.

Sous les couvertures, oozie comprend un serveur Web Tomcat intégré, qui gère son entrée et sa sortie.


» » » » Comment obtenir oozie apache mis en place en hadoop