Apache Hadoop et bigtop

Pour vous aider à démarrer avec Hadoop, voici des instructions sur la façon de télécharger rapidement et mettre en place Hadoop sur votre propre ordinateur portable. Votre cluster sera exécuté en mode pseudo-répartis sur une machine virtuelle, de sorte que vous ne sera pas besoin de matériel spécial.

UN machine virtuelle (VM) est un ordinateur simulé que vous pouvez exécuter sur un véritable ordinateur. Par exemple, vous pouvez exécuter un programme sur votre ordinateur portable qui “ joue ” une VM, qui ouvre une fenêtre qui ressemble il fonctionne sur un autre ordinateur. En effet, un ordinateur semblant fonctionne l'intérieur de votre ordinateur réel.

Vous allez télécharger un VM, et lors de l'exécution, vous allez installer Hadoop.

Apache Bigtop est une excellente alternative si vous voulez assembler vos propres composants Hadoop. Bigtop rassemble les principaux composants Hadoop pour vous et vous assure que votre configuration fonctionne. Apache Bigtop est une distribution open source 100 pour cent.

L'objectif principal de Bigtop - lui-même un projet Apache, tout comme Hadoop - est de construire une communauté autour de l'emballage, le déploiement et l'intégration de projets dans l'écosystème Hadoop. L'accent est mis sur le système dans son ensemble plutôt que sur des projets individuels.

Utilisation Bigtop, vous pouvez facilement installer et déployer des composants Hadoop sans avoir à les traquer dans une distribution spécifique et les faire correspondre avec une version spécifique de Hadoop. Comme les nouvelles versions des composants Hadoop sont libérés, ils parfois ne fonctionnent pas avec les dernières versions des autres projets. Si vous êtes sur votre propre, test important est nécessaire.

Avec Bigtop (ou une version Hadoop commerciale), vous pouvez avoir confiance que Hadoop experts ont fait ce test pour vous. Pour vous donner une idée de la façon dont Bigtop expansive a obtenu, consultez la liste suivante de tous les composants inclus dans Bigtop:

  • Apache Crunch




  • Apache Flume

  • Apache Giraph

  • Hbase

  • Apache HCatalog

  • Apache Hive

  • Apache Mahout

  • Apache oozie

  • Apache Pig

  • Apache Solr

  • Apache Sqoop

  • Apache Whirr

  • Apache Zookeeper

  • Cloudera Hue

  • LinkedIn DataFu

Cette collection de projets de l'écosystème Hadoop est à peu près aussi large qu'il obtient, comme les deux projets majeurs et mineurs sont inclus. Apache Bigtop est en constante évolution.