Réseautage et grappes Hadoop
Comme pour tout système distribué, le réseautage peut faire ou défaire un cluster Hadoop: Ne pas “ aller pas cher ”. Une grande partie de bavardage a lieu entre les nœuds maîtres et nœuds esclaves dans un cluster Hadoop qui est essentiel dans le maintien de la grappe en marche, afin commutateurs de classe entreprise sont certainement recommandé.
Pour chaque rack dans votre cluster, vous avez besoin de deux (TdR) commutateurs top-of-rack, en termes de redondance et de performance. Utilisez 10GbE pour les commutateurs Tor.
Commutateurs Tor sont des commutateurs de réseau qui se connectent tous les ordinateurs dans un rack ensemble. Vous les voyez normalement tout en haut d'un rack, ce qui explique pourquoi les gens disent “. Top-of-rack ” Une approche de réseautage alternative est d'utiliser de fin de ligne (EOR) commutateurs, mais vous ne voient pas très souvent.
L'approche TdR est plus simple du point de vue de la mise en réseau des grappes de croissance. Par exemple, l'ajout de nœuds esclaves et racks supplémentaires est beaucoup plus facile avec des commutateurs TdR que EoR.
Lorsque vous avez plus de trois racks, vous devez au moins deux commutateurs centraux (à nouveau, surtout pour la redondance, mais aussi pour les performances). Ces commutateurs centraux gèrent des quantités massives de trafic, donc 40 GbE est une nécessité.
Si vous construisez ou l'expansion d'un cluster pour couvrir plusieurs racks, engager des experts qui sont familiers avec Hadoop, vos plans de croissance futurs, et votre charge de travail en réseau. Bad réseau peut entraver gravement la performance, mais il peut aussi faire de la croissance future douloureux et coûteux.
-
Comment créer un châssis virtuel à partir de deux ou plusieurs anciens commutateurs de genièvre -
Comment en rack, configurer et connecter des périphériques à un commutateur Juniper ex de la série -
L'échelle de la couche de commutation d'accès aux Junos - Bases du réseau: commutateur duplex / communication simplex
-
3 configurations de cluster Hadoop -
Clustering dans nosql
Traitement distribué Hadoop MapReduce avec Hadoop MapReduce implique le traitement d'une séquence d'opérations sur des ensembles de données distribuées. Les données se compose de paires clé-valeur, et les calculs ont seulement deux phases: une phase de carte et une phase réduire.…
Nœuds de pointe dans des clusters Hadoop Noeuds périphériques constituent l'interface entre le cluster Hadoop et le réseau extérieur. Pour cette raison, ils sont parfois appelés passerelle nœuds. Le plus souvent, les nœuds de bord sont utilisés pour exécuter des applications…
Hadoop système de fichiers distribué (HDFS) fédération La solution à l'expansion des grappes Hadoop indéfiniment est de fédérer l'NameNode. Avant Hadoop 2 est entré en scène, les clusters Hadoop ont dû vivre avec le fait que NameNode placé des limites à la mesure dans laquelle ils pourraient…
Hadoop système de fichiers distribué (HDFS) haute disponibilité Souvent dans l'enfance de Hadoop, une grande quantité de discussion a été centrée sur la représentation de la NameNode d'un point de défaillance unique. Hadoop, dans l'ensemble, a toujours eu une architecture robuste et tolérants aux pannes,…
Hadoop considérations de rack Un principe de base de Hadoop est mise à l'échelle avec des nœuds esclaves supplémentaires pour répondre à l'augmentation de stockage de données et les exigences de traitement des minéraux. Dans un modèle de scale-out, vous devez examiner…
Hadoop Zookeeper pour Big Data Plus grande technique de Hadoop pour traiter de grands défis de données est sa capacité à diviser et conquérir avec Zookeeper. Après le problème a été divisé, la conquête repose sur la capacité de répartie et emploient des techniques de…
Comment choisir une architecture de cluster hadoop Hadoop est conçu pour être déployé sur une grande grappe d'ordinateurs en réseau, avec des nœuds maîtres (qui accueillent les services qui contrôlent le stockage et le traitement de Hadoop) et nœuds esclaves (où les données sont stockées…
Nœuds de Master dans les clusters Hadoop Les nœuds maîtres dans les clusters Hadoop distribués abritent les différents services de stockage et de gestion de traitement, décrits dans cette liste, pour l'ensemble du cluster Hadoop. La redondance est essentiel pour éviter les points de…
Réplication de blocs de données dans le système de fichiers Hadoop distribué Distributed File System Hadoop (HDFS) est conçu pour stocker des données sur peu coûteux et plus fiable, le matériel. Peu coûteux a une jolie bague à elle, mais elle soulève des préoccupations quant à la fiabilité du système dans son…
Les applications en cours avant hadoop 2 Parce que de nombreux déploiements Hadoop existants ne sont toujours pas encore à l'aide de Yet Another négociateur des ressources (FIL), de prendre un coup d'oeil à la façon dont Hadoop a réussi son traitement de données avant les jours de…
Dimensionnement votre cluster hadoop Dimensionnement tout système de traitement de données est autant une science car elle est un art. Avec Hadoop, vous considérez les mêmes informations que vous le feriez avec une base de données relationnelle, par exemple. Plus important encore,…
Nœuds esclaves dans le système de fichiers distribué Hadoop (HDFS) Dans un cluster Hadoop, chaque noeud de données (également connue en tant que nœud esclave) Exécute un processus de fond nommée DataNode. Ce processus d'arrière-plan (également connu en tant que démon) Garde la trace des tranches de données…
Nœuds esclaves dans les clusters Hadoop Dans un univers Hadoop, nœuds esclaves sont où les données Hadoop est stockée et où le traitement de données a lieu. Les services suivants permettent nœuds esclaves pour stocker et traiter les données:NodeManager: Coordonne les ressources…
Performance et Big Data Juste avoir un ordinateur plus rapide ne suffit pas pour assurer le bon niveau de performances pour gérer les grands volumes de données. Vous devez être en mesure de distribuer les composants de votre grand service de données à travers une…