Hadoop considérations de rack

Un principe de base de Hadoop est mise à l'échelle avec des nœuds esclaves supplémentaires pour répondre à l'augmentation de stockage de données et les exigences de traitement des minéraux. Dans un modèle de scale-out, vous devez examiner attentivement la conception cluster car des dizaines, voire des centaines, de nœuds esclaves devra finalement être accumulé, alimenté, en réseau, et refroidi.

Facteurs de forme de serveur

Un des premiers choix que les architectes il devra faire face lors de la conception d'un cluster Hadoop est lequel des deux facteurs de forme suivantes à utiliser pour les noeuds Hadoop:

• Serveur lame: Conçu pour une densité maximale, vous pouvez entasser autant de ces bébés dans un seul rack que possible. Les serveurs lames entrent dans boîtiers de lames, qui ont de nombreux composants de serveur standard, comme le stockage dédié, la mise en réseau, la puissance et le refroidissement. Ces composants sont partagés entre les serveurs lames, ce qui signifie que chaque serveur de la lame peut être beaucoup plus petite.

  
  
  
  
  

  Les serveurs lames sont un choix attrayant sur la surface parce que vous pourriez prendre un rack standard et déployer entre 40 et 50 de ces serveurs lames. Le problème avec l'aide de lames pour les déploiements Hadoop est qu'ils reposent sur certains composants partagés, ce qui est pas en ligne avec l'architecture-shared nothing de Hadoop, où chacun des nœuds esclaves sont autonomes et possèdent leurs propres ressources dédiées.

  Plus important encore, les lames ont peu de place pour le stockage attaché localement, ayant souvent pas plus de deux ou trois baies de disques. Ceci est un non-starter pour Hadoop, depuis nœuds esclaves besoin de beaucoup plus dédié capacité de stockage.

• Rack serveur: Serveurs complets avec aucun des composants et des pièces pour l'expansion du matériel partagé, serveurs en rack sont le vrai choix pour Hadoop parce qu'ils sont bien autonome. Un serveur rack qui est configuré de manière appropriée pour être un nœud esclave Hadoop occupe généralement deux RU, de sorte que vous pouvez adapter à 20 d'entre eux dans un rack standard.

Coût de propriété

Lors du choix et de la conception d'un noeud esclave, vos considérations les plus importantes sont généralement les coûts d'approvisionnement initiales et le volume de stockage. Cependant, le coût de propriété est également important. Il est une question d'équilibre, cependant, parce que les choix incidence sur le coût de l'approvisionnement, la consommation d'énergie, le refroidissement, la performance du matériel, et la densité sont souvent en opposition. Au nom de vous aider faire les bons choix, voici quelques conseils (très précis):

• Réservez alimentations redondantes pour les nœuds maîtres. Avoir des alimentations redondantes pour les nœuds esclaves est excessif - une panne d'alimentation électrique dans un noeud esclave ne serait pas grandement affecter la grappe. Cependant, ayant des alimentations redondantes sur tous les nœuds esclaves augmenterait la consommation d'énergie et de générer plus de chaleur.

• Choisissez middle-of-the-road accélère horloge pour esclave processeurs de noeud. CPU avec horloge des vitesses supérieures, non seulement coûtent plus cher, mais utilisent également plus de puissance et génèrent beaucoup plus de chaleur.

• Choisissez serveurs en rack qui sont conçus pour Hadoop. Avec la popularité croissante de Hadoop, tous les grands fournisseurs de matériel proposent désormais des serveurs en rack qui sont des nœuds esclaves idéales, avec 12 à 20 baies de disques pour le stockage attaché localement.

  Serveurs en rack conçu pour fonctionner comme des nœuds esclaves Hadoop sont généralement trop gros pour tenir dans un facteur de forme d'un RU, mais prendre deux EF peut entraîner dans l'espace gaspillé. Pour une utilisation plus efficace de l'espace, certains fournisseurs de matériel ont publié des serveurs en rack qui entassent nœuds esclaves multiples dans un seul châssis.

  Par exemple, dans cette forme compressée, un rack standard peut avoir autant que 27 nœuds esclaves (même avec les commutateurs de réseau), où chaque noeud esclave de la place pour 15 lecteurs de disques pour les HDFS. Le résultat de cette disposition est bien plus forte densité et une meilleure utilisation de l'espace dans le centre de données.