Dimensionnement votre cluster hadoop

Dimensionnement tout système de traitement de données est autant une science car elle est un art. Avec Hadoop, vous considérez les mêmes informations que vous le feriez avec une base de données relationnelle, par exemple. Plus important encore, vous avez besoin de savoir combien de données vous avez, estimer ses taux de croissance attendus, et d'établir une politique de rétention (combien de temps conserver les données).

Les réponses à ces questions servent de votre point de départ, qui est indépendante de toutes les exigences liées à la technologie.

Après avoir déterminé la quantité de données que vous devez stocker, vous pouvez commencer à l'affacturage dans Hadoop considérations spécifiques. Supposons que vous avez une entreprise de télécommunications et que vous avez établi que vous avez besoin de 750 téraoctets (To) d'espace de stockage pour son enregistrement de détail d'appel (CDR) des fichiers journaux.

Vous conservez ces dossiers pour respecter la réglementation gouvernementale, mais vous pouvez aussi les analyser pour voir des modèles de désabonnement et la santé du réseau de surveillance, par exemple. Pour déterminer combien d'espace de stockage dont vous avez besoin et, par conséquent, le nombre de racks et nœuds esclaves dont vous avez besoin, vous effectuez vos calculs avec ces facteurs à l'esprit:

• Réplication: Le facteur de réplication par défaut pour les données HDFS est 3. Les 500 téraoctets de données CDR pour l'entreprise de télécommunications dans l'exemple se transforme alors en 1500 téraoctets.

• 
  
  
  
  

  Espace d'échange: Toute analyse ou de traitement des données par MapReduce a besoin d'un 25 pour cent d'espace supplémentaire pour stocker des jeux de résultats intermédiaires et finaux. (La société de télécommunications a maintenant besoin de 1875 téraoctets d'espace de stockage.)

• Compression: L'entreprise de télécommunications enregistre les CDR dans une forme compressée, où on prévoit que le ratio moyen de compression pour être de 3: 1. Vous devez maintenant 625 téraoctets.

• Nombre de nœuds esclaves: En supposant que chaque nœud esclave a douze disques de 3 To réservés aux HDFS, chaque nœud esclave dispose de 36 téraoctets de stockage brut HDFS disponibles, afin que l'entreprise a besoin de 18 nœuds esclaves.

• Nombre de grilles: Parce que chaque nœud esclave utilise 2RU et la société dans l'exemple a besoin de trois nœuds maîtres (1 RU chacun) et deux commutateurs de TdR (1RU chacun), vous avez besoin d'un total de 41RU. Il est 1RU moins de la capacité totale d'un rack standard, donc un seul rack est suffisante pour ce déploiement.

  Peu importe, pas de place pour la croissance reste dans ce cluster, il est donc prudent d'acheter une seconde crémaillère (et deux commutateurs TOR supplémentaires) et de diviser les nœuds esclaves entre les deux supports.

• Test: Le maintien d'un cluster de test qui est une représentation à plus petite échelle de la grappe de la production est une pratique courante. Il n'a pas besoin d'être énorme, mais vous voulez au moins cinq noeuds de données de sorte que vous obtenez une représentation précise du comportement de Hadoop. Comme avec n'importe quel environnement de test, il doit être isolé sur un réseau différent du groupe de production.

• Sauvegarde et de reprise après sinistre: Comme tout système de production, l'entreprise de télécommunications devra également tenir compte des exigences de sauvegarde et de reprise après sinistre. Cette entreprise pourrait aller aussi loin que de créer un cluster de miroir pour assurer qu'ils ont une hot standby pour l'ensemble de leur système. Ceci est évidemment l'option la plus coûteuse, mais est approprié pour les environnements où la disponibilité constante est critique.

  A la fin la moins chère de la gamme (au-delà de ne pas sauvegarder les données du tout), l'entreprise de télécommunications pourrait sauvegarder régulièrement toutes les données (y compris les données elle-même, les applications, les fichiers de configuration, et les métadonnées) étant stockés dans leur cluster de production sur la bande. Avec bande, les données ne sont pas immédiatement accessible, mais il permettra à un effort de reprise après sinistre dans le cas où l'ensemble de la production clusters Hadoop échoue.

Comme avec votre propre ordinateur personnel, lorsque le principal disque dur se remplit avec l'espace, le système ralentit considérablement. Hadoop ne fait pas exception. Aussi, un disque dur plus performant quand il est inférieur à 85 à 90 pour cent complet. Avec cette information à l'esprit, si la performance est important pour vous, vous devriez cognez le facteur swap espace de 25 à 33 pour cent.