Couche 0 de la grande pile de données: l'infrastructure physique redondante

Au niveau le plus bas de la grande pile de données est l'infrastructure physique. Votre entreprise peut-être déjà un centre de données ou les investissements réalisés dans les infrastructures physiques, de sorte que vous allez vouloir pour trouver un moyen d'utiliser les actifs existants.

Big implémentations de données ont des exigences très précises sur tous les éléments de l'architecture de référence, si vous avez besoin d'examiner ces exigences sur une base couche par couche pour assurer que votre mise en œuvre et effectuera l'échelle selon les exigences de votre entreprise.

Une liste prioritaire des principes grandes de données devrait inclure des déclarations concernant ce qui suit:

• Performance: Comment réagit-vous besoin du système pour être? Performance, également appelé latence, est souvent mesuré bout à bout, sur la base d'une seule opération ou une demande de requête.

• Disponibilité: Avez-vous besoin d'une garantie de disponibilité de 100 pour cent de service? Combien de temps votre entreprise peut attendre dans le cas d'une interruption de service ou de l'échec?

• 
  
  
  
  

  Évolutivité: Quelle est la taille de votre infrastructure ne doivent être? De combien d'espace disque est nécessaire aujourd'hui et dans l'avenir? Combien de puissance de calcul que vous avez besoin? Typiquement, vous devez décider ce que vous avez besoin et ensuite ajouter un peu plus d'ampleur des défis inattendus.

• Flexibilité: Combien de temps pouvez-vous ajouter plus de ressources à l'infrastructure? Comment rapidement votre infrastructure peut récupérer des échecs?

• Coût: Que pouvez-vous vous permettre? Parce que l'infrastructure est un ensemble de composants, vous pourriez être en mesure d'acheter le “ mieux ” la mise en réseau et de décider d'économiser de l'argent sur le stockage. Vous avez besoin d'établir des exigences pour chacun de ces domaines dans le cadre d'un budget global, puis faire des compromis si nécessaire.

Comme Big Data est tout à grande vitesse, volume élevé, et la variété de haute données, l'infrastructure physique va littéralement “ faire ou défaire ” la mise en oeuvre. La plupart des grandes implémentations de données doivent être hautement disponible, de sorte que le réseaux, les serveurs et le stockage physique doivent être à la fois résilient et redondant. La résilience et la redondance sont interdépendants.

Une infrastructure, ou d'un système, est résistant à l'échec ou des modifications lorsque les ressources redondantes suffisantes sont en place, prêt à passer à l'action. Redondance assure qu'un tel dysfonctionnement ne sera pas provoquer une panne. Résilience aide à éliminer les points de défaillance uniques dans votre infrastructure.

Dans les grands centres de données avec des exigences de continuité d'activité, plus de la redondance est en place et peut être exploité pour créer un environnement grand de données. Dans les nouvelles implémentations, les concepteurs ont la responsabilité de cartographier le déploiement aux besoins de l'entreprise en fonction des coûts et de la performance.

Cela signifie que la complexité technique et opérationnelle est masqué derrière un ensemble de services, chacun avec des termes spécifiques pour la performance, la disponibilité, la récupération, et ainsi de suite. Ces termes sont décrits dans les accords de niveau de service (SLA) et sont généralement négociés entre le fournisseur de services et le client, avec des pénalités pour non-conformité.

En effet, cela crée un centre de données virtuel. Même avec cette approche, vous devriez toujours savoir ce qui est nécessaire pour construire et exécuter un grand déploiement de données de sorte que vous pouvez faire les sélections les plus appropriées à partir des offres de services disponibles. Malgré un SLA, votre organisation a toujours la responsabilité ultime de la performance.

Grands réseaux de données redondantes physique

Les réseaux doivent être redondants et doivent avoir une capacité suffisante pour accueillir le volume prévu et la vitesse des données entrantes et sortantes en plus de la “ normale ” la circulation rencontrées par les activités de réseau. Comme vous commencez à faire des gros volumes de données une partie intégrante de votre stratégie informatique, il est raisonnable de s'attendre à volume et la vitesse d'augmenter.

Les concepteurs d'infrastructure devraient planifier ces augmentations prévues et essayer de créer des implémentations physiques qui sont “ n ° 148 élastique. Comme le trafic réseau flux et reflux, il en va de l'ensemble des actifs physiques associés à la mise en œuvre. Votre infrastructure devrait offrir des capacités de surveillance afin que les opérateurs peuvent réagir lorsque davantage de ressources sont nécessaires pour tenir compte des changements dans la charge de travail.

Gérer grand matériel de données: Stockage et serveurs

De même, le matériel (stockage et serveur) actifs doit avoir la vitesse et la capacité suffisante pour traiter toutes les grandes capacités de données attendues. Il est de peu d'utilité d'avoir un réseau à grande vitesse avec des serveurs lents parce que les serveurs seront très probablement devenir un goulot d'étranglement. Cependant, un ensemble très rapide des serveurs de stockage et de calcul peut surmonter les performances du réseau variable. Bien sûr, rien ne fonctionne correctement que si les performances du réseau est faible ou peu fiables.

Grandes opérations d'infrastructures de données

Une autre conception importante considération est la gestion des opérations d'infrastructure. Les plus hauts niveaux de performance et de flexibilité seront présents uniquement dans un environnement bien géré. Les gestionnaires de centres de données doivent être en mesure d'anticiper et de prévenir les défaillances catastrophiques de sorte que l'intégrité des données, et par extension les processus d'affaires, est maintenu. Les organisations informatiques négligent souvent sous-investissent et donc dans ce domaine.