Les options de commande hadoop de dfsadmin

La dfsadmin outils sont un ensemble spécifique d'outils conçus pour vous aider à extirper des informations sur votre système Hadoop Distributed File (HDFS). Comme un bonus supplémentaire, vous pouvez les utiliser pour effectuer des opérations d'administration sur HDFS ainsi.

Option	Ce qu'il fait
-rapport	Rapports informations et des statistiques du système de fichiers de base.
-safemode entrer \| laisser \| obtenir \| patienter	Gère sûr mode, un état dans lequel NameNode change de nom Tothe l'espace ne sont pas acceptées et les blocs peut être neitherreplicated ni supprimé. Le NameNode est en mode sans échec duringstart-up afin qu'il ne démarre pas prématurément replicatingblocks Même si il ya déjà suffisamment de répliques dans thecluster.
-refreshNodes	Force le NameNode de relire sa configuration, y compris ladfs.hosts.exclude fichier. Les NameNodedecommissions noeuds après leurs blocs ont été répliquées ontomachines qui resteront actives.
-finalizeUpgrade	Termine le processus de mise à niveau HDFS. Répertoires DataNodes et NameNodedelete de travail de la version précédente.
-état upgradeProgress \| détails \| vigueur	Prie le standard ou état actuel de mise à niveau thedistributed détaillée, ou force la mise à niveau de procéder.
-filename metasave	Enregistre des structures de données primaires de la NameNode à nom de fichier dans un répertoire that'sspecified par le hadoop.log.dir property.File nom de fichier, qui isoverwritten si elle existe déjà, contient une ligne pour chaque Sur ce nombre éléments: a) DataNodes qui sont échangent des battements de coeur avec theNameNode- b) blocs qui sont en attente d'être c) replicated- blocksthat sont replicated- et D) des blocs qui sont en attente estsupprimé.
-setQuota ...	Définit une limite supérieure sur le nombre de noms dans le directorytree. Vous pouvez définir cette limite (un entier long) pour une ou moredirectories simultanément.
-clrQuota...	Efface la limite supérieure sur le nombre de noms dans le directorytree. Vous pouvez effacer cette limite pour une ou plusieurs directoriessimultaneously.
-restoreFailedStorage true \| false \| chèque	Active ou désactive les tentatives automatiques pour rétablir répliques de failedstorage. Si un emplacement de stockage défectueux devient availableagain, le système tente de restaurer les modifications et l'fsimage lors d'un point de contrôle. L'option de vérification retourne le réglage actuel.
-aider [cmd]	Affiche l'aide de la commande donnée ou pour allcommands si aucun est spécifié.

A propos Auteur

Hadoop système de fichiers distribué (HDFS) haute disponibilité

Souvent dans l'enfance de Hadoop, une grande quantité de discussion a été centrée sur la représentation de la NameNode d'un point de défaillance unique. Hadoop, dans l'ensemble, a toujours eu une architecture robuste et tolérants aux pannes,…

Hadoop Distributed File commandes shell du système

La Shell Hadoop est une famille de commandes que vous pouvez exécuter à partir de la ligne de commande de votre système d'exploitation. La coquille a deux ensembles de commandes: une pour la manipulation de fichiers (semblables dans le but et la…

Hadoop pour les nuls

Système de fichiers distribué Hadoop (HDFS des) pour les grands projets de données

Le système de fichiers distribués Hadoop est un résilient approche polyvalente, cluster à la gestion des fichiers dans un environnement grand de données. HDFS est pas la destination finale pour les fichiers. Au contraire, il est un service de…

Entrée divise dans le MapReduce Hadoop de

La façon HDFS a été mis en place, il se décompose très gros fichiers dans de grands blocs (par exemple, mesure 128 Mo), et stocke trois exemplaires de ces blocs sur les différents nœuds du cluster. HDFS n'a pas connaissance du contenu de ces…

Gardez une trace de blocs de données avec NameNode dans HDFS

Le NameNode agit comme le carnet d'adresses pour le système de fichiers distribués Hadoop (HDFS) parce qu'il sait non seulement ce qui bloque constituent des fichiers individuels, mais aussi où chacun de ces blocs et leurs répliques sont…

Gestion des données de grandes avec Hadoop HDFS et MapReduce:

Hadoop, un framework logiciel open-source, utilise HDFS (le système de fichiers distribués Hadoop) et MapReduce pour analyser les données de grandes sur des groupes de produits de base sur le matériel qui est, dans un environnement de calcul…

Gestion des fichiers avec les commandes du système de fichiers Hadoop

HDFS est l'une des deux principales composantes de l'Hadoop Structures à l'autre est le paradigme de calcul connu comme MapReduce. UN système de fichiers distribué est un système de fichier qui gère le stockage dans un cluster en réseau des…

Nœuds de Master dans les clusters Hadoop

Les nœuds maîtres dans les clusters Hadoop distribués abritent les différents services de stockage et de gestion de traitement, décrits dans cette liste, pour l'ensemble du cluster Hadoop. La redondance est essentiel pour éviter les points de…

Réplication de blocs de données dans le système de fichiers Hadoop distribué

Distributed File System Hadoop (HDFS) est conçu pour stocker des données sur peu coûteux et plus fiable, le matériel. Peu coûteux a une jolie bague à elle, mais elle soulève des préoccupations quant à la fiabilité du système dans son…

Mettre en place l'environnement de Hadoop avec bigtop apache

Si vous êtes à l'aise de travailler avec VM et Linux, vous pouvez installer Bigtop sur un autre VM que ce qui est recommandé. Si vous êtes vraiment audacieux et avoir le matériel, allez-y et essayez d'installer Bigtop sur un cluster de machines…

Défaillances de nœuds et disques esclaves dans HDFS

Comme la mort et les impôts, les pannes de disque (et assez de temps donné, même les échecs nœud ou rack), sont inévitables dans le système Hadoop Distributed File (HDFS). Dans l'exemple montré, même si un seul rack devait échouer, le…

Nœuds esclaves dans le système de fichiers distribué Hadoop (HDFS)

Dans un cluster Hadoop, chaque noeud de données (également connue en tant que nœud esclave) Exécute un processus de fond nommée DataNode. Ce processus d'arrière-plan (également connu en tant que démon) Garde la trace des tranches de données…

L'écosystème Hadoop Apache

Hadoop est plus que MapReduce et HDFS (Distributed File System Hadoop): Il est également une famille de projets connexes (un écosystème, vraiment) pour le calcul distribué et le traitement de données à grande échelle. La plupart (mais pas…

godiches.com » Ordinateurs et logiciels » Big Data » Gestion des données » Les options de commande hadoop de dfsadmin