Commandes d'administration Hadoop

Tout administrateur Hadoop digne doit maîtriser un ensemble complet de commandes pour l'administration de cluster. La liste suivante récapitule les commandes les plus importantes, indiquant que la commande ne fait ainsi que la syntaxe et des exemples. Connaissez-les, et vous avancerez un long chemin sur la voie de la sagesse Hadoop.

• équilibreur: Exécute l'utilitaire de cluster d'équilibrage. La valeur de seuil spécifiée, ce qui représente un pourcentage de la capacité du disque, est utilisé pour remplacer la valeur de seuil par défaut (10 pour cent). Pour arrêter le processus de rééquilibrage, appuyez sur Ctrl + C.

  Syntaxe: Hadoop équilibreur [Nveau ]

  Exemple: Hadoop équilibreur Nveau 20

• daemonlog: Obtient ou définit le niveau de journalisation pour chaque démon (également connu en tant que service). Se connecte à http: // hôte: port / logLevel log = nom et gravures ou définit le niveau du démon qui est en cours d'exécution au journal host: port. Démons Hadoop générer des fichiers journaux qui vous aident à déterminer ce qui se passe sur le système, et vous pouvez utiliser la daemonlog commande pour modifier temporairement le niveau d'un composant Hadoop journal lorsque vous êtes le débogage du système. Le changement devient effective lorsque le démon redémarre.

  Syntaxe: Hadoop daemonlog -getlevel - Hadoop daemonlog -setlevel

  Exemple: Hadoop daemonlog -getlevel 10.250.1.15:50030 org.apache.hadoop.mapred.JobTracker- hadoop daemonlog -setlevel 10.250.1.15:50030 org.apache.hadoop.mapred.JobTracker DEBUG

• datanode: Exécute le service de DataNode HDFS, qui coordonne le stockage sur chaque nœud esclave. Si vous spécifiez -rollback, l'DataNode est annulée à la version précédente. Arrêtez le DataNode et distribuer la version précédente Hadoop avant d'utiliser cette option.

  Syntaxe: Hadoop datanode [-rollback]

  
  
  
  
  

  Exemple: Hadoop datanode -rollback

• dfsadmin: Exécute un certain nombre de Hadoop Distributed File System (HDFS) des opérations administratives. Utilisez le -Aidez-moi option pour voir une liste de toutes les options prises en charge. Les options génériques sont un ensemble commun des options supportées par plusieurs commandes.

  Syntaxe: Hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode entrer | laisser | obtenir | attendre] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress état | détails | vigueur] [filename -metasave] [-setQuota ...] [-clrQuota ...] [-restoreFailedStorage True | false | chèque] [-help [cmd]]

• mradmin: Exécute un certain nombre d'opérations administratives MapReduce. Utilisez le -Aidez-moi option pour voir une liste de toutes les options prises en charge. Encore une fois, les options génériques sont un ensemble commun d'options qui sont soutenus par plusieurs commandes. Si vous spécifiez -refreshServiceAcl, recharge le fichier de politique d'autorisation de niveau de service (JobTracker recharge le fichier de politique d'autorisation) - -refreshQueues Recharge les listes de contrôle d'accès de file d'attente (ACL) et l'Etat (JobTracker recharge la mapred-queues.xml fichier)- -refreshNodes rafraîchit les informations des hôtes à la JobTracker- -refreshUserToGroupsMappings rafraîchit l'utilisateur à des groupes-mappings- -refreshSuperUserGroupsConfiguration refreshes groupes de proxys super-utilisateur et mappings- -aider [cmd] affiche l'aide pour la commande donnée ou pour toutes les commandes si aucun est spécifié.

  Syntaxe: Hadoop mradmin [GENERIC_OPTIONS] [-refreshServiceAcl] [-refreshQueues] [-refreshNodes] [-refreshUserToGroupsMappings] [-refreshSuperUserGroupsConfiguration] [-help [cmd]]

  Exemple: Hadoop mradmin -help -refreshNodes

• JobTracker: Exécute le nœud MapReduce JobTracker, qui coordonne le système de traitement de données pour Hadoop. Si vous spécifiez -dumpConfiguration, la configuration qui est utilisé par le JobTracker et la configuration de file d'attente au format JSON sont écrits sur la sortie standard.

  Syntaxe: Hadoop JobTracker [-dumpConfiguration]

  Exemple: Hadoop JobTracker -dumpConfiguration

• NameNode: Exécute le NameNode, qui coordonne le stockage pour l'ensemble du cluster Hadoop. Si vous spécifiez -format, l'NameNode est commencé, formaté, puis avec arrêt- -améliorer, l'NameNode commence avec l'option de mise à niveau après une nouvelle version Hadoop est distributed- avec -rollback, l'NameNode est annulée à la version précédente (souvenez-vous d'arrêter le cluster et distribuer la version précédente avant d'utiliser Hadoop cette option) - avec -finaliser, l'état précédent du système de fichier est supprimé, la mise à niveau la plus récente devient permanente, restauration est plus disponible, et l'arrêt-NameNode est enfin, avec -importCheckpoint, une image est chargé à partir du répertoire de point de contrôle (comme spécifié par le fs.checkpoint.dir la propriété) et enregistré dans le répertoire courant.

  Syntaxe: Hadoop NameNode [-format] | [-upgrade] | [-rollback] | [-Finaliser] | [-importCheckpoint]

  Exemple: Hadoop NameNode -Finaliser

• NameNode secondaire: Exécute le NameNode secondaire. Si vous spécifiez -point de contrôle, un point de contrôle sur la NameNode secondaire est effectuée si la taille de la EditLog (un journal de transactions qui enregistre chaque changement qui se produit aux métadonnées du système de fichiers) est supérieure ou égale à fs.checkpoint.size- spécifier -force et un point de contrôle est effectuée indépendamment de la EditLog SIZE- spécifier -geteditsize et la taille EditLog est imprimé.

  Syntaxe: Hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]

  Exemple: Hadoop de la -geteditsize

• TaskTracker: Exécute un nœud MapReduce TaskTracker.

  Syntaxe: Hadoop TaskTracker

  Exemple: Hadoop TaskTracker