Hadoop Distributed File commandes shell du système

chgrp: Modifie l'association de groupe de fichiers. Avec -R, rend le changement de manière récursive par le biais de la structure de répertoire. L'utilisateur doit être le propriétaire du fichier ou le super-utilisateur.

Utilisation: HDFS DFS -chgrp [-R] GROUPE URI [URI # 133-]

chmod: Modifie les permissions des fichiers. Avec -R, rend le changement de manière récursive par le biais de la structure de répertoire. L'utilisateur doit être le propriétaire du fichier ou le super-

Utilisation: HDFS DFS -chmod [-R] URI [URI # 133-]

Exemple: HDFS DFS -chmod 777 test / data1.txt

chown: Change le propriétaire des fichiers. Avec -R, rend le changement de manière récursive par le biais de la structure de répertoire. L'utilisateur doit être le super-utilisateur.

Utilisation: HDFS DFS -chown [-R] [le propriétaire] [: [GROUPE]] URI [URI]

Exemple: HDFS DFS -chown -R hduser2 / opt / Hadoop / logs

copyFromLocal: Fonctionne de façon similaire à la mettre commande, sauf que la source est limitée à une référence de fichier local.

Utilisation: HDFS DFS -copyFromLocal URI

Exemple: HDFS dfs -copyFromLocal entrée / docs / HDFS data2.txt: //localhost/user/rosemary/data2.txt

copyToLocal: Fonctionne de façon similaire à la obtenir commande, sauf que la destination est limitée à une référence de fichier local.

Utilisation: HDFS DFS -copyToLocal [-ignorecrc] [-crc] URI

Exemple: HDFS DFS -copyToLocal data2.txt data2.copy.txt

compter: Compte le nombre de répertoires, fichiers et d'octets dans les chemins qui correspondent au modèle de fichier spécifié.

Utilisation: HDFS DFS -count [q]

Exemple: HDFS DFS -count HDFS: //nn1.example.com/file1 HDFS: //nn2.example.com/file2

cp: Copie un ou plusieurs fichiers à partir d'une source spécifiée vers une destination spécifiée. Si vous spécifiez plusieurs sources, la destination spécifiée doit être un répertoire.

Utilisation: HDFS DFS -cp URI [URI # 133-]

Exemple: HDFS DFS -cp / user / Hadoop / file1 / user / Hadoop / fichier2 / user / Hadoop / dir

du: Affiche la taille du fichier spécifié, ou les tailles des fichiers et des répertoires qui sont contenus dans le répertoire spécifié. Si vous spécifiez le -s option affiche un résumé global de la taille des fichiers plutôt que la taille des fichiers individuels. Si vous spécifiez le -h option formate la taille des fichiers d'une manière "lisible".

Utilisation: HDFS DFS -du [-s] [-h] URI [URI # 133-]

Exemple: HDFS DFS -du / user / Hadoop / dir1 / user / Hadoop / file1

DUS: Affiche un résumé de l'équivalent de fichier HDFS DFS -du -s.

Utilisation: HDFS DFS -dus

effacer: Vide la corbeille. Lorsque vous supprimez un fichier, il est pas immédiatement retiré de HDFS, mais est renommé à un fichier dans le /déchets répertoire. Tant que le fichier reste là, vous pouvez restaurer si vous changez d'avis, bien que la dernière copie du fichier supprimé peut être restauré.

Utilisation: HDFS DFS -expunge

obtenir: Copie les fichiers sur le système de fichiers local. Les fichiers qui échoue à un contrôle de redondance cyclique (CRC) peuvent encore être copiés si vous spécifiez le -ignorecrc option. Le CRC est une technique courante pour détecter les erreurs de transmission de données. Fichiers de vérification CRC ont la .CRC l'extension et sont utilisés pour vérifier l'intégrité des données d'un autre fichier. Ces fichiers sont copiés si vous spécifiez le -CRC option.

Utilisation: HDFS DFS -get [-ignorecrc] [-crc]

Exemple: HDFS DFS -get / user / Hadoop / file3 localfile

getmerge: Concatène les fichiers src et écrit le résultat dans le fichier de destination local spécifié. Pour ajouter un caractère de nouvelle ligne à la fin de chaque fichier, spécifiez le addnl option.

Utilisation: HDFS DFS -getmerge [addnl]

Exemple: HDFS DFS -getmerge / user / Hadoop / mydir / ~ / addnl RESULT_FILE

ls: Retours statistiques pour les fichiers ou les répertoires spécifiés.

Utilisation: HDFS DFS -ls

Exemple: HDFS DFS -ls / user / Hadoop / file1

lsr: Sert de la version récursive de ls- similaire à la commande Unix ls -R.

Utilisation: HDFS DFS -lsr

Exemple: HDFS DFS -lsr / user / Hadoop

mkdir: Crée des répertoires sur un ou plusieurs chemins spécifiés. Son comportement est similaire à la Unix mkdir -p commande, ce qui crée tous les répertoires qui mènent vers le répertoire spécifié si elles ne sont pas déjà.

Utilisation: HDFS DFS -mkdir

Exemple: HDFS DFS -mkdir / user / Hadoop / dir5 / temp

moveFromLocal: Fonctionne de façon similaire à la mettre commande, sauf que la source est supprimé après la copie.

Utilisation: HDFS DFS -moveFromLocal

Exemple: HDFS DFS -moveFromLocal localfile1 localfile2 / user / Hadoop / hadoopdir

mv: Déplace un ou plusieurs fichiers à partir d'une source spécifiée vers une destination spécifiée. Si vous spécifiez plusieurs sources, la destination spécifiée doit être un répertoire. Déplacement de fichiers entre systèmes de fichiers est interdit.

Utilisation: HDFS DFS -mv URI [URI # 133-]

Exemple: HDFS DFS -mv / user / Hadoop / file1 / user / Hadoop / file2

mettre: Copie les fichiers du système de fichiers local au système de fichier de destination. Cette commande peut également lire des données depuis stdin et écrire dans le système de fichiers de destination.

Utilisation: HDFS DFS -put ...

Exemple: HDFS DFS -put localfile1 localfile2 / user / Hadoop / hadoopdir- HDFS DFS -put - / user / Hadoop / hadoopdir (lit entrée de stdin)

rm: Supprime un ou plusieurs fichiers spécifiés. Cette commande ne supprime pas les répertoires ou des fichiers vides. Pour contourner la poubelle (si elle est activée) et supprimer les fichiers spécifiés immédiatement, spécifiez le -skipTrash option.

Utilisation: HDFS DFS -rm [-skipTrash] URI [URI # 133-]

Exemple: HDFS DFS -rm HDFS: //nn.example.com/file9

RMR: Sert de la version récursive de -rm.

Utilisation: HDFS DFS -rmr [-skipTrash] URI [URI # 133-]

Exemple: HDFS DFS -rmr / user / Hadoop / dir

setrep: Modifie le facteur de réplication pour un fichier ou un répertoire spécifié. Avec -R, rend le changement de manière récursive par le biais de la structure de répertoire.

Utilisation: HDFS DFS -setrep [-R]

Exemple: HDFS dfs -setrep 3 -R / user / Hadoop / dir1

stat: Affiche des informations sur le chemin d'accès spécifié.

Utilisation: DFS HDFS -STAT URI [URI # 133-]

Exemple: HDFS DFS -stat / user / Hadoop / dir1

queue: Affiche la dernière kilo-octet d'un fichier spécifié stdout. La syntaxe soutient l'Unix -F option, qui permet le fichier spécifié à surveiller. Comme de nouvelles lignes sont ajoutées au fichier par un autre processus, ttous met à jour l'affichage.

Utilisation: HDFS DFS -tail [-f] URI

Exemple: HDFS DFS -tail / user / Hadoop / dir1

test: Renvoie les attributs du fichier ou du répertoire spécifié. Indique -e pour déterminer si le fichier ou le répertoire exists- -z pour déterminer si le fichier ou le répertoire est empty- et -ré pour déterminer si l'URI est un répertoire.

Utilisation: HDFS DFS -test - [EZD] URI

Exemple: HDFS DFS -test / user / Hadoop / dir1

texte: Affiche un fichier source spécifié au format texte. Formats de fichiers d'entrée valides sont fermeture éclair et TextRecordInputStream.

Utilisation: HDFS DFS -text

Exemple: HDFS DFS -text /user/hadoop/file8.zip

touchz: Crée un nouveau fichier vide de la taille 0 dans le chemin d'accès spécifié.

Utilisation: HDFS DFS -touchz

Exemple: HDFS DFS -touchz / user / Hadoop / file12