Introduction à Hadoop

Interagir avec HDFS

HDFS est un système de fichier comme vous en avez l'habitude : vous pouvez l’explorer, y enregistrer des fichiers, y créer des dossiers, etc. La seule différence est que ce système de fichier est distribué : les éléments du système de fichiers sont répartis sur les machines du cluster.

Lister les élements du dossier courant : ls

CTRL+C pour copier, CTRL+V pour coller
1
$ ./bin/hadoop fs -ls
$ ./bin/hadoop fs -ls

Par défaut, comme nous l'avons vu quand nous parlions du mode standalone, Hadoop va utiliser votre machine actuelle comme le seul nœud d'un cluster local. Cependant, vous pourriez donc aussi indiquer à Hadoop à quel système de fichier vous souhaitez vous connecter (pour gérer des clusters distants par exemple) :

CTRL+C pour copier, CTRL+V pour coller
1
$ ./bin/hadoop fs -ls hdfs://mycluster/directory
$ ./bin/hadoop fs -ls hdfs://mycluster/directory

Créer un dossier : mkdir

CTRL+C pour copier, CTRL+V pour coller
1
$ ./bin/hadoop fs -mkdir contrib
$ ./bin/hadoop fs -mkdir contrib

Envoyer un fichier local sur le système distant : copyFromLocal

CTRL+C pour copier, CTRL+V pour coller
1
$ ./bin/hadoop fs -copyFromLocal README.txt contrib
$ ./bin/hadoop fs -copyFromLocal README.txt contrib

Récupérer un fichier distant en local : copyToLocal

CTRL+C pour copier, CTRL+V pour coller
1
$ ./bin/hadoop fs -copyToLocal contrib/README.txt README_HDFS.txt
$ ./bin/hadoop fs -copyToLocal contrib/README.txt README_HDFS.txt
PrécédentPrécédentSuivantSuivant
AccueilAccueilImprimerImprimer Titouan Galopin, Bruno Da Silva, Stéphane Karagulmez, 2013-2017 (Contributions : Stéphane Crozat, les étudiants de l'UTC) Paternité - Partage des Conditions Initiales à l'IdentiqueRéalisé avec Scenari (nouvelle fenêtre)