Hadoop Distributed File System

Utilisation pratique d'un cluster

Méthode

Le but d'un système de fichiers étant d'avoir des fichiers, nous allons uploader les fichiers de configurations présents dans le répertoire etc/hadoop d'Hadoop. Auparavant, nous allons créer un dossier import pour pouvoir ajouter ensuite nos fichiers.

CTRL+C pour copier, CTRL+V pour coller
1
hdfs dfs -mkdir import
2
hdfs dfs -put $HADOOP_PREFIX/etc/hadoop/*.xml import
hdfs dfs -mkdir import
hdfs dfs -put $HADOOP_PREFIX/etc/hadoop/*.xml import

Ensuite, pour permettre de vérifier la bonne distribution des noeuds, nous allons lancer un job très simple présent dans Hadoop :

CTRL+C pour copier, CTRL+V pour coller
1
hadoop jar $HADOOP_PREFIX/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar pi 2 5
hadoop jar $HADOOP_PREFIX/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar pi 2 5

Durant l'exécution du job, nous pouvons utiliser la commande suivante dans le but de vérifier l'exécution de notre job :

CTRL+C pour copier, CTRL+V pour coller
1
hadoop job -list
hadoop job -list
PrécédentPrécédentSuivantSuivant
AccueilAccueilImprimerImprimer Thomas Perrin, Bruno Da Silva, Stéphane Karagulmez, 2013-2017 (Contributions : Stéphane Crozat et les étudiants de l'UTC) Paternité - Pas d'Utilisation Commerciale - Partage des Conditions Initiales à l'IdentiqueRéalisé avec Scenari (nouvelle fenêtre)