Utilisation pratique d'un cluster
Méthode :
Le but d'un système de fichiers étant d'avoir des fichiers, nous allons uploader les fichiers de configurations présents dans le répertoire etc/hadoop d'Hadoop. Auparavant, nous allons créer un dossier import pour pouvoir ajouter ensuite nos fichiers.
1
hdfs dfs -mkdir import2
hdfs dfs -put $HADOOP_PREFIX/etc/hadoop/*.xml import
Ensuite, pour permettre de vérifier la bonne distribution des noeuds, nous allons lancer un job très simple présent dans Hadoop :
1
hadoop jar $HADOOP_PREFIX/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar pi 2 5
Durant l'exécution du job, nous pouvons utiliser la commande suivante dans le but de vérifier l'exécution de notre job :
1
hadoop job -list
