Hadoop en production

Afficher le planAfficher le plan

Compiler une classe et lancer un job Hadoop Java

Compiler la classe

Vérifiez d'abord que ces variables d'environnements sont définies :

num. | Ligne | texte | copie |
CTRL+C pour copier, CTRL+V pour coller
1
export JAVA_HOME=/usr/java/default
2
export PATH=${JAVA_HOME}/bin:${PATH}
3
export HADOOP_CLASSPATH=${JAVA_HOME}/lib/tools.jar
export JAVA_HOME=/usr/java/default
export PATH=${JAVA_HOME}/bin:${PATH}
export HADOOP_CLASSPATH=${JAVA_HOME}/lib/tools.jar

Pour compiler la classe, c'est très simple, on lance les commandes suivantes :

num. | Ligne | texte | copie |
CTRL+C pour copier, CTRL+V pour coller
1
bin/hadoop com.sun.tools.javac.Main WordCount.java
2
jar cf wc.jar WordCount*.class
bin/hadoop com.sun.tools.javac.Main WordCount.java
jar cf wc.jar WordCount*.class

( bin/hadoop doit être le chemin vers votre exécutable Hadoop )

Lancer le programme

Pour lancer le programme, créez d'abord un dossier input où vous voulez et placez y des fichiers. Exécutez la commande suivante :

num. | Ligne | texte | copie |
CTRL+C pour copier, CTRL+V pour coller
1
bin/hadoop jar wc.jar WordCount /path_to_input_folder/input /path_to_output_folder/output
bin/hadoop jar wc.jar WordCount /path_to_input_folder/input /path_to_output_folder/output

Remarque : Le dossier output ne doit pas exister, mais le chemin jusqu'au dossier doit exister.

PrécédentPrécédentSuivantSuivant
AccueilAccueilImprimerImprimer Leymarie Pierre-Gilles, Bruno Da Silva, Stéphane Karagulmez, 2013-2017 (Contributions : Stéphane Crozat, les étudiants de l'UTC) Réalisé avec Scenari (nouvelle fenêtre)