MapReduce dans Hadoop

Cours

Déroulement de la présentation

Principe du Map

Concept général du Map

Dans l'étape Map, le but est de partir d'un couple <clé, valeur> et d'y associé de nouveaux couples <clé, valeur>.

// En pseudo code cela donnerait
Map(void * document) {
    int cles = 1;
    foreach mot in document
        calculIntermediaire(mot, cles);
}

// En pseudo code cela donnerait
Map(void * document) {
    int cles = 1;
    foreach mot in document
        calculIntermediaire(mot, cles);
}

Le nombre de tâches Map ne dépend pas du nombre de nœuds, mais du nombre de blocs de données en entrée. Chaque bloc se fait assigner une seule tâche Map. De plus, toutes les tâches Map n'ont pas besoin d'être exécutées en même temps en parallèle.

Accueil

Imprimer Oriane Colomb, Bruno Da Silva, Stéphane Karagulmez, 2013-2017 (Contributions : Stéphane Crozat, les étudiants de l'UTC)