Hadoop en production

Un exemple de job MapReduce chez Yahoo

Inverser les arcs du graph du web

Objectif : Trouver le texte des liens pointant vers une page.

Mapper :

- Input : key : URL ; value : page HTML

- Output : key : target URL ; value : source URL, texte du lien

Reducer :

- Output : nouvelle colonne dans la table URL avec une liste des pages pointant, ainsi que le texte du lien

PrécédentPrécédentSuivantSuivant
AccueilAccueilImprimerImprimer Leymarie Pierre-Gilles, Bruno Da Silva, Stéphane Karagulmez, 2013-2017 (Contributions : Stéphane Crozat, les étudiants de l'UTC) Réalisé avec Scenari (nouvelle fenêtre)