Configuration d'un cluster
Fondamental :
La configuration de HDFS entre les différents clusters s'effectue via différents fichiers de configuration présents dans le répertoire etc d'Hadoop :
Le fichier core-site.xml qui va permettre d'indiquer l'host et le port du système de fichier HDFS.
CTRL+C pour copier, CTRL+V pour coller
1
2
3
<configuration>4
<property>5
<name>fs.default.name</name>
6
<value>hdfs://master.local:9000</value>
7
<description>The name of the default file system. A URI whose scheme and authority determine the FileSystem implementation.</description>
8
</property>9
</configuration>10
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>fs.default.name</name> <value>hdfs://master.local:9000</value> <description>The name of the default file system. A URI whose scheme and authority determine the FileSystem implementation.</description> </property> </configuration>
Le fichier hdfs-site.xml qui configure où le NameNode va stocker l'historique des transactions et où les DataNode vont stocker leurs blocks. C'est également ici où le coefficient de réplication est configuré.
CTRL+C pour copier, CTRL+V pour coller
1
2
3
<configuration>4
<property>5
<name>dfs.replication</name>
6
<value>3</value>
7
<description>The actual number of replications can be specified when the file is created.</description>
8
</property>9
<property>10
<name>dfs.data.dir</name>
11
<value>/srv/hadoop/datanode</value>
12
</property>13
<property>14
<name>dfs.name.dir</name>
15
<value>/srv/hadoop/namenode</value>
16
</property>17
</configuration>18
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
<description>The actual number of replications can be specified when the file is created.</description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/srv/hadoop/datanode</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/srv/hadoop/namenode</value>
</property>
</configuration>
Une fois cette configuration répartie sur les différents noeuds, ces derniers seront en mesure de communiquer ensemble.
