L'installation autonome est principalement utilisée pour le débogage de la logique du programme. Les étapes d'installation sont essentiellement une installation distribuée, comprenant les variables d'environnement, les principaux fichiers de configuration Hadoop, la configuration SSH, etc. La principale différence réside dans le fichier de configuration : la configuration des esclaves doit être modifiée. De plus, si dfs.replication est supérieur à 1 dans une installation distribuée, il faut la modifier à 1 car il n'y a qu'un seul datanode.
Pour une installation distribuée, veuillez vous référer à :
http://acooly.iteye.com/blog/1179828
Dans une installation autonome, utilisez une machine, qui est le namenode et JobTracker, le datanode et TaskTracker, et bien sûr le SecondNameNode.
Les principaux fichiers de configuration core-site.xml, hdfs-site.xml, mapred-site.xml et masters sont complètement identiques à la configuration d'installation de l'arborescence de distribution en fonction du nombre de copies de hdfs-site.xml dans l'installation distribuée. Le schéma de configuration est défini comme étant supérieur à 1, modifiez-le à 1.
Copiez le code comme suit :
<propriété>
<nom>dfs.replication</nom>
<valeur>1</valeur>
</propriété>
La principale différence réside dans la configuration des esclaves. Dans une installation distribuée, plusieurs autres machines sont utilisées comme datanodes. En mode autonome, la machine locale est le datanode, modifiez donc le fichier de configuration des esclaves avec le nom de domaine de la machine locale. Par exemple : le nom de la machine locale est hadoop11, alors :
[hadoop@hadoop11 ~]$ cat hadoop/conf/slaves
hadoop11
Après avoir terminé la configuration, démarrez :
Copiez le code comme suit :
$ start-all.sh
$ jps
15556Jps
15111 Suivi des tâches
15258 Suivi des tâches
15014 NoeudNomSecondaire
14861 nœud de données
14712 NomNoeud
Exécuter la DÉMO
$ echo mot1 mot2 mot2 mot3 mot3 mot3 > mots
$ mots de chat
mot1 mot2 mot2 mot3 mot3 mot3
$ hadoop dfsadmin -safemode quitter
$ hadoop fs -copyFromLocal mots /single/input/words
$ hadoop fs -cat /single/input/mots
12/02/17 19:47:44 INFO security.Groups : mappage de groupe impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping ; cacheTimeout=300000 ;
mot1 mot2 mot2 mot3 mot3 mot3
$ hadoop jar hadoop-0.21.0/hadoop-mapred-examples-0.21.0.jar wordcount /single/input /single/output
...
$ hadoop fs -ls /single/sortie
...
-rw-r--r-- 1 supergroupe hadoop 0 2012-02-17 19:50 /single/output/_SUCCESS
-rw-r--r-- 1 supergroupe hadoop 24 17/02/2012 19:50 /single/output/part-r-00000
$ hadoop fs -cat /single/output/part-r-00000
...
mot1 1
mot2 2
mot3 3
