A instalação autônoma é usada principalmente para depuração lógica do programa. As etapas de instalação são basicamente instalação distribuída, incluindo variáveis de ambiente, principais arquivos de configuração do Hadoop, configuração SSH, etc. A principal diferença está no arquivo de configuração: a configuração dos escravos precisa ser modificada. Além disso, se dfs.replication for maior que 1 em uma instalação distribuída, ele precisa ser modificado para 1 porque há apenas 1 datanode.
Para instalação distribuída, consulte:
http://acooly.iteye.com/blog/1179828
Em uma instalação independente, use uma máquina, que é o namenode e o JobTracker, o datanode e o TaskTracker e, claro, o SecondaryNameNode.
Os principais arquivos de configuração core-site.xml, hdfs-site.xml, mapred-site.xml e masters são completamente iguais à configuração de instalação da árvore de distribuição se o número de cópias de hdfs-site.xml na instalação distribuída. esquema de configuração for definido como maior que 1, modifique-o como 1.
Copie o código do código da seguinte forma:
<propriedade>
<name>dfs.replicação</name>
<valor>1</valor>
</propriedade>
A principal diferença está na configuração dos escravos. Na instalação distribuída, várias outras máquinas são usadas como datanodes. No modo autônomo, a máquina local é o datanode, portanto modifique o arquivo de configuração dos escravos para o nome de domínio da máquina local. Por exemplo: o nome da máquina local é hadoop11, então:
[hadoop@hadoop11 ~]$ cat hadoop/conf/slaves
hadoop11
Após concluir a configuração, inicie:
Copie o código do código da seguinte forma:
$ iniciar-tudo.sh
$ jps
15556Jps
15111 JobTracker
15258 Rastreador de Tarefas
15014 NomeSecundárioNode
14861 DataNode
14712 NomeNode
Execute a DEMO
$ echo palavra1 palavra2 palavra2 palavra3 palavra3 palavra3 > palavras
$ palavras de gato
palavra1 palavra2 palavra2 palavra3 palavra3 palavra3
$ hadoop dfsadmin -safemode sair
$ hadoop fs -copyFromLocal palavras /single/input/words
$ hadoop fs -cat /único/entrada/palavras
12/02/17 19:47:44 INFO security.Groups: Mapeamento de grupo impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping;
palavra1 palavra2 palavra2 palavra3 palavra3 palavra3
$ hadoop jar hadoop-0.21.0/hadoop-mapred-examples-0.21.0.jar contagem de palavras /single/input /single/output
...
$ hadoop fs -ls /único/saída
...
-rw-r--r-- 1 supergrupo hadoop 0 17/02/2012 19:50 /single/output/_SUCCESS
-rw-r--r-- 1 supergrupo hadoop 24 17/02/2012 19:50 /single/output/part-r-00000
$ hadoop fs -cat /single/output/part-r-00000
...
palavra1 1
palavra2 2
palavra3 3
